Zstandard、または短いバージョンとして、高速可逆圧縮アルゴリズムです。 ZLIB レベルでのリアルタイム圧縮シナリオと、より優れた圧縮率をターゲットにします。 これは、Huff0とFSEライブラリによって提供される非常に高速なエントロピーステージによって支えられています。

zstd

Zstandardのフォーマットは安定しており、RFC8878に記載されています。複数の独立した実装がすでに利用可能です。 このリポジトリは、オープンソースのデュアルBSDおよびGPLv2ライセンスのCライブラリとして提供されるリファレンス実装を表しています。 、、およびファイルを生成およびデコードするコマンドラインユーティリティ。 プロジェクトに別のプログラミング言語が必要な場合は、 既知のポートとバインディングのリストは、Zstandardのホームページで提供されています。

.zst

.gz

.xz

.lz4

開発ブランチのステータス:

ベンチマーク

参考までに、いくつかの高速圧縮アルゴリズムをテストして比較しました Ubuntu 20.04()を実行しているデスクトップでは、 コアi7-9700K CPU @ 4.9GHzで、 @inikepによるオープンソースのインメモリベンチマークであるLZBucを使用する GCC 9.3.0でコンパイルされ、 シレジア圧縮コーパスで。

Linux 5.11.0-41-generic

で指定される負の圧縮レベル , より速い圧縮および解凍速度を提供する 圧縮率を犠牲にして(レベル1と比較して)。

--fast=#

Zstdは、圧縮速度を犠牲にして、より強力な圧縮率を提供することもできます。 速度と圧縮のトレードオフは、小さな増分で構成できます。 解凍速度は維持され、すべての設定でほぼ同じままです。 zlib や lzma などのほとんどの LZ 圧縮アルゴリズムで共有されるプロパティ。

次のテストが実行されました Linux Debian を実行しているサーバ上 () コアi7-6700K CPU @ 4.0GHzで、 @inikepによるオープンソースのインメモリベンチマークであるLZBucを使用する GCC 7.3.0でコンパイルされ、 シレジア圧縮コーパスで。

Linux version 4.14.0-3-amd64

圧縮速度対比率	減圧速度

他のいくつかのアルゴリズムは、グラフの外に出て、より遅い速度でより高い圧縮率を生成することができます。 スローモードを含むより大きな画像については、このリンクをクリックしてください。

スモールデータ圧縮の場合

前のグラフでは、一般的なファイルとストリームのシナリオ (数MB) に適用できる結果が提供されます。小さなデータにはさまざまな視点があります。

圧縮するデータの量が少ないほど、圧縮が難しくなります。この問題はすべての圧縮アルゴリズムに共通しており、その理由は、圧縮アルゴリズムが過去のデータから将来のデータを圧縮する方法を学習するためです。しかし、新しいデータセットの開始時には、構築する「過去」はありません。

この状況を解決するために、Zstdは、選択したタイプのデータのアルゴリズムを調整するために使用できるトレーニングモードを提供します。 トレーニング Zstandard は、いくつかのサンプル (サンプルごとに 1 つのファイル) を提供することによって実現されます。このトレーニングの結果は「辞書」と呼ばれるファイルに保存され、圧縮および解凍の前にロードする必要があります。 この辞書を使用すると、小さなデータで達成可能な圧縮率が劇的に向上します。

次の例では、github パブリック API から作成されたサンプル セットを使用します。 これは、それぞれ約1KBの重さの約10Kのレコードで構成されています。

github-users

圧縮率	圧縮速度	減圧速度

これらの圧縮ゲインは、より速い圧縮および解凍速度を提供すると同時に達成されます。

トレーニングは、小さなデータ サンプルのファミリに何らかの相関関係がある場合に機能します。ディクショナリがデータ固有であるほど、より効率的になります(ユニバーサルディクショナリはありません)。 したがって、データの種類ごとに 1 つのディクショナリを展開すると、最大のメリットが得られます。 辞書のゲインは、ほとんどの場合、最初の数KBで効果的です。次に、圧縮アルゴリズムは、以前にデコードされたコンテンツを徐々に使用して、ファイルの残りの部分をより適切に圧縮します。

辞書の圧縮 操作方法:

1. 辞書を作成する

   zstd --train FullPathToTrainingSet/* -o dictionaryName

2. 辞書で圧縮

   zstd -D dictionaryName FILE

3. 辞書で解凍

   zstd -D dictionaryName --decompress FILE.zst

ビルド手順

make

make

zstd

libzstd

メイクファイル

システムが標準(または)と互換性がある場合、 ルートディレクトリで呼び出すと、ルートディレクトリにCLIが生成されます。 また、 にも作成されます。

make

gmake

make

zstd

libzstd

lib/

その他の使用可能なオプションは次のとおりです。

• make install

  : zstd cli、ライブラリ、マニュアルページの作成とインストール

• make check

  :作成して実行し、ローカルプラットフォームでその動作をテストします

  zstd

GNU標準メイクファイルの規則は次のとおりです。 段階的なインストール、標準フラグ、ディレクトリ変数、およびコマンド変数を許可します。

Makefile

高度なユースケースでは、バイナリ生成を制御する特殊なコンパイルフラグ ライブラリの lib/README.md に記載されています。 および CLI のプログラム/README.md にあります。

libzstd

zstd

cmake

build/cmake

zstd

libzstd

CMAKE_BUILD_TYPE

Release

git clone https://github.com/Microsoft/vcpkg.git
cd vcpkg
./bootstrap-vcpkg.sh
./vcpkg integrate install
./vcpkg install zstd

build

buck build programs:zstd

buck-out/gen/programs/

playTest.sh

src/tests

$ZSTD_BIN

$DATAGEN_BIN

dev

release

dev

release