このリポジトリは、トレーニングとデプロイが簡単な最先端のディープラーニングの例を提供し、NVIDIA Volta、Turing、AmpereGPUで実行されるNVIDIACUDA-Xソフトウェアスタックで最高の再現可能な精度とパフォーマンスを実現します。
これらの例は、NVIDIAディープラーニングソフトウェアスタックとともに、NGCコンテナレジストリ(https://ngc.nvidia.com)の毎月更新されるDockerコンテナで提供されます。これらのコンテナには次のものが含まれます。
モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
---|---|---|---|---|---|---|---|---|---|---|
EfficientNet-B0 | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
EfficientNet-B4 | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
EfficientNet-WideSE-B0 | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
EfficientNet-WideSE-B4 | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
EfficientNet | TensorFlow2 | はい | はい | はい | はい | - | - | - | はい | - |
GPUNet | PyTorch | はい | はい | はい | - | はい | はい | はい | はい | - |
マスクR-CNN | PyTorch | はい | はい | はい | - | - | - | - | - | はい |
マスクR-CNN | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
マスクR-CNN | TensorFlow2 | はい | はい | はい | - | - | - | - | はい | - |
nnUNet | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
ResNet-50 | MXNet | - | はい | はい | - | - | - | - | - | - |
ResNet-50 | パドルパドル | はい | はい | はい | - | はい | - | - | - | - |
ResNet-50 | PyTorch | はい | はい | はい | - | はい | - | はい | はい | - |
ResNet-50 | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
ResNeXt-101 | PyTorch | はい | はい | はい | - | はい | - | はい | はい | - |
ResNeXt-101 | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
SE-ResNeXt-101 | PyTorch | はい | はい | はい | - | はい | - | はい | はい | - |
SE-ResNeXt-101 | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
SSD | PyTorch | はい | はい | はい | - | - | - | - | - | はい |
SSD | TensorFlow | はい | はい | はい | - | - | - | - | はい | はい |
U-Net Ind | TensorFlow | はい | はい | はい | - | - | - | - | はい | はい |
U-Net Med | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
U-Net 3D | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
U-Net Med | TensorFlow2 | はい | はい | はい | - | - | - | - | はい | - |
V-Net Med | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
---|---|---|---|---|---|---|---|---|---|---|
BERT | PyTorch | はい | はい | はい | はい | - | - | はい | はい | - |
TransformerXL | PyTorch | はい | はい | はい | はい | - | - | - | はい | - |
GNMT | PyTorch | はい | はい | はい | - | - | - | - | - | - |
変成器 | PyTorch | はい | はい | はい | - | - | - | - | - | - |
ELECTRA | TensorFlow2 | はい | はい | はい | はい | - | - | - | はい | - |
BERT | TensorFlow | はい | はい | はい | はい | はい | - | はい | はい | はい |
BERT | TensorFlow2 | はい | はい | はい | はい | - | - | - | はい | - |
BioBert | TensorFlow | はい | はい | はい | - | - | - | - | はい | はい |
TransformerXL | TensorFlow | はい | はい | はい | - | - | - | - | - | - |
GNMT | TensorFlow | はい | はい | はい | - | - | - | - | - | - |
より高速なトランス | Tensorflow | - | - | - | - | はい | - | - | - | - |
モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
---|---|---|---|---|---|---|---|---|---|---|
DLRM | PyTorch | はい | はい | はい | - | - | はい | はい | はい | はい |
DLRM | TensorFlow2 | はい | はい | はい | はい | - | - | - | はい | - |
NCF | PyTorch | はい | はい | はい | - | - | - | - | - | - |
ワイド&ディープ | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
ワイド&ディープ | TensorFlow2 | はい | はい | はい | - | - | - | - | はい | - |
NCF | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
VAE-CF | TensorFlow | はい | はい | はい | - | - | - | - | - | - |
SIM | TensorFlow2 | はい | はい | はい | - | - | - | - | はい | - |
モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
---|---|---|---|---|---|---|---|---|---|---|
碧玉 | PyTorch | はい | はい | はい | - | はい | はい | はい | はい | はい |
隠れマルコフモデル | カルディ | - | - | はい | - | - | - | はい | - | - |
モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
---|---|---|---|---|---|---|---|---|---|---|
FastPitch | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
FastSpeech | PyTorch | - | はい | はい | - | はい | - | - | - | - |
Tacotron2とWaveGlow | PyTorch | はい | はい | はい | - | はい | はい | はい | はい | - |
モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
---|---|---|---|---|---|---|---|---|---|---|
SE(3)-トランスフォーマー | PyTorch | はい | はい | はい | - | - | - | - | - | - |
各ネットワークREADMEには、提供されるサポートのレベルが示されています。範囲は、継続的な更新と改善から、ソートリーダーシップのためのポイントインタイムリリースまでです。
pyxis /enrootSlurmクラスターでサポートされるマルチノードトレーニング。
ディープラーニングコンパイラ(DLC)
TensorFlowXLAおよびPyTorchJITおよび/またはTorchScript
Accelerated Linear Algebra(XLA)
XLAは、線形代数用のドメイン固有のコンパイラであり、ソースコードを変更せずにTensorFlowモデルを高速化できます。その結果、速度とメモリ使用量が向上します。
PyTorch JITおよび/またはTorchScriptTorchScript
は、PyTorchコードからシリアル化および最適化可能なモデルを作成する方法です。TorchScriptは、C ++などの高性能環境で実行できるPyTorchモデル(nn.Moduleのサブクラス)の中間表現です。
自動混合精度(AMP)
自動混合精度(AMP)を使用すると、Volta、Turing、およびNVIDIAAmpereGPUアーキテクチャでの混合精度トレーニングが自動的に実行されます。
TensorFloat-32(TF32)
TensorFloat-32(TF32)は、テンソル演算とも呼ばれる行列演算を処理するためのNVIDIAA100GPUの新しい演算モードです。A100 GPUのTensorコアで実行されているTF32は、Volta GPUの単精度浮動小数点演算(FP32)と比較して最大10倍のスピードアップを提供できます。TF32はNVIDIAAmpereGPUアーキテクチャでサポートされており、デフォルトで有効になっています。
Jupyter Notebook(NB)
Jupyter Notebookは、ライブコード、方程式、視覚化、およびナラティブテキストを含むドキュメントを作成および共有できるオープンソースのWebアプリケーションです。
これらの例をGitHubに投稿して、コミュニティをより適切にサポートし、フィードバックを促進し、GitHubの問題とプルリクエストを使用して投稿を収集して実装します。私たちはすべての貢献を歓迎します!
各ネットワークREADMEで、既知の問題を示し、コミュニティにフィードバックを提供することをお勧めします。