DeepLearningExamples - ディープラーニングの例
(Deep Learning Examples)
テンソルコアのNVIDIAディープラーニングの例
序章
このリポジトリは、トレーニングとデプロイが簡単な最先端のディープラーニングの例を提供し、NVIDIA Volta、Turing、AmpereGPUで実行されるNVIDIACUDA-Xソフトウェアスタックで最高の再現可能な精度とパフォーマンスを実現します。
NVIDIA GPUクラウド（NGC）コンテナレジストリ
これらの例は、NVIDIAディープラーニングソフトウェアスタックとともに、NGCコンテナレジストリ（https://ngc.nvidia.com）の毎月更新されるDockerコンテナで提供されます。これらのコンテナには次のものが含まれます。
- このリポジトリからの最新のNVIDIAの例
- それぞれのフレームワークのアップストリームで共有される最新のNVIDIAの貢献
- cuDNN、NCCL、cuBLASなどの最新のNVIDIAディープラーニングソフトウェアライブラリはすべて、可能な限り最高のパフォーマンスを提供するために、厳格な月次品質保証プロセスを経ています。
- NVIDIAに最適化された各コンテナの月次リリースノート
コンピュータビジョン
| モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
|---|---|---|---|---|---|---|---|---|---|---|
| EfficientNet-B0 | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
| EfficientNet-B4 | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
| EfficientNet-WideSE-B0 | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
| EfficientNet-WideSE-B4 | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
| EfficientNet | TensorFlow2 | はい | はい | はい | はい | - | - | - | はい | - |
| GPUNet | PyTorch | はい | はい | はい | - | はい | はい | はい | はい | - |
| マスクR-CNN | PyTorch | はい | はい | はい | - | - | - | - | - | はい |
| マスクR-CNN | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
| マスクR-CNN | TensorFlow2 | はい | はい | はい | - | - | - | - | はい | - |
| nnUNet | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
| ResNet-50 | MXNet | - | はい | はい | - | - | - | - | - | - |
| ResNet-50 | パドルパドル | はい | はい | はい | - | はい | - | - | - | - |
| ResNet-50 | PyTorch | はい | はい | はい | - | はい | - | はい | はい | - |
| ResNet-50 | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
| ResNeXt-101 | PyTorch | はい | はい | はい | - | はい | - | はい | はい | - |
| ResNeXt-101 | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
| SE-ResNeXt-101 | PyTorch | はい | はい | はい | - | はい | - | はい | はい | - |
| SE-ResNeXt-101 | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
| SSD | PyTorch | はい | はい | はい | - | - | - | - | - | はい |
| SSD | TensorFlow | はい | はい | はい | - | - | - | - | はい | はい |
| U-Net Ind | TensorFlow | はい | はい | はい | - | - | - | - | はい | はい |
| U-Net Med | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
| U-Net 3D | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
| U-Net Med | TensorFlow2 | はい | はい | はい | - | - | - | - | はい | - |
| V-Net Med | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
自然言語処理
| モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
|---|---|---|---|---|---|---|---|---|---|---|
| BERT | PyTorch | はい | はい | はい | はい | - | - | はい | はい | - |
| TransformerXL | PyTorch | はい | はい | はい | はい | - | - | - | はい | - |
| GNMT | PyTorch | はい | はい | はい | - | - | - | - | - | - |
| 変成器 | PyTorch | はい | はい | はい | - | - | - | - | - | - |
| ELECTRA | TensorFlow2 | はい | はい | はい | はい | - | - | - | はい | - |
| BERT | TensorFlow | はい | はい | はい | はい | はい | - | はい | はい | はい |
| BERT | TensorFlow2 | はい | はい | はい | はい | - | - | - | はい | - |
| BioBert | TensorFlow | はい | はい | はい | - | - | - | - | はい | はい |
| TransformerXL | TensorFlow | はい | はい | はい | - | - | - | - | - | - |
| GNMT | TensorFlow | はい | はい | はい | - | - | - | - | - | - |
| より高速なトランス | Tensorflow | - | - | - | - | はい | - | - | - | - |
レコメンダーシステム
| モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
|---|---|---|---|---|---|---|---|---|---|---|
| DLRM | PyTorch | はい | はい | はい | - | - | はい | はい | はい | はい |
| DLRM | TensorFlow2 | はい | はい | はい | はい | - | - | - | はい | - |
| NCF | PyTorch | はい | はい | はい | - | - | - | - | - | - |
| ワイド＆ディープ | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
| ワイド＆ディープ | TensorFlow2 | はい | はい | はい | - | - | - | - | はい | - |
| NCF | TensorFlow | はい | はい | はい | - | - | - | - | はい | - |
| VAE-CF | TensorFlow | はい | はい | はい | - | - | - | - | - | - |
| SIM | TensorFlow2 | はい | はい | はい | - | - | - | - | はい | - |
テキストへのスピーチ
| モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
|---|---|---|---|---|---|---|---|---|---|---|
| 碧玉 | PyTorch | はい | はい | はい | - | はい | はい | はい | はい | はい |
| 隠れマルコフモデル | カルディ | - | - | はい | - | - | - | はい | - | - |
テキスト読み上げ
| モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
|---|---|---|---|---|---|---|---|---|---|---|
| FastPitch | PyTorch | はい | はい | はい | - | - | - | - | はい | - |
| FastSpeech | PyTorch | - | はい | はい | - | はい | - | - | - | - |
| Tacotron2とWaveGlow | PyTorch | はい | はい | はい | - | はい | はい | はい | はい | - |
グラフニューラルネットワーク
| モデル | フレームワーク | A100 | AMP | マルチGPU | マルチノード | TRT | ONNX | トリトン | ダウンロードコンテンツ | NB |
|---|---|---|---|---|---|---|---|---|---|---|
| SE（3）-トランスフォーマー | PyTorch | はい | はい | はい | - | - | - | - | - | - |
NVIDIAサポート
各ネットワークREADMEには、提供されるサポートのレベルが示されています。範囲は、継続的な更新と改善から、ソートリーダーシップのためのポイントインタイムリリースまでです。
用語集
pyxis /enrootSlurmクラスターでサポートされるマルチノードトレーニング。
ディープラーニングコンパイラ（DLC）
TensorFlowXLAおよびPyTorchJITおよび/またはTorchScript
Accelerated Linear Algebra（XLA）
XLAは、線形代数用のドメイン固有のコンパイラであり、ソースコードを変更せずにTensorFlowモデルを高速化できます。その結果、速度とメモリ使用量が向上します。
PyTorch JITおよび/またはTorchScriptTorchScript
は、PyTorchコードからシリアル化および最適化可能なモデルを作成する方法です。TorchScriptは、C ++などの高性能環境で実行できるPyTorchモデル（nn.Moduleのサブクラス）の中間表現です。
自動混合精度（AMP）
自動混合精度（AMP）を使用すると、Volta、Turing、およびNVIDIAAmpereGPUアーキテクチャでの混合精度トレーニングが自動的に実行されます。
TensorFloat-32（TF32）
TensorFloat-32（TF32）は、テンソル演算とも呼ばれる行列演算を処理するためのNVIDIAA100GPUの新しい演算モードです。A100 GPUのTensorコアで実行されているTF32は、Volta GPUの単精度浮動小数点演算（FP32）と比較して最大10倍のスピードアップを提供できます。TF32はNVIDIAAmpereGPUアーキテクチャでサポートされており、デフォルトで有効になっています。
Jupyter Notebook（NB）
Jupyter Notebookは、ライブコード、方程式、視覚化、およびナラティブテキストを含むドキュメントを作成および共有できるオープンソースのWebアプリケーションです。
フィードバック/貢献
これらの例をGitHubに投稿して、コミュニティをより適切にサポートし、フィードバックを促進し、GitHubの問題とプルリクエストを使用して投稿を収集して実装します。私たちはすべての貢献を歓迎します！
既知の問題点
各ネットワークREADMEで、既知の問題を示し、コミュニティにフィードバックを提供することをお勧めします。
