DeepLearningExamples - ディープラーニングの例

(Deep Learning Examples)

Created at: 2018-05-03 01:04:05
Language: Python

テンソルコアのNVIDIAディープラーニングの例

序章

このリポジトリは、トレーニングとデプロイが簡単な最先端のディープラーニングの例を提供し、NVIDIA Volta、Turing、AmpereGPUで実行されるNVIDIACUDA-Xソフトウェアスタックで最高の再現可能な精度とパフォーマンスを実現します。

NVIDIA GPUクラウド(NGC)コンテナレジストリ

これらの例は、NVIDIAディープラーニングソフトウェアスタックとともに、NGCコンテナレジストリ(https://ngc.nvidia.com)の毎月更新されるDockerコンテナで提供されます。これらのコンテナには次のものが含まれます。

  • このリポジトリからの最新のNVIDIAの例
  • それぞれのフレームワークのアップストリームで共有される最新のNVIDIAの貢献
  • cuDNN、NCCL、cuBLASなどの最新のNVIDIAディープラーニングソフトウェアライブラリはすべて、可能な限り最高のパフォーマンスを提供するために、厳格な月次品質保証プロセスを経ています。
  • NVIDIAに最適化された各コンテナの月次リリースノート

コンピュータビジョン

モデル フレームワーク A100 AMP マルチGPU マルチノード TRT ONNX トリトン ダウンロードコンテンツ NB
EfficientNet-B0 PyTorch はい はい はい - - - - はい -
EfficientNet-B4 PyTorch はい はい はい - - - - はい -
EfficientNet-WideSE-B0 PyTorch はい はい はい - - - - はい -
EfficientNet-WideSE-B4 PyTorch はい はい はい - - - - はい -
EfficientNet TensorFlow2 はい はい はい はい - - - はい -
GPUNet PyTorch はい はい はい - はい はい はい はい -
マスクR-CNN PyTorch はい はい はい - - - - - はい
マスクR-CNN TensorFlow はい はい はい - - - - はい -
マスクR-CNN TensorFlow2 はい はい はい - - - - はい -
nnUNet PyTorch はい はい はい - - - - はい -
ResNet-50 MXNet - はい はい - - - - - -
ResNet-50 パドルパドル はい はい はい - はい - - - -
ResNet-50 PyTorch はい はい はい - はい - はい はい -
ResNet-50 TensorFlow はい はい はい - - - - はい -
ResNeXt-101 PyTorch はい はい はい - はい - はい はい -
ResNeXt-101 TensorFlow はい はい はい - - - - はい -
SE-ResNeXt-101 PyTorch はい はい はい - はい - はい はい -
SE-ResNeXt-101 TensorFlow はい はい はい - - - - はい -
SSD PyTorch はい はい はい - - - - - はい
SSD TensorFlow はい はい はい - - - - はい はい
U-Net Ind TensorFlow はい はい はい - - - - はい はい
U-Net Med TensorFlow はい はい はい - - - - はい -
U-Net 3D TensorFlow はい はい はい - - - - はい -
U-Net Med TensorFlow2 はい はい はい - - - - はい -
V-Net Med TensorFlow はい はい はい - - - - はい -

自然言語処理

モデル フレームワーク A100 AMP マルチGPU マルチノード TRT ONNX トリトン ダウンロードコンテンツ NB
BERT PyTorch はい はい はい はい - - はい はい -
TransformerXL PyTorch はい はい はい はい - - - はい -
GNMT PyTorch はい はい はい - - - - - -
変成器 PyTorch はい はい はい - - - - - -
ELECTRA TensorFlow2 はい はい はい はい - - - はい -
BERT TensorFlow はい はい はい はい はい - はい はい はい
BERT TensorFlow2 はい はい はい はい - - - はい -
BioBert TensorFlow はい はい はい - - - - はい はい
TransformerXL TensorFlow はい はい はい - - - - - -
GNMT TensorFlow はい はい はい - - - - - -
より高速なトランス Tensorflow - - - - はい - - - -

レコメンダーシステム

モデル フレームワーク A100 AMP マルチGPU マルチノード TRT ONNX トリトン ダウンロードコンテンツ NB
DLRM PyTorch はい はい はい - - はい はい はい はい
DLRM TensorFlow2 はい はい はい はい - - - はい -
NCF PyTorch はい はい はい - - - - - -
ワイド&ディープ TensorFlow はい はい はい - - - - はい -
ワイド&ディープ TensorFlow2 はい はい はい - - - - はい -
NCF TensorFlow はい はい はい - - - - はい -
VAE-CF TensorFlow はい はい はい - - - - - -
SIM TensorFlow2 はい はい はい - - - - はい -

テキストへのスピーチ

モデル フレームワーク A100 AMP マルチGPU マルチノード TRT ONNX トリトン ダウンロードコンテンツ NB
碧玉 PyTorch はい はい はい - はい はい はい はい はい
隠れマルコフモデル カルディ - - はい - - - はい - -

テキスト読み上げ

モデル フレームワーク A100 AMP マルチGPU マルチノード TRT ONNX トリトン ダウンロードコンテンツ NB
FastPitch PyTorch はい はい はい - - - - はい -
FastSpeech PyTorch - はい はい - はい - - - -
Tacotron2とWaveGlow PyTorch はい はい はい - はい はい はい はい -

グラフニューラルネットワーク

モデル フレームワーク A100 AMP マルチGPU マルチノード TRT ONNX トリトン ダウンロードコンテンツ NB
SE(3)-トランスフォーマー PyTorch はい はい はい - - - - - -

NVIDIAサポート

各ネットワークREADMEには、提供されるサポートのレベルが示されています。範囲は、継続的な更新と改善から、ソートリーダーシップのためのポイントインタイムリリースまでです。

用語集


pyxis /enrootSlurmクラスターでサポートされるマルチノードトレーニング。

ディープラーニングコンパイラ(DLC)
TensorFlowXLAおよびPyTorchJITおよび/またはTorchScript

Accelerated Linear Algebra(XLA)
XLAは、線形代数用のドメイン固有のコンパイラであり、ソースコードを変更せずにTensorFlowモデルを高速化できます。その結果、速度とメモリ使用量が向上します。

PyTorch JITおよび/またはTorchScriptTorchScript
は、PyTorchコードからシリアル化および最適化可能なモデルを作成する方法です。TorchScriptは、C ++などの高性能環境で実行できるPyTorchモデル(nn.Moduleのサブクラス)の中間表現です。

自動混合精度(AMP)
自動混合精度(AMP)を使用すると、Volta、Turing、およびNVIDIAAmpereGPUアーキテクチャでの混合精度トレーニングが自動的に実行されます。

TensorFloat-32(TF32)
TensorFloat-32(TF32)は、テンソル演算とも呼ばれる行列演算を処理するためのNVIDIAA100GPUの新しい演算モードです。A100 GPUのTensorコアで実行されているTF32は、Volta GPUの単精度浮動小数点演算(FP32)と比較して最大10倍のスピードアップを提供できます。TF32はNVIDIAAmpereGPUアーキテクチャでサポートされており、デフォルトで有効になっています。

Jupyter Notebook(NB)
Jupyter Notebookは、ライブコード、方程式、視覚化、およびナラティブテキストを含むドキュメントを作成および共有できるオープンソースのWebアプリケーションです。

フィードバック/貢献

これらの例をGitHubに投稿して、コミュニティをより適切にサポートし、フィードバックを促進し、GitHubの問題とプルリクエストを使用して投稿を収集して実装します。私たちはすべての貢献を歓迎します!

既知の問題点

各ネットワークREADMEで、既知の問題を示し、コミュニティにフィードバックを提供することをお勧めします。