DeepLearningExamples - ディープラーニングの例
(Deep Learning Examples)
NVIDIA ディープ ラーニングによるテンソル コアの例
紹介
このリポジトリは、トレーニングと展開が容易な最先端のディープラーニングの例を提供し、NVIDIA Volta、Turing、およびアンペアGPU上で動作するNVIDIA CUDA-Xソフトウェアスタックで最高の再現可能な精度とパフォーマンスを実現します。
NVIDIA GPU Cloud (NGC) Container Registry
これらの例は、NVIDIA ディープ ラーニング ソフトウェア スタックと共に、NGC コンテナー レジストリ (https://ngc.nvidia.com) の毎月更新される Docker コンテナーで提供されます。これらのコンテナーには、次のものが含まれます。
- このリポジトリからの最新のNVIDIAの例
- それぞれのフレームワークのアップストリームで共有される最新のNVIDIAの貢献
- cuDNN、NCCL、cuBLAS などの最新の NVIDIA ディープラーニング ソフトウェア ライブラリは、可能な限り最高のパフォーマンスを提供するために、毎月の厳格な品質保証プロセスを経ています。
- NVIDIA 最適化コンテナごとの月次リリースノート
コンピュータビジョン
| モデル | フレームワーク | A100 | アンプ | マルチGPU | マルチノード | ティッカー | ティッカー | トライトン | ティッカー | 備考 |
|---|---|---|---|---|---|---|---|---|---|---|
| エフィシェントネット-B0 | パイトーチ | はい | はい | はい | - | - | - | - | はい | - |
| エフィシェントネット-B4 | パイトーチ | はい | はい | はい | - | - | - | - | はい | - |
| 効率的ネットワイドSE-B0 | パイトーチ | はい | はい | はい | - | - | - | - | はい | - |
| 効率的ネットワイドSE-B4 | パイトーチ | はい | はい | はい | - | - | - | - | はい | - |
| エフィシェントネット | テンソルフロー2 | はい | はい | はい | はい | - | - | - | はい | - |
| GPUNet | パイトーチ | はい | はい | はい | - | はい | はい | はい | はい | - |
| マスク R-CNN | パイトーチ | はい | はい | はい | - | - | - | - | - | はい |
| マスク R-CNN | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
| マスク R-CNN | テンソルフロー2 | はい | はい | はい | - | - | - | - | はい | - |
| nnun et | パイトーチ | はい | はい | はい | - | - | - | - | はい | - |
| レスネット-50 | MXNet | - | はい | はい | - | - | - | - | - | - |
| レスネット-50 | パドルパドル | はい | はい | はい | - | はい | - | - | - | - |
| レスネット-50 | パイトーチ | はい | はい | はい | - | はい | - | はい | はい | - |
| レスネット-50 | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
| レスネックスト-101 | パイトーチ | はい | はい | はい | - | はい | - | はい | はい | - |
| レスネックスト-101 | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
| SE-レスネXt-101 | パイトーチ | はい | はい | はい | - | はい | - | はい | はい | - |
| SE-レスネXt-101 | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
| ティッカー | パイトーチ | はい | はい | はい | - | - | - | - | - | はい |
| ティッカー | テンソルフロー | はい | はい | はい | - | - | - | - | はい | はい |
| ユーネットインド | テンソルフロー | はい | はい | はい | - | - | - | - | はい | はい |
| ユーネット医学 | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
| U-ネット3D | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
| ユーネット医学 | テンソルフロー2 | はい | はい | はい | - | - | - | - | はい | - |
| Vネットメッド | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
自然言語処理
| モデル | フレームワーク | A100 | アンプ | マルチGPU | マルチノード | ティッカー | ティッカー | トライトン | ティッカー | 備考 |
|---|---|---|---|---|---|---|---|---|---|---|
| バート | パイトーチ | はい | はい | はい | はい | - | - | はい | はい | - |
| トランスフォーマーXL | パイトーチ | はい | はい | はい | はい | - | - | - | はい | - |
| ティッカー | パイトーチ | はい | はい | はい | - | - | - | - | - | - |
| 変流器 | パイトーチ | はい | はい | はい | - | - | - | - | - | - |
| エレクトラ | テンソルフロー2 | はい | はい | はい | はい | - | - | - | はい | - |
| バート | テンソルフロー | はい | はい | はい | はい | はい | - | はい | はい | はい |
| バート | テンソルフロー2 | はい | はい | はい | はい | - | - | - | はい | - |
| バイオバート | テンソルフロー | はい | はい | はい | - | - | - | - | はい | はい |
| トランスフォーマーXL | テンソルフロー | はい | はい | はい | - | - | - | - | - | - |
| ティッカー | テンソルフロー | はい | はい | はい | - | - | - | - | - | - |
| より高速な変圧器 | テンソルフロー | - | - | - | - | はい | - | - | - | - |
レコメンダーシステム
| モデル | フレームワーク | A100 | アンプ | マルチGPU | マルチノード | ティッカー | ティッカー | トライトン | ティッカー | 備考 |
|---|---|---|---|---|---|---|---|---|---|---|
| ティッカー | パイトーチ | はい | はい | はい | - | - | はい | はい | はい | はい |
| ティッカー | テンソルフロー2 | はい | はい | はい | はい | - | - | - | はい | - |
| ティッカー | パイトーチ | はい | はい | はい | - | - | - | - | - | - |
| ワイド&ディープ | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
| ワイド&ディープ | テンソルフロー2 | はい | はい | はい | - | - | - | - | はい | - |
| ティッカー | テンソルフロー | はい | はい | はい | - | - | - | - | はい | - |
| VAE-CF | テンソルフロー | はい | はい | はい | - | - | - | - | - | - |
| シム | テンソルフロー2 | はい | はい | はい | - | - | - | - | はい | - |
音声テキスト変換
| モデル | フレームワーク | A100 | アンプ | マルチGPU | マルチノード | ティッカー | ティッカー | トライトン | ティッカー | 備考 |
|---|---|---|---|---|---|---|---|---|---|---|
| 碧玉 | パイトーチ | はい | はい | はい | - | はい | はい | はい | はい | はい |
| 隠れマルコフモデル | カルディ | - | - | はい | - | - | - | はい | - | - |
テキスト読み上げ
| モデル | フレームワーク | A100 | アンプ | マルチGPU | マルチノード | ティッカー | ティッカー | トライトン | ティッカー | 備考 |
|---|---|---|---|---|---|---|---|---|---|---|
| ファストピッチ | パイトーチ | はい | はい | はい | - | - | - | - | はい | - |
| ファストスピーチ | パイトーチ | - | はい | はい | - | はい | - | - | - | - |
| タコトロン2とウェーブグロー | パイトーチ | はい | はい | はい | - | はい | はい | はい | はい | - |
グラフニューラルネットワーク
| モデル | フレームワーク | A100 | アンプ | マルチGPU | マルチノード | ティッカー | ティッカー | トライトン | ティッカー | 備考 |
|---|---|---|---|---|---|---|---|---|---|---|
| SE(3)-トランスフォーマー | パイトーチ | はい | はい | はい | - | - | - | - | - | - |
時系列予測
| モデル | フレームワーク | A100 | アンプ | マルチGPU | マルチノード | ティッカー | ティッカー | トライトン | ティッカー | 備考 |
|---|---|---|---|---|---|---|---|---|---|---|
| 時間核融合トランス | パイトーチ | はい | はい | はい | - | はい | はい | はい | はい | - |
NVIDIA のサポート
各ネットワーク README には、提供されるサポートのレベルが示されています。その範囲は、継続的な更新や改善から、ソートリーダーシップのためのポイントインタイムリリースまでです。
用語集
マルチノードトレーニング
pyxis/enroot Slurm クラスターでサポートされています。
Deep Learning Compiler (DLC)
TensorFlow XLA および PyTorch JIT および/または TorchScript
高速線形代数 (XLA)
XLA は線形代数用のドメイン固有のコンパイラであり、ソース コードを変更することなく TensorFlow モデルを高速化できます。その結果、速度とメモリ使用量が改善されます。
PyTorch JIT および/または TorchScript TorchScript
は、PyTorch コードからシリアル化および最適化可能なモデルを作成する方法です。トーチスクリプト、PyTorch モデルの中間表現 (nn.モジュール) を使用して、C++ などの高パフォーマンス環境で実行できます。
自動混合精度 (AMP) 自動混合精度 (AMP)
を使用すると、Volta、Turing、NVIDIA Ampere GPU アーキテクチャで混合精度トレーニングを自動的に行うことができます。
TensorFloat-32 (TF32)TensorFloat-32 (TF32)
は、テンソル演算とも呼ばれる行列演算を処理するためのNVIDIA A100GPU の新しい数学モードです。A100 GPU の Tensor コアで実行されている TF32 は、Volta GPU の単精度浮動小数点演算 (FP32) と比較して最大 10 倍の高速化を提供できます。TF32 は NVIDIA アンペア GPU アーキテクチャでサポートされており、既定で有効になっています。
Jupyter ノートブック (NB)
Jupyter ノートブックは、ライブ コード、数式、視覚化、注釈テキストを含むドキュメントを作成および共有できるオープンソースの Web アプリケーションです。
フィードバック/貢献
これらの例を GitHub に投稿しているのは、コミュニティをより適切にサポートし、フィードバックを促進し、GitHub の問題とプルリクエストを使用してコントリビューションを収集して実装するためです。私たちはすべての貢献を歓迎します!
既知の問題
各ネットワーク README では、既知の問題を示し、コミュニティにフィードバックを提供することをお勧めします。
