DeepLearningExamples - ディープラーニングの例

(Deep Learning Examples)

Created at: 2018-05-03 01:04:05
Language: Python

NVIDIA ディープ ラーニングによるテンソル コアの例

紹介

このリポジトリは、トレーニングと展開が容易な最先端のディープラーニングの例を提供し、NVIDIA Volta、Turing、およびアンペアGPU上で動作するNVIDIA CUDA-Xソフトウェアスタックで最高の再現可能な精度とパフォーマンスを実現します。

NVIDIA GPU Cloud (NGC) Container Registry

これらの例は、NVIDIA ディープ ラーニング ソフトウェア スタックと共に、NGC コンテナー レジストリ (https://ngc.nvidia.com) の毎月更新される Docker コンテナーで提供されます。これらのコンテナーには、次のものが含まれます。

  • このリポジトリからの最新のNVIDIAの例
  • それぞれのフレームワークのアップストリームで共有される最新のNVIDIAの貢献
  • cuDNN、NCCL、cuBLAS などの最新の NVIDIA ディープラーニング ソフトウェア ライブラリは、可能な限り最高のパフォーマンスを提供するために、毎月の厳格な品質保証プロセスを経ています。
  • NVIDIA 最適化コンテナごとの月次リリースノート

コンピュータビジョン

モデル フレームワーク A100 アンプ マルチGPU マルチノード ティッカー ティッカー トライトン ティッカー 備考
エフィシェントネット-B0 パイトーチ はい はい はい - - - - はい -
エフィシェントネット-B4 パイトーチ はい はい はい - - - - はい -
効率的ネットワイドSE-B0 パイトーチ はい はい はい - - - - はい -
効率的ネットワイドSE-B4 パイトーチ はい はい はい - - - - はい -
エフィシェントネット テンソルフロー2 はい はい はい はい - - - はい -
GPUNet パイトーチ はい はい はい - はい はい はい はい -
マスク R-CNN パイトーチ はい はい はい - - - - - はい
マスク R-CNN テンソルフロー はい はい はい - - - - はい -
マスク R-CNN テンソルフロー2 はい はい はい - - - - はい -
nnun et パイトーチ はい はい はい - - - - はい -
レスネット-50 MXNet - はい はい - - - - - -
レスネット-50 パドルパドル はい はい はい - はい - - - -
レスネット-50 パイトーチ はい はい はい - はい - はい はい -
レスネット-50 テンソルフロー はい はい はい - - - - はい -
レスネックスト-101 パイトーチ はい はい はい - はい - はい はい -
レスネックスト-101 テンソルフロー はい はい はい - - - - はい -
SE-レスネXt-101 パイトーチ はい はい はい - はい - はい はい -
SE-レスネXt-101 テンソルフロー はい はい はい - - - - はい -
ティッカー パイトーチ はい はい はい - - - - - はい
ティッカー テンソルフロー はい はい はい - - - - はい はい
ユーネットインド テンソルフロー はい はい はい - - - - はい はい
ユーネット医学 テンソルフロー はい はい はい - - - - はい -
U-ネット3D テンソルフロー はい はい はい - - - - はい -
ユーネット医学 テンソルフロー2 はい はい はい - - - - はい -
Vネットメッド テンソルフロー はい はい はい - - - - はい -

自然言語処理

モデル フレームワーク A100 アンプ マルチGPU マルチノード ティッカー ティッカー トライトン ティッカー 備考
バート パイトーチ はい はい はい はい - - はい はい -
トランスフォーマーXL パイトーチ はい はい はい はい - - - はい -
ティッカー パイトーチ はい はい はい - - - - - -
変流器 パイトーチ はい はい はい - - - - - -
エレクトラ テンソルフロー2 はい はい はい はい - - - はい -
バート テンソルフロー はい はい はい はい はい - はい はい はい
バート テンソルフロー2 はい はい はい はい - - - はい -
バイオバート テンソルフロー はい はい はい - - - - はい はい
トランスフォーマーXL テンソルフロー はい はい はい - - - - - -
ティッカー テンソルフロー はい はい はい - - - - - -
より高速な変圧器 テンソルフロー - - - - はい - - - -

レコメンダーシステム

モデル フレームワーク A100 アンプ マルチGPU マルチノード ティッカー ティッカー トライトン ティッカー 備考
ティッカー パイトーチ はい はい はい - - はい はい はい はい
ティッカー テンソルフロー2 はい はい はい はい - - - はい -
ティッカー パイトーチ はい はい はい - - - - - -
ワイド&ディープ テンソルフロー はい はい はい - - - - はい -
ワイド&ディープ テンソルフロー2 はい はい はい - - - - はい -
ティッカー テンソルフロー はい はい はい - - - - はい -
VAE-CF テンソルフロー はい はい はい - - - - - -
シム テンソルフロー2 はい はい はい - - - - はい -

音声テキスト変換

モデル フレームワーク A100 アンプ マルチGPU マルチノード ティッカー ティッカー トライトン ティッカー 備考
碧玉 パイトーチ はい はい はい - はい はい はい はい はい
隠れマルコフモデル カルディ - - はい - - - はい - -

テキスト読み上げ

モデル フレームワーク A100 アンプ マルチGPU マルチノード ティッカー ティッカー トライトン ティッカー 備考
ファストピッチ パイトーチ はい はい はい - - - - はい -
ファストスピーチ パイトーチ - はい はい - はい - - - -
タコトロン2とウェーブグロー パイトーチ はい はい はい - はい はい はい はい -

グラフニューラルネットワーク

モデル フレームワーク A100 アンプ マルチGPU マルチノード ティッカー ティッカー トライトン ティッカー 備考
SE(3)-トランスフォーマー パイトーチ はい はい はい - - - - - -

時系列予測

モデル フレームワーク A100 アンプ マルチGPU マルチノード ティッカー ティッカー トライトン ティッカー 備考
時間核融合トランス パイトーチ はい はい はい - はい はい はい はい -

NVIDIA のサポート

各ネットワーク README には、提供されるサポートのレベルが示されています。その範囲は、継続的な更新や改善から、ソートリーダーシップのためのポイントインタイムリリースまでです。

用語集

マルチノードトレーニング
pyxis/enroot Slurm クラスターでサポートされています。

Deep Learning Compiler (DLC)
TensorFlow XLA および PyTorch JIT および/または TorchScript

高速線形代数 (XLA)
XLA は線形代数用のドメイン固有のコンパイラであり、ソース コードを変更することなく TensorFlow モデルを高速化できます。その結果、速度とメモリ使用量が改善されます。

PyTorch JIT および/または TorchScript TorchScript
は、PyTorch コードからシリアル化および最適化可能なモデルを作成する方法です。トーチスクリプト、PyTorch モデルの中間表現 (nn.モジュール) を使用して、C++ などの高パフォーマンス環境で実行できます。

自動混合精度 (AMP) 自動混合精度 (AMP)
を使用すると、Volta、Turing、NVIDIA Ampere GPU アーキテクチャで混合精度トレーニングを自動的に行うことができます。

TensorFloat-32 (TF32)TensorFloat-32 (TF32)
は、テンソル演算とも呼ばれる行列演算を処理するためのNVIDIA A100GPU の新しい数学モードです。A100 GPU の Tensor コアで実行されている TF32 は、Volta GPU の単精度浮動小数点演算 (FP32) と比較して最大 10 倍の高速化を提供できます。TF32 は NVIDIA アンペア GPU アーキテクチャでサポートされており、既定で有効になっています。

Jupyter ノートブック (NB)
Jupyter ノートブックは、ライブ コード、数式、視覚化、注釈テキストを含むドキュメントを作成および共有できるオープンソースの Web アプリケーションです。

フィードバック/貢献

これらの例を GitHub に投稿しているのは、コミュニティをより適切にサポートし、フィードバックを促進し、GitHub の問題とプルリクエストを使用してコントリビューションを収集して実装するためです。私たちはすべての貢献を歓迎します!

既知の問題

各ネットワーク README では、既知の問題を示し、コミュニティにフィードバックを提供することをお勧めします。