nn-zero-to-hero - ニューラルネットワーク:ゼロからヒーローへ
(Neural Networks: Zero to Hero)
ニューラルネットワーク:ゼロからヒーローへ
基礎から始めるニューラルネットワークのコース。このコースは、ニューラルネットワークを一緒にコーディングしてトレーニングする一連のYouTubeビデオです。ビデオで作成したJupyterノートブックは、講義ディレクトリ内にキャプチャされます。すべての講義には、ビデオの説明に含まれる一連の演習も含まれています。(これはもっと立派なものに成長するかもしれません)。
講義1:ニューラルネットワークとバックプロパゲーションの綴られた紹介:マイクログラードの構築
ニューラルネットワークのバックプロパゲーションとトレーニング。Pythonの基本的な知識と高校時代の微積分の漠然とした記憶を前提としています。
講義2:言語モデリングの綴られた入門:メイクモアの構築
バイグラム文字レベルの言語モデルを実装し、フォローアップビデオでさらに複雑化して、GPTなどの最新のTransformer言語モデルにします。この動画では、(1)トーチの導入に焦点が当てられています。テンソルとその微妙さとニューラルネットワークを効率的に評価する上での使用、および(2)モデルのトレーニング、サンプリング、および損失の評価(たとえば、分類の負の対数尤度)を含む言語モデリングの全体的なフレームワーク。
講義3:メイクモアの構築パート2:MLP
多層パーセプトロン(MLP)文字レベルの言語モデルを実装します。このビデオでは、機械学習の多くの基本 (モデル トレーニング、学習率の調整、ハイパーパラメーター、評価、トレーニング/開発/テストの分割、アンダー/オーバーフィットなど) も紹介します。
講義4:メイクモアの構築 パート3:アクティベーションとグラデーション、BatchNorm
複数のレイヤーを持つMLPの内部のいくつかを掘り下げ、フォワードパスのアクティブ化、バックワードパスの勾配、および不適切にスケーリングされた場合のいくつかの落とし穴の統計を精査します。また、ディープネットワークの健全性を理解するために使用する一般的な診断ツールと視覚化についても説明します。ディープニューラルネットのトレーニングが脆弱である理由を学び、それをはるかに簡単にした最初の最新のイノベーションであるバッチ正規化を紹介します。残りの接続とAdamオプティマイザーは、後のビデオで注目すべきToDoのままです。
講義5:メイクモアの構築パート4:バックプロップ忍者になる
前のビデオから 2 層の MLP (BatchNorm を使用) を取得し、PyTorch autograd の loss.backward() を使用せずに手動でバックプロパレートします。つまり、クロスエントロピー損失、2番目の線形層、tanh、バッチノルム、1番目の線形層、および埋め込みテーブルをバックプロップします。その過程で、勾配が計算グラフ内を逆方向にどのように流れるか、およびマイクログラードのような個々のスカラーだけでなく、効率的なテンソルのレベルで直感的に理解できます。これにより、ニューラルネットの最適化方法に関する能力と直感を構築し、最新のニューラルネットワークをより自信を持って革新およびデバッグできるようになります。
自分でエクササイズに取り組むことをお勧めしますが、並行して作業し、立ち往生しているときはいつでもビデオの一時停止を解除して、私が答えを与えるのを見てください。このビデオは、単に視聴することを意図したものではありません。演習はGoogleコラボとしてここにあります。頑張って:)
講義6:メイクモアの構築 パート5:WaveNetの構築
前のビデオから2層MLPを取得し、ツリーのような構造でより深くし、DeepMindのWaveNet(2016)に似た畳み込みニューラルネットワークアーキテクチャに到達します。WaveNetの論文では、因果関係のある拡張畳み込み(まだカバーされていません)を使用して、同じ階層アーキテクチャがより効率的に実装されています。その過程で、torch.nn とその内容、内部での仕組み、そして典型的なディープラーニング開発プロセスがどのように見えるか (ドキュメントの多くの読み取り、多次元テンソル形状の追跡、jupyter ノートブックとリポジトリ コード間の移動など) をよりよく理解できます。
講義7:GPTを構築しましょう:ゼロから、コードで、詳しく説明されています。
私たちは、論文「注意はあなたが必要とするすべて」とOpenAIのGPT-2 / GPT-3に続いて、生成的に事前訓練されたトランスフォーマー(GPT)を構築します。世界を席巻したChatGPTへの接続について話します。私たちは、それ自体がGPTであるGitHub CopilotがGPT(メタ:D)を書くのを手伝ってくれるのを見ています。このビデオでは当然のことと思っている自己回帰言語モデリングフレームワークとテンソルとPyTorch nnの基本に慣れるために、以前のmakemoreビデオを見ることをお勧めします。
- ユーチューブのビデオ講義。他のすべてのリンクについては、ビデオの説明を参照してください。
進行 中。。。
ライセンス
マサチューセッツ工科大学
