nn-zero-to-hero - ニューラル ネットワーク: ゼロからヒーローへ

(Neural Networks: Zero to Hero)

Created at: 2022-09-09 05:23:25
Language: Jupyter Notebook
License: MIT

ニューラル ネットワーク: ゼロからヒーローへ

基礎から始めるニューラル ネットワークのコース。このコースは、ニューラル ネットワークのコーディングとトレーニングを一緒に行う一連の YouTube ビデオです。ビデオで作成した Jupyter ノートブックは、レクチャーディレクトリ内にキャプチャされます。すべての講義には、ビデオの説明に含まれる一連の演習もあります。(これは、より立派なものに成長する可能性があります)。


講義 1: ニューラル ネットワークとバックプロパゲーションの詳しい説明: micrograd の構築

ニューラル ネットワークのバックプロパゲーションとトレーニング。Python の基本的な知識と、高校時代の微積分の漠然とした記憶があることを前提としています。


講義 2: 言語モデリングの詳しい説明: makemore の構築

バイグラム文字レベルの言語モデルを実装します。これは、フォローアップ ビデオで、GPT のような最新の Transformer 言語モデルにさらに複雑化します。このビデオでは、(1) torch.Tensor とその機微を紹介し、ニューラル ネットワークを効率的に評価する際に使用すること、および (2) モデルのトレーニング、サンプリング、および損失の評価を含む言語モデリングの全体的なフレームワーク (例:分類の負の対数尤度)。


講義 3: 言語モデリングの詳細なイントロ: makemore の構築。パート 2: MLP

多層パーセプトロン (MLP) 文字レベル言語モデルを実装します。このビデオでは、機械学習の多くの基本 (モデル トレーニング、学習率の調整、ハイパーパラメーター、評価、トレーニング/開発/テストの分割、アンダー/オーバーフィッティングなど) も紹介しています。


進行中...


ライセンス

MIT