labml.aiディープラーニングペーパーの実装

これは、ニューラルネットワークと関連するアルゴリズムの単純なPyTorch実装のコレクションです。これらの実装は、説明とともに文書化されています。

Webサイト は、これらを並べてフォーマットされたメモとしてレンダリングします。これらは、これらのアルゴリズムをよりよく理解するのに役立つと信じています。

このリポジトリを積極的に維持し、ほぼ毎週新しい実装を追加しています。 更新のため。

モジュール

✨ トランスフォーマー

• 多面的な注意
• 変圧器のビルディングブロック
• Transformer XL
  • 比較的多面的な注意
• ロータリーの位置埋め込み
• レトロ
• 圧縮変圧器
• GPTアーキテクチャ
• GLUバリアント
• kNN-LM：暗記による一般化
• フィードバックトランス
• スイッチトランス
• ファストウェイトトランス
• FNet
• 注意のない変圧器
• マスクされた言語モデル
• MLP-Mixer：ビジョンのためのすべてのMLPアーキテクチャ
• MLPに注意を払う（gMLP）
• ビジョントランスフォーマー（ViT）
• プライマーEZ
• 砂時計

✨ 再発性高速道路ネットワーク

✨ LSTM

✨ HyperNetworks-HyperLSTM

✨ ResNet

✨ ConvMixer

✨ カプセルネットワーク

✨ 生成的敵対的ネットワーク

• オリジナルのGAN
• 深い畳み込みネットワークを備えたGAN
• サイクルGAN
• ワッサースタインGAN
• 勾配ペナルティのあるワッサースタインGAN
• StyleGAN 2

✨ 拡散モデル

• ノイズ除去拡散確率モデル（DDPM）

✨ RNNをスケッチする

✨グラフニューラルネットワーク

• グラフアテンションネットワーク（GAT）
• グラフアテンションネットワークv2（GATv2）

✨ 事実に反する後悔の最小化（CFR）

CFRを使用したポーカーなど、情報が不完全なゲームを解決します。

• クーンポーカー

✨ 強化学習

• 一般化されたアドバンテージ推定による 近位ポリシーの最適化
• デュエルネットワーク、 優先リプレイ 、ダブルQネットワークを備えたディープQネットワーク。

✨ オプティマイザー

• アダム
• AMSGrad
• ウォームアップ付きのAdamOptimizer
• Noamオプティマイザー
• 修正されたアダムオプティマイザー
• AdaBeliefオプティマイザー

✨ 正規化レイヤー

• バッチ正規化
• レイヤーの正規化
• インスタンスの正規化
• グループの正規化
• 重量の標準化
• バッチチャネルの正規化
• DeepNorm

✨ 蒸留

✨ アダプティブ計算

• PonderNet

✨ 不確実性

• 分類の不確実性を定量化するための証拠となる深層学習

インストール

pip install labml-nn

引用

これを学術研究に使用する場合は、次のBibTeXエントリを使用して引用してください。

@misc{labml,
 author = {Varuna Jayasiri, Nipun Wijerathne},
 title = {labml.ai Annotated Paper Implementations},
 year = {2020},
 url = {https://nn.labml.ai/},
}

その他のプロジェクト

🚀トレンド研究論文

これは、ソーシャルメディアで最も人気のある研究論文を示しています。また、紙の説明ビデオやディスカッションなどの有用なリソースへのリンクを集約します。

🧪labml.ai/labml

これは、携帯電話からディープラーニングモデルのトレーニングとハードウェアの使用状況を監視できるライブラリです。また、ディープラーニングコードを効率的に作成するのに役立つ他のツールも多数付属しています。