annotated_deep_learning_paper_implementations - 🧑 🏫 59 サイドバイサイドノート📝付きのディープラーニングペーパーの実装/チュートリアル;トランスフォーマー(オリジナル、XL、スイッチ、フィードバック、ビットなど)、オプティマイザー(アダム、アダベリーフなど)、ガン(サイクガン、スタイルガン2など)、強化学習(PPO、DQN)、🎮カプスネット、蒸留などを含む。🧠
(🧑🏫 59 Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠)
Created at: 2020-08-25 10:29:34
Language: Jupyter Notebook
License: MIT
labml.ai ディープラーニングペーパーの実装
これは、次の単純な PyTorch 実装のコレクションです。 ニューラルネットワークと関連アルゴリズム。 これらの実装は、説明とともに文書化されています。
Webサイトは、これらを並べてフォーマットされたメモとしてレンダリングします。 これらは、これらのアルゴリズムをよりよく理解するのに役立つと信じています。
このリポジトリを積極的に維持し、新しいリポジトリを追加しています
ほぼ毎週実装。
紙の実装
✨ トランスフォーマー
- 多頭の注意
- 変圧器ビルディングブロック
- トランスフォーマーXL
- ロータリー位置埋め込み
- 線形バイアスによる注意 (ALiBi)
- レトロ
- 圧縮変圧器
- GPT アーキテクチャ
- GLU バリアント
- kNN-LM: 暗記による一般化
- フィードバックトランス
- スイッチトランス
- 高速ウェイトトランス
- エフネット
- アテンションフリートランスフォーマー
- マスクされた言語モデル
- MLPミキサー:ビジョンのためのオールMLPアーキテクチャ
- MLP (gMLP) に注意を払う
- ビジョントランス(ViT)
- プライマーEZ
- 砂時計
✨ エリューサーGPT-ネオックス
✨ 拡散モデル
✨ 敵対的生成ネットワーク
✨ リカレントハイウェイネットワーク
✨ ティッカー
✨ ハイパーネットワーク - ハイパー LSTM
✨ レスネット
✨ コンバージョンミキサー
✨ カプセルネットワーク
✨ ユーネット
✨ スケッチ RNN
✨ グラフニューラルネットワーク
✨ 反事実的後悔の最小化(CFR)
CFRを使用したポーカーなど、情報が不完全なゲームを解く。
✨ 強化学習
- 一般化アドバンテージ推定による近位方位方策の最適化
- ディープQネットワークス デュエルネットワーク、優先リプレイ、ダブルQネットワーク付き。
✨ オプティマイザー
✨ 正規化レイヤー
✨ 蒸留
✨ 適応計算
✨ 疑い
✨ アクティベーション
✨ 言語モデルのサンプリング手法
✨ スケーラブルなトレーニング/推論
ハイライトされた研究論文のPDF
- フラッシュアテンション:IO認識による高速でメモリ効率の高い正確なアテンション
- 自己回帰検索エンジン:ドキュメント識別子としての部分文字列の生成
- コンピューティングに最適な大規模言語モデルのトレーニング
- ZeRO:1兆個のパラメータモデルの学習に向けたメモリ最適化
- PaLM: 経路を使用した言語モデリングのスケーリング
- CLIP潜伏型による階層テキスト条件付き画像生成
- STaR:独学の推論者ブートストラップ推論と推論
- 数兆個のトークンから取得することによる言語モデルの改善
- NeRF: ビュー合成のためのニューラル放射輝度場としてのシーンの表現
- 必要なのは注意だけです
- ノイズ除去拡散確率モデル
- 入門:言語モデリングのための効率的なトランスフォーマーの検索
- 一次メタ学習アルゴリズムについて
- 自然言語監督からの転移可能な視覚モデルの学習
- トランスフォーマーとしての感覚ニューロン:強化学習のための順列不変ニューラルネットワーク
- メタ勾配強化学習
- GoogleマップのグラフニューラルネットワークによるETA予測
- 深く考える—深く考えることを学ぶ
- アタリ、囲碁、チェス、将棋を習ったモデルで計画してマスターする
- GANs N' Roses:安定した、制御可能な、多様な画像から画像への翻訳(ビデオでも機能します!
- 画像は16X16ワードの価値があります:大規模な画像認識のためのトランスフォーマー
- 画像認識のための深層残差学習
- ニューラルネットワークで知識を抽出する
取り付け
pip install labml-nn引用
学術研究に利用する場合は、以下のBibTeXの項目から引用してください。
@misc{labml,
author = {Varuna Jayasiri, Nipun Wijerathne},
title = {labml.ai Annotated Paper Implementations},
year = {2020},
url = {https://nn.labml.ai/},
}その他のプロジェクト
🚀 トレンド研究論文
これは、ソーシャルメディアで最も人気のある研究論文を示しています。また、紙の説明ビデオやディスカッションなどの有用なリソースへのリンクも集約しています。
🧪 labml.ai/labml
これは、携帯電話からディープラーニングモデルのトレーニングとハードウェアの使用状況を監視できるライブラリです。また、ディープラーニングコードを効率的に記述するのに役立つ他の多くのツールも付属しています。
