paper-reading - 深層学習の古典と新しい論文を段落ごとに集中的に読む

(深度学习经典、新论文逐段精读)

Created at: 2021-10-22 14:34:51
Language:
License: Apache-2.0

深層学習の論文を集中的に読む

収録論文

日にち 題名 カバー 間隔 動画(再生回数)
22/7/29 ViLTペーパー インテンシブ リーディング 1:03:26 ビリビリ
7/22/22 理由、議論、保証 [ The Art of Research , 4] 44:14 ビリビリ
22/7/15 ストーリーの伝え方とストーリーでの議論の仕方 [ The Art of Research Three] 43:56 ビリビリ
22/7/8 DALL・E 2のパラグラフごとの集中的な読書 1:27:54 ビリビリ
7/1/22 問題の重要性を理解する [ The Art of Research · 2] 1:03:40 ビリビリ
6/24/22 読者とつながる [ The Art of Research Part 1] 45:01 ビリビリ
6/17/22 段落ごとのゼロ集中読書 52:21 ビリビリ
6/10/22 DETR集中読解パラグラフバイパラグラフ 54:22 ビリビリ
6/3/22 Megatron LM Intensive Reading 段落ごとの段落 56:07 ビリビリ
5/27/22 GPipeインテンシブ リーディング パラグラフ バイ パラグラフ 58:47 ビリビリ
5/5/22 Pathways集中読書段落ごとの段落 1:02:13 ビリビリ
2022 年 4 月 28 日 ビデオ読解ペーパーのクロストーク(パート 2) 1:08:32 ビリビリ
4/21/22 パラメーター サーバー (パラメーター サーバー)段落ごとの集中的な読書 1:37:40 ビリビリ
4/14/22 映像理解ペーパートーク(前編) 51:15 ビリビリ
22/3/31 I3Dペーパー集中読書 52:31 ビリビリ
22/3/24 スタンフォード 2022 AI インデックス レポート集中 1:19:56 ビリビリ
3/17/22 AlphaCode論文の精読 44:00 ビリビリ
3/10/22 OpenAI Codex の論文を集中的に読む 47:58 ビリビリ
志虎
3/3/22 GPTGPT-2GPT-3インテンシブ 1:29:58 ビリビリ
2022 年 2 月 24 日 セクションごとの 2 ストリーム集中読書 52:57 ビリビリ
2/10/22 CLIPセクションごとの集中的な読書 1:38:25 ビリビリ
志虎
2/6/22 あなたはその論文が十分に斬新でないと不平を言ったことがありますか? 14:11 ビリビリ
志虎
22/1/23 AlphaFold 2集中読書 1:15:28 ビリビリ
志虎
1/18/22 (自分の)研究成果の価値をどう判断するか 9:59 ビリビリ
志虎
22/1/15 Swin Transformer集中読書 1:00:21 ビリビリ
志虎
22/1/7 導かれた数学的直観 52:51 ビリビリ
志虎
22/1/5 AlphaFold 2 ティーザー 03:28 ビリビリ
12/20/21 対照学習論文のレビュー 1:32:01 ビリビリ
志虎
12/15/21 段落ごとに MoCo を集中的に読む 1:24:11 ビリビリ
志虎
12/9/21 研究アイデアの見つけ方 1 5:34 ビリビリ
12/8/21 MAEインテンシブ リーディング パラグラフ バイ パラグラフ 47:04 ビリビリ
志虎
21/11/29 ViT Intensive Reading パラグラフ バイ パラグラフ 1:11:30 ビリビリ
志虎
11/18/21 BERT集中読解パラグラフバイパラグラフ 45:49 ビリビリ
志虎
11/9/21 段落ごとにGANを集中的に読む 46:16 ビリビリ
志虎
11/3/21 ゼロベースのマルチグラフ詳細グラフニューラル ネットワーク(GNN/GCN) 1:06:19 ビリビリ
志虎
21/10/27 Transformerをセクションごとに集中的に読む(
ビデオで言及されている文書1 )
1:27:05 ビリビリ
志虎
10/22/21 ResNetの論文をパラグラフごとに集中的に読む 53:46 ビリビリ
志虎
10/21/21 コンピューター ビジョンで空の半分を支えているResNet 11:50 ビリビリ
志虎
10/15/21 段落ごとに AlexNet の論文を集中的に読む 55:21 ビリビリ
志虎
10/14/21 深層学習の基礎となる研究の 1 つを 9 年ぶりに読み直す: AlexNet 19:59 ビリビリ
志虎
10/06/21 論文の読み方 06:39 ビリビリ
志虎

すべての論文

記録されており、後で提示される論文を含めます。選択の原則は、10年以内の深層学習における影響力のある記事(必読の記事)、または最近の興味深い記事です。もちろん、この 10 年間は重要な仕事が多すぎて、すべてをこなすことは不可能です。選択するとき、以前のライブクラスでカバーされていないものに偏ってしまいます. ディスカッションエリアでは、誰でも提案 (曲) を提供できます。

総論文数は67、収録完了数は32

(ここでの参照は、手動で更新しなくても自動的に取得できるAPIを提供するため、semanticscholar です。)

コンピューター ビジョン - CNN

記録された 名前 序章 見積もり
2012年 アレックスネット ディープラーニングブームの礎を築いた作品 引用
2014年 VGG 3x3 畳み込みを使用してより深いネットワークを構築する 引用
2014年 GoogleNet 並列アーキテクチャを使用してより深いネットワークを構築する 引用
2015年 レスネット 深いネットワークを構築するために必要な残りの接続。 引用
2017年 モバイルネット エンドデバイス向けの小さな CNN 引用
2019年 EfficientNet アーキテクチャ検索で得られたCNN 引用
2021年 非深層ネットワーク 深くないネットワークも ImageNet で SOTA にブラッシングできるようにしましょう 引用

コンピューター ビジョン - トランスフォーマー

記録された 名前 序章 見積もり
2020年 ViT トランスフォーマーがCVの世界へ 引用
2021年 クリップ 写真とテキストの対比学習 引用
2021年 スウィントランス マルチレベルビジョントランス 引用
2021年 MLPミキサー 自己注意を MLP に置き換える 引用
2021年 BERTのCVバージョン 引用

生成モデル

記録された 名前 序章 見積もり
2014年 ガン 生成モデルに関する先駆的な研究 引用
2015年 DCGAN CNNを使用したGAN 引用
2016年 pix2pix 引用
2016年 セルガン 画像超解像 引用
2017年 ワーガン トレーニングがより簡単に 引用
2017年 サイクルガン 引用
2018年 スタイルGAN 引用
2019年 スタイルGAN2 引用
2020年 DDPM 拡散モデル 引用
2021年 改善された DDPM 改善された DDPM 引用
2021年 誘導拡散モデル GANを超えることで知られる 引用
2021年 スタイルGAN3 引用

コンピューター ビジョン - オブジェクト検出

記録された 名前 序章 見積もり
2014年 R-CNN 二段 引用
2015年 高速 R-CNN 引用
2015年 より高速な R-CNN 引用
2016年 SSD 単段 引用
2016年 ヨロ 引用
2017年 マスク R-CNN 引用
2017年 YOLOv2 引用
2018年 YOLOv3 引用
2019年 センターネット アンカーフリー 引用
2020年 DETR 変成器 引用

コンピューター ビジョン - 対照的な学習

記録された 名前 序章 見積もり
2018年 インスタレーションディスク 比較学習のためのインスタンス識別とメモリ バンクの提案 引用
2018年 クリック単価 予測コーディングと比較して、画像 - 音声 - テキスト強化学習はすべてを行うことができます 引用
2019年 インバスプレッド エンコーダーのエンドツーエンドの対照的学習 引用
2019年 CMC 複数の視点からの対照的な学習 引用
2019年 MoCov1 教師なしトレーニングもうまく機能します 引用
2020年 SimCLRv1 単純な比較学習 (データ拡張 + MLP ヘッド + 長時間の大バッチ トレーニング) 引用
2020年 MoCov2 MoCov1 + SimCLRv1 からの改善 引用
2020年 SimCLRv2 大規模な自己教師ありの事前トレーニング済みモデルは、半教師あり学習に適しています 引用
2020年 BYOL 負のサンプルを使用しない対照学習 引用
2020年 SWAV クラスタリング対照学習 引用
2020年 シムサイアム 簡略化されたツイン表現学習 引用
2021年 MoCov3 より安定した自己管理型トレーニング ViT を行う方法 引用
2021年 ディーノ トランスフォーマー プラス 自己監視はビジョンにも非常に香る 引用

自然言語処理 - トランスフォーマー

記録された 名前 序章 見積もり
2017年 変成器 MLP、CNN、RNN に続く第 4 のアーキテクチャ カテゴリ 引用
2018年 GPT 事前トレーニングに Transformer デコーダーを使用する 引用
2018年 バート Transformer Unified NLP の始まり 引用
2019年 GPT-2 大規模な GPT モデル、ゼロショット学習への大きな一歩 引用
2020年 GPT-3 100倍のGPT-2、数発学習効果が顕著 引用

システム

記録された 名前 序章 見積もり
2014年 パラメータサーバー 数千億のパラメーターをサポートする従来の機械学習モデル 引用
2018年 Gパイプ パイプラインの並列性 引用
2019年 メガトロンLM テンソル並列処理 引用
2019年 ゼロ パラメータのシャーディング 引用
2022年 経路 Jax を数千の TPU コアに拡張 引用

グラフ ニューラル ネットワーク

記録された 名前 序章 見積もり
2021年 グラフ ニューラル ネットワークの概要 GNN の視覚的な紹介 引用

最適化

記録された 名前 序章 見積もり
2014年 アダム 深層学習で最も一般的に使用される最適化アルゴリズムの 1 つ 引用
2016年 非常に大規模なモデルが適切に一般化される理由 引用
2017年 モメンタムが機能する理由 蒸留可視化の紹介 引用

新しいフィールド アプリケーション

記録された 名前 序章 見積もり
2016年 アルファ碁 サークルの外での強化学習 引用
2020年 アルファフォールド 競争に勝ったタンパク質の 3D 構造予測 引用
2021年 アルファフォールド 2 原子レベルの精度でタンパク質の立体構造を予測 引用
2021年 コーデックス コメント付きのコードを生成する 引用
2021年 導かれた数学的直観 新しい定理の発見を支援するために、異なる数学的オブジェクト間の以前の接続を分析する 引用
2022年 アルファコード 普通のプログラマーのプログラミング問題解決レベルに匹敵 引用
  1. 1スタンフォード大学の 100 人以上の著者の 200 ページ以上のレビュー, 2 LayerNorm に関する新しい研究, 3 Transformer における注意の役割に関する研究