深層学習の論文を集中的に読む

収録論文

日にち	題名	カバー	間隔	動画（再生回数）
22/7/29	ViLTペーパー インテンシブ リーディング		1:03:26
7/22/22	理由、議論、保証 [ The Art of Research , 4]		44:14
22/7/15	ストーリーの伝え方とストーリーでの議論の仕方 [ The Art of Research Three]		43:56
22/7/8	DALL・E 2のパラグラフごとの集中的な読書		1:27:54
7/1/22	問題の重要性を理解する [ The Art of Research · 2]		1:03:40
6/24/22	読者とつながる [ The Art of Research Part 1]		45:01
6/17/22	段落ごとのゼロ集中読書		52:21
6/10/22	DETR集中読解パラグラフバイパラグラフ		54:22
6/3/22	Megatron LM Intensive Reading 段落ごとの段落		56:07
5/27/22	GPipeインテンシブ リーディング パラグラフ バイ パラグラフ		58:47
5/5/22	Pathways集中読書段落ごとの段落		1:02:13
2022 年 4 月 28 日	ビデオ読解ペーパーのクロストーク(パート 2)		1:08:32
4/21/22	パラメーター サーバー (パラメーター サーバー)段落ごとの集中的な読書		1:37:40
4/14/22	映像理解ペーパートーク（前編）		51:15
22/3/31	I3Dペーパー集中読書		52:31
22/3/24	スタンフォード 2022 AI インデックス レポート集中		1:19:56
3/17/22	AlphaCode論文の精読		44:00
3/10/22	OpenAI Codex の論文を集中的に読む		47:58
3/3/22	GPT、GPT-2、GPT-3インテンシブ		1:29:58
2022 年 2 月 24 日	セクションごとの 2 ストリーム集中読書		52:57
2/10/22	CLIPセクションごとの集中的な読書		1:38:25
2/6/22	あなたはその論文が十分に斬新でないと不平を言ったことがありますか?		14:11
22/1/23	AlphaFold 2集中読書		1:15:28
1/18/22	（自分の）研究成果の価値をどう判断するか		9:59
22/1/15	Swin Transformer集中読書		1:00:21
22/1/7	導かれた数学的直観		52:51
22/1/5	AlphaFold 2 ティーザー		03:28
12/20/21	対照学習論文のレビュー		1:32:01
12/15/21	段落ごとに MoCo を集中的に読む		1:24:11
12/9/21	研究アイデアの見つけ方 1		5:34
12/8/21	MAEインテンシブ リーディング パラグラフ バイ パラグラフ		47:04
21/11/29	ViT Intensive Reading パラグラフ バイ パラグラフ		1:11:30
11/18/21	BERT集中読解パラグラフバイパラグラフ		45:49
11/9/21	段落ごとにGANを集中的に読む		46:16
11/3/21	ゼロベースのマルチグラフ詳細グラフニューラル ネットワーク(GNN/GCN)		1:06:19
21/10/27	Transformerをセクションごとに集中的に読む( ビデオで言及されている文書1 )		1:27:05
10/22/21	ResNetの論文をパラグラフごとに集中的に読む		53:46
10/21/21	コンピューター ビジョンで空の半分を支えているResNet		11:50
10/15/21	段落ごとに AlexNet の論文を集中的に読む		55:21
10/14/21	深層学習の基礎となる研究の 1 つを 9 年ぶりに読み直す: AlexNet		19:59
10/06/21	論文の読み方		06:39

すべての論文

記録されており、後で提示される論文を含めます。選択の原則は、10年以内の深層学習における影響力のある記事（必読の記事）、または最近の興味深い記事です。もちろん、この 10 年間は重要な仕事が多すぎて、すべてをこなすことは不可能です。選択するとき、以前のライブクラスでカバーされていないものに偏ってしまいます. ディスカッションエリアでは、誰でも提案 (曲) を提供できます。

総論文数は67、収録完了数は32

(ここでの参照は、手動で更新しなくても自動的に取得できるAPIを提供するため、semanticscholar です。)

コンピューター ビジョン - CNN

記録された	年	名前	序章	見積もり
✅	2012年	アレックスネット	ディープラーニングブームの礎を築いた作品
	2014年	VGG	3x3 畳み込みを使用してより深いネットワークを構築する
	2014年	GoogleNet	並列アーキテクチャを使用してより深いネットワークを構築する
✅	2015年	レスネット	深いネットワークを構築するために必要な残りの接続。
	2017年	モバイルネット	エンドデバイス向けの小さな CNN
	2019年	EfficientNet	アーキテクチャ検索で得られたCNN
	2021年	非深層ネットワーク	深くないネットワークも ImageNet で SOTA にブラッシングできるようにしましょう

コンピューター ビジョン - トランスフォーマー

記録された	年	名前	序章	見積もり
✅	2020年	ViT	トランスフォーマーがCVの世界へ
✅	2021年	クリップ	写真とテキストの対比学習
✅	2021年	スウィントランス	マルチレベルビジョントランス
	2021年	MLPミキサー	自己注意を MLP に置き換える
✅	2021年	前	BERTのCVバージョン

生成モデル

記録された	年	名前	序章	見積もり
✅	2014年	ガン	生成モデルに関する先駆的な研究
	2015年	DCGAN	CNNを使用したGAN
	2016年	pix2pix
	2016年	セルガン	画像超解像
	2017年	ワーガン	トレーニングがより簡単に
	2017年	サイクルガン
	2018年	スタイルGAN
	2019年	スタイルGAN2
	2020年	DDPM	拡散モデル
	2021年	改善された DDPM	改善された DDPM
	2021年	誘導拡散モデル	GANを超えることで知られる
	2021年	スタイルGAN3

コンピューター ビジョン - オブジェクト検出

記録された	年	名前	序章	見積もり
	2014年	R-CNN	二段
	2015年	高速 R-CNN
	2015年	より高速な R-CNN
	2016年	SSD	単段
	2016年	ヨロ
	2017年	マスク R-CNN
	2017年	YOLOv2
	2018年	YOLOv3
	2019年	センターネット	アンカーフリー
✅	2020年	DETR	変成器

コンピューター ビジョン - 対照的な学習

記録された	年	名前	序章	見積もり
✅	2018年	インスタレーションディスク	比較学習のためのインスタンス識別とメモリ バンクの提案
✅	2018年	クリック単価	予測コーディングと比較して、画像 - 音声 - テキスト強化学習はすべてを行うことができます
✅	2019年	インバスプレッド	エンコーダーのエンドツーエンドの対照的学習
✅	2019年	CMC	複数の視点からの対照的な学習
✅	2019年	MoCov1	教師なしトレーニングもうまく機能します
✅	2020年	SimCLRv1	単純な比較学習 (データ拡張 + MLP ヘッド + 長時間の大バッチ トレーニング)
✅	2020年	MoCov2	MoCov1 + SimCLRv1 からの改善
✅	2020年	SimCLRv2	大規模な自己教師ありの事前トレーニング済みモデルは、半教師あり学習に適しています
✅	2020年	BYOL	負のサンプルを使用しない対照学習
✅	2020年	SWAV	クラスタリング対照学習
✅	2020年	シムサイアム	簡略化されたツイン表現学習
✅	2021年	MoCov3	より安定した自己管理型トレーニング ViT を行う方法
✅	2021年	ディーノ	トランスフォーマー プラス 自己監視はビジョンにも非常に香る

自然言語処理 - トランスフォーマー

記録された	年	名前	序章	見積もり
✅	2017年	変成器	MLP、CNN、RNN に続く第 4 のアーキテクチャ カテゴリ
✅	2018年	GPT	事前トレーニングに Transformer デコーダーを使用する
✅	2018年	バート	Transformer Unified NLP の始まり
✅	2019年	GPT-2	大規模な GPT モデル、ゼロショット学習への大きな一歩
✅	2020年	GPT-3	100倍のGPT-2、数発学習効果が顕著

システム

記録された	年	名前	序章	見積もり
✅	2014年	パラメータサーバー	数千億のパラメーターをサポートする従来の機械学習モデル
✅	2018年	Gパイプ	パイプラインの並列性
✅	2019年	メガトロンLM	テンソル並列処理
✅	2019年	ゼロ	パラメータのシャーディング
✅	2022年	経路	Jax を数千の TPU コアに拡張

グラフ ニューラル ネットワーク

記録された	年	名前	序章	見積もり
✅	2021年	グラフ ニューラル ネットワークの概要	GNN の視覚的な紹介

最適化

記録された	年	名前	序章	見積もり
	2014年	アダム	深層学習で最も一般的に使用される最適化アルゴリズムの 1 つ
	2016年	非常に大規模なモデルが適切に一般化される理由
	2017年	モメンタムが機能する理由	蒸留可視化の紹介

新しいフィールド アプリケーション

記録された	年	名前	序章	見積もり
	2016年	アルファ碁	サークルの外での強化学習
	2020年	アルファフォールド	競争に勝ったタンパク質の 3D 構造予測
✅	2021年	アルファフォールド 2	原子レベルの精度でタンパク質の立体構造を予測
✅	2021年	コーデックス	コメント付きのコードを生成する
✅	2021年	導かれた数学的直観	新しい定理の発見を支援するために、異なる数学的オブジェクト間の以前の接続を分析する
✅	2022年	アルファコード	普通のプログラマーのプログラミング問題解決レベルに匹敵