awesome-transformers - 素晴らしいトランスフォーマーモデルの厳選されたリスト。

(A curated list of awesome transformer models.)

Created at: 2023-02-25 12:27:38
Language: NULL
URL: https://github.com/abacaj/awesome-transformers
License: MIT

素晴らしいトランスフォーマー

トランスフォーマー

素晴らしいトランスフォーマーモデルの厳選されたリスト。

このリストに貢献したい場合は、プルリクエストを送信するか、Twitterで私に連絡してください:@abacaj。このリストを便利にしましょう。

完全にオープンソースではないモデル(非営利など)が多数ありますが、このリポジトリはそれを認識させるのにも役立ちます。モデルの元のソース/会社を追跡すると役立ちます。

また、最終的にはモデルのユースケースを追加したいと思います。そのため、他の人が微調整に適したものを見つけるのは簡単です。

フォーマット:

  • モデル名:簡単な説明、通常は紙から
    • モデルリンク(通常はハギングフェイスまたはgithub)
    • 論文リンク
    • 会社またはグループとしてのソース
    • モデルライセンス

目次

エンコーダモデル

  • アルバート:BERTの「ライト」バージョン
  • BERT: トランスフォーマーからの双方向エンコーダ表現
  • DistilBERT:BERTの蒸留バージョンは、より小さく、より速く、より安く、より軽い
  • DeBERTaV3:勾配解きもつれ埋め込み共有によるELECTRAスタイルの事前学習を使用したDeBERTaの改善
    • モデル
    • 紙
    • マイクロソフト
    • マサチューセッツ工科大学
  • Electra:ジェネレータではなく識別器としてのテキストエンコーダの事前トレーニング
  • RoBERTa: 堅牢に最適化された BERT 事前トレーニング アプローチ
    • モデル
    • 紙
    • フェイスブック
    • マサチューセッツ工科大学

デコーダーモデル

  • BioGPT:生物医学テキストの生成とマイニングのための生成事前トレーニング済みトランスフォーマー
    • モデル
    • 紙
    • マイクロソフト
    • マサチューセッツ工科大学
  • CodeGen: マルチターンプログラム合成によるコードのためのオープンな大規模言語モデル
  • LLaMa: オープンで効率的な基盤言語モデル
  • GPT:生成的事前トレーニングによる言語理解の向上
    • モデル
    • 紙
    • オープンアイ
    • マサチューセッツ工科大学
  • GPT-2: 言語モデルは教師なしマルチタスク学習者である
    • モデル
    • 紙
    • オープンアイ
    • マサチューセッツ工科大学
  • GPT-J: 6億パラメータの自己回帰言語モデル
  • GPT-NEO: メッシュテンソルフローを用いた大規模自己回帰言語モデリング
    • モデル
    • 紙
    • エリューサーAI
    • マサチューセッツ工科大学
  • GPT-NEOX-20B: オープンソースの自己回帰言語モデル
  • NeMo Megatron-GPT: Megatron-GPT 20B はトランスフォーマーベースの言語モデルです。
  • OPT: オープン事前トレーニング済みトランスフォーマー言語モデル
  • BLOOM: 176Bパラメータオープンアクセス多言語言語モデル
  • GLM:オープンなバイリンガル事前トレーニング済みモデル
  • YaLM: 100B のパラメーターを持つ事前トレーニング済み言語モデル

エンコーダ+デコーダ (seq2seq) モデル

  • T5:統合されたテキストからテキストへのトランスフォーマーを使用した転移学習の限界を探る
  • FLAN-T5: スケーリング命令微調整言語モデル
  • Code-T5: 識別子認識の統合事前トレーニング済みエンコーダー/デコーダー モデル コードの理解と生成のために
  • Bart:自然言語の生成、翻訳、理解のためのシーケンス間の事前トレーニングのノイズ除去
  • Pegasus:抽象的な要約のための抽出されたギャップ文による事前学習
  • MT5:多言語の事前学習済みテキストからテキストへのトランスフォーマー
  • UL2:言語学習パラダイムの統合
  • エッジフォーマ:オンデバイスシーケンス生成用のパラメータ効率の高いトランスフォーマ
    • モデル
    • 紙
    • マイクロソフト
    • マサチューセッツ工科大学

マルチモーダルモデル

  • Donut: OCR-free Document Understanding Transformer
  • LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
    • Model
    • Paper
    • Microsoft
    • CC BY-NC-SA 4.0 (non-commercial)
  • TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models
  • CLIP: Learning Transferable Visual Models From Natural Language Supervision

Vision models

  • DiT: Self-supervised Pre-training for Document Image Transformer
  • DETR:トランスフォーマーによるエンドツーエンドの物体検出
  • EfficientFormer: Vision Transformers at MobileNet Speed

オーディオモデル

  • ウィスパー:大規模弱監視によるロバスト音声認識
    • モデル
    • 紙
    • オープンアイ
    • マサチューセッツ工科大学

レコメンデーション モデル

  • 言語処理としての勧告(RLP):統一された事前訓練、パーソナライズされたプロンプト&予測パラダイム(P5)

About

Author：abacaj

Watch
Star
Fork