なぜ変圧器を使うべきなのですか?

1. 使いやすい最先端のモデル:

   • 自然言語理解と生成、コンピュータビジョン、およびオーディオタスクに関する高性能。
   • 教育者や実務家にとっての参入障壁が低い。
   • 学習するクラスが 3 つだけのユーザー向け抽象化はほとんどありません。
   • 事前トレーニング済みのすべてのモデルを使用するための統一 API。

2. コンピューティングコストの削減、二酸化炭素排出量の削減:

   • 研究者は、常に再トレーニングを行う代わりに、トレーニング済みのモデルを共有できます。
   • 実務家は、計算時間と生産コストを削減できます。
   • すべてのモダリティにわたって60,000以上の事前トレーニング済みモデルを持つ数十のアーキテクチャ。

3. モデルの有効期間のあらゆる部分に適したフレームワークを選択します。

   • 最先端のモデルを 3 行のコードでトレーニングします。
   • TF2.0/PyTorch/JAXフレームワーク間で単一のモデルを自由に移動します。
   • トレーニング、評価、生産のための適切なフレームワークをシームレスに選択します。

4. モデルや例をニーズに合わせて簡単にカスタマイズできます。

   • 各アーキテクチャの例を提供して、元の作成者によって公開された結果を再現します。
   • モデルの内部は、できるだけ一貫して公開されます。
   • モデルファイルは、ライブラリとは独立して使用して、迅速な実験を行うことができます。

変圧器を使用すべきではないのはなぜですか?

• このライブラリは、ニューラルネット用のビルディングブロックのモジュラーツールボックスではありません。モデルファイル内のコードは、意図的に追加の抽象化でリファクタリングされないため、研究者は追加の抽象化/ファイルに飛び込むことなく、各モデルをすばやく反復処理できます。
• トレーニング API は、どのモデルでも動作することを意図したものではなく、ライブラリによって提供されるモデルで動作するように最適化されています。一般的な機械学習ループの場合は、別のライブラリ (場合によっては Accelerate) を使用する必要があります。
• できるだけ多くのユースケースを提示するよう努めていますが、exampleフォルダ内のスクリプトは単なる例です。特定の問題ではすぐには機能せず、ニーズに合わせて数行のコードを変更する必要があることが予想されます。

取り付け

ピップ付き

このリポジトリは Python 3.6+、Flax 0.3.2+、PyTorch 1.3.1+ および TensorFlow 2.3+ でテストされています。

トランスフォーマーは仮想環境にインストール🤗する必要があります。Python 仮想環境に慣れていない場合は、ユーザーガイドを参照してください。

まず、使用するPythonのバージョンで仮想環境を作成し、それをアクティブ化します。

次に、Flax、PyTorch、またはTensorFlowの少なくとも1つをインストールする必要があります。お使いのプラットフォームに固有のインストールコマンドについては、TensorFlowのインストールページ、PyTorchのインストールページ、および/または亜麻およびJaxのインストールページを参照してください。

これらのバックエンドの1つがインストールされている場合、🤗トランスフォーマーは次のようにpipを使用してインストールできます。

pip install transformers

例で遊んだり、コードの最先端が必要で、新しいリリースを待つことができない場合は、ソースからライブラリをインストールする必要があります。

コンダ付き

トランスフォーマーのバージョンv4.0.0以降、我々は今、condaチャネルを持っている: 。

huggingface

🤗変圧器は、次のようにcondaを使用してインストールできます。

conda install -c huggingface transformers

Flax、PyTorch、またはTensorFlowのインストールページに従って、condaでインストールする方法を確認してください。

手記：Windows では、キャッシュの恩恵を受けるために開発者モードをアクティブにするように求められることがあります。これがあなたのためのオプションではない場合は、この問題でお知らせください。

モデルアーキテクチャ

Transformers によって提供されるすべてのモデル チェックポイントは、ユーザーや組織によって🤗直接アップロードされる huggingface.co モデル ハブからシームレスに統合されます。

チェックポイントの現在の数:

🤗トランスフォーマーは現在、次のアーキテクチャを提供しています(各アーキテクチャの概要については、こちらをご覧ください)。

1. ALBERT (Google Research と Toyota Tech Institute at Chicago) は、Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut による論文 ALBERT: A Lite BERT for Self-supervised Learning of Language Representations と共に発表した。
2. BARTは、Mike Lewis、Yinhan Liu、Naman Goyal、Marjan Ghazvininejad、Abdelrahman Mohamed、Omer Levy、Ves Stoyanov、Luke Zettlemoyerによる論文BART:Denoising Sequence-to-Sequence Pre-Training for Natural Language Generation, Translation, and Comprehension(自然言語生成、翻訳、理解のためのDenoising Sequence-to-Sequence Pre-Training for Natural Language Generation, Translation, and Comprehension)とともにリリースされました。
3. BARThez(École polytechniqueより)は、Moussa Kamal Eddine, Antoine J.-Pによる論文BARThez: a Skilled Pretrained French Sequence-to-Sequence Model でリリースされました。ティクシエ、ミカリス・ヴァジルギアニス。
4. BARTpho(VinAI Researchより)は、Nguyen Luong Tran、Duong Minh Le 、Dat Quoc Nguyenによるベトナム語の事前訓練済みシーケンス間モデルに関する論文BARTpho:Pretrained Sequence-to-Sequence Models for Vietnamese (VinAI Researchより)が論文BARTpho: Pretrained Sequence-to-Sequence Models for Vietnamese by Nguyen Luong Tran, Duong Minh Le and Dat Quoc Nguyenによってリリースされた。
5. BEiT(マイクロソフトから)は、Hangbo Bao、Li Dong、Furu Weiによる論文BEiT: BERT Pre-Training of Image Transformersでリリースされました。
6. BERT(Googleより)は、Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanovaによる論文BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding (言語理解のためのDeep Bidirectional Transformers for Language Understanding)の論文BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding by Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanovaによってリリースされた。
7. BERT For Sequence Generation (Google より) は、Sascha Rothe, Shashi Narayan, Aliaksei Severyn による論文 Leveraging Pretrained Checkpoints for Sequence Generation Tasks と共にリリースされた。
8. BERTweet(VinAI Researchより)は、Dat Quoc Nguyen、Thanh Vu、Anh Tuan Nguyenによる英語のツイートのための事前訓練された言語モデルという論文BERTweetでリリースされました。
9. BigBird-Pegasus(Google Researchより)は、Manzil Zaheer、Guru Guruganesh、Avinava Dubey、Joshua Ainslie、Chris Alberti、Santiago Ontanon、Philip Pham、Anirudh Ravula、Qifan Wang、Li Yang、Amr Ahmedによる論文Big Bird: Transformers for Longer Sequencesとともにリリースされました。
10. BigBird-RoBERTa(Google Researchより)は、Manzil Zaheer、Guru Guruganesh、Avinava Dubey、Joshua Ainslie、Chris Alberti、Santiago Ontanon、Philip Pham、Anirudh Ravula、Qifan Wang、Li Yang、Amr Ahmedによる論文Big Bird: Transformers for Longer Sequencesとともにリリースされました。
11. Blenderbot(Facebookから)は、Stephen Roller、Emily Dinan、Naman Goyal、Da Ju、Mary Williamson、Yinhan Liu、Jing Xu、Myle Ott、Kurt Shuster、Eric M. Smith、Y-Lan Boureau、Jason Westonによるオープンドメインチャットボットを構築するためのレシピ。
12. BlenderbotSmall(Facebookから)は、Stephen Roller、Emily Dinan、Naman Goyal、Da Ju、Mary Williamson、Yinhan Liu、Jing Xu、Myle Ott、Kurt Shuster、Eric M. Smith、Y-Lan Boureau、Jason Westonによるオープンドメインチャットボットを構築するためのレシピという論文とともにリリースされました。
13. BLOOM (BigScience ワークショップより) は BigSicence Workshop によってリリースされました。
14. BORT(Alexaより)は、Adrian de WynterとDaniel J. Perryによる論文Optimal Subarchitecture Extraction For BERTとともにリリースされました。
15. ByT5(Google Researchより)は、Linting Xue、Aditya Barua、Noah Constant、Rami Al-Rfou、Sharan Narang、Mihir Kale、Adam Roberts、Colin Raffelによる事前トレーニングされたバイトツーバイトモデルによるトークンフリーの未来に向けて。
16. CamemBERT(Inria/Facebook/Sorbonneより)は、Lou Martin*、Benjamin Muller*、Pedro Javier Ortiz Suárez*、Yoann Dupont、Laurent Romary、Éric Villemonte de la Clergerie、Djamé Seddah、Benoît Sagotによる論文CamemBERT: a Tasty French Language Model by Louis Martin*、Benjamin Muller*、Yoann Dupont、Laurent Romary、Éric Villemonte de la Clergerie、Djamé Seddah、Benoît Sagotによる論文でリリースされました。
17. CANINE (Google Research より) が CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation by Jonathan H. Clark, Dan Garrette, Iulia Turc, John Wieting による論文「CANINE: Pre-Training an Efficient Tokenization-Free Encoder for Language Representation」でリリースされました。
18. CLIP (OpenAIより) Alec Radford、Jong Wook Kim、Chris Hallacy、Aditya Ramesh、Gabriel Goh、Sandhini Agarwal、Girish Sastry、Amanda Askell、Pamela Mishkin、Jack Clark、Gretchen Krueger、Ilya Sutskeverによる論文「Learning Transferable Visual Model From Natural Language Supervision by Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever」からリリースされた。
19. CodeGen (Salesforce より) は、Erik Nijkamp、Bo Pang、Hiroaki Hayashi、Lifu Tu、Huan Wang、Yingbo Zhou、Silvio Savarese、Caim Xiong による論文 A Conversational Paradigm for Program Synthesis とともにリリースされました。
20. Conditional DETR (Microsoft Research Asiaより) は、Depu Meng、Xiaokang Chen、Zejia Fan、Gang Zeng、Houqiang Li、Yuhui Yuan、Lei Sun、Jingdong Wangによる論文Conditional DETR for Fast Training Convergenceでリリースされました。
21. ConvBERT(YituTechより)は、Zihang Jiang、Weihao Yu、Daquan Zhou、Yunpeng Chen、Jiashi Feng、Shuicheng Yanによる論文ConvBERT: Improving BERT with Span-based Dynamic Convolutionでリリースされました。
22. ConvNeXT(Facebook AIより)は、Zhuang Liu、Hanzi Mao、Chao-Yuan Wu、Christoph Feichtenhofer、Trevor Darrell、Saining Xieによる2020年代のA ConvNetという論文でリリースされました。
23. CPM(清華大学から)は、論文CPM:Zhengyan Zhang、Xu Han、Hao Zhou、Pei Ke、Yuxian Gu、Deming Ye、Yujia Qin、Yusheng Su、Haozhe Ji、Jian Guan、Fanchao Qi、Xiaozhi Wang、Yanan Zheng、Guoyang Zeng、Huanqi Cao、Shengqi Chen、Daixuan Li、Zhenbo Sun、Zhiyuan Liu、Minlie Huang、 ハン・ウェンタオ、ジエ・タン、フアンジ・リー、シャオヤン・ジュー、マオソン・サン。
24. CTRL (Salesforce より) が CTRL: A Conditional Transformer Language Model for Controllable Generation (Nitish Shirish Keskar*, Bryan McCann*, Lav R. Varshney, Caim Xiong, Richard Socher) という論文とともにリリースされました。
25. CvT(Microsoftより)は、Haiping Wu、Bin Xiao、Noel Codella、Mengchen Liu、Xiyang Dai、Lu Yuan、Lei Zhangによる論文CvT: Introducing Convolutions to Vision Transformersでリリースされました。
26. Data2Vec(Facebookより)は、Alexei Baevski、Wei-Ning Hsu、Qiantong Xu、Arun Babu、Jiatao Gu、Michael Auliによる論文Data2Vec: A General Framework for Self-Supervised Learning in Speech, Vision and Languageでリリースされました。
27. DeBERTa(Microsoftより)は、DeBERTa: Decodeding-enhanced BERT with Disentangled Attention by Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chenの論文でリリースされました。
28. DeBERTa-v2 (Microsoftより) は、DeBERTa: Decodeding-enhanced BERT with Disentangled Attention by Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen の論文でリリースされた。
29. Decision Transformer (Berkeley/Facebook/Google より) が Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, Igor Mordatch による論文 Decision Transformer: Reinforcement Learning via Sequence Modeling を収録してリリースした。
30. Deformable DETR (SenseTime Researchより) Deformable DETR: Deformable Transformers for End-to-End Object Detection by Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, Jifeng Daiによる論文でリリースされました。
31. DeiT(Facebookから)は、Hugo Touvron、Matthieu Cord、Matthijs Douze、Francisco Massa、Alexandre Sablayrolles、Hervé Jégouによる注目によるトレーニングデータ効率の高い画像トランスフォーマーと蒸留の紙をリリースしました。
32. DETR(Facebookより)は、Nicolas Carion、Francisco Massa、Gabriel Synnaeve、Nicolas Usunier、Alexander Kirillov、Sergey Zagoruykoによる論文End-to-End Object Detection with Transformersでリリースされました。
33. DialoGPT(Microsoft Researchより)は、論文DialoGPT: Large-Scale Generative Pre-Training for Conversational Response Generation by Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, Bill Dolanによる論文でリリースされました。
34. DistilBERT(HuggingFaceより)は、Victor Sanh、Lysandre Debut、Thomas WolfによるBERTの蒸留版であるDistilBERTとともにリリースされました。GPT2 を DistilGPT2 に、RoBERTa を DistilRoBERTa に、多言語 BERT を DistilmBERT に、ドイツ語版の DistilBERT に圧縮するためにも、同じ方法が適用されています。
35. DiT(Microsoft Researchより)は、Li Junlong Li、Yiheng Xu、Tengchao Lv、Lei Cui、Cha Zhang、Furu Weiによる論文DiT: Self-supered Pre-training for Document Image Transformer をリリースしました。
36. ドーナツ(NAVERより)は、キム・ギョク、チョンギュ・ホン、イム・ムンビン、ナム・ジョンギョン、パク・ジニョン、イム・ジンヨン、ファン・ウォンソク、ユン・サンドゥ、ハン・ドンユン、パク・スンヒョンによるOCRフリー文書理解トランスフォーマーとともにリリースされました。
37. DPR(Facebookより)は、Vladimir Karpukhin、Barlas Oğuz、Sewon Min、Patrick Lewis、Ledell Wu、Sergey Edunov、Danqi Chen、Wen-tau Yihによる論文Dense Passage Retrieval for Open-Domain Question Answeringでリリースされました。
38. DPT(Intel Labsより)は、René Ranftl、Alexey Bochkovskiy、Vladlen Koltunによる論文Vision Transformers for Dense Predictionとともにリリースされました。
39. ELECTRA(Google Research/Stanford Universityより)は、Kevin Clark、Minh-Thang Luong、Quoc V. Le、Christopher D. Manningによる論文ELECTRA:Pre-training text encoder as discriminator than discriminator as discriminator by Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manningの論文「ELECTRA: Pre-training text encoder as discriminator than generators」でリリースされました。
40. EncoderDecoder (Google Research より) は、Sascha Rothe、Shashi Narayan、Aliaksei Severyn による論文 Leverage Pretrained Checkpoints for Sequence Generation Tasks と共にリリースされた。
41. ERNIE(Baiduから)は、Yu Sun、Shuohuan Wang、Yukun Li、Shikun Feng、Xuyi Chen、Han Zhang、Xin Tian、Danxiang Zhu、Hao Tian、Hua Wuによる論文ERNIE:知識統合による強化された表現をリリースしました。
42. FlauBERT(CNRSより)は、Hang Le、Loïc Vial、Jibril Frej、Vincent Segonne、Maximin Coavoux、Benjamin Lecouteux、Alexandre Allauzen、Benoît Crabbé、Laurent Besacier、Didier Schwabによるフランス語のための教師なし言語モデル事前トレーニングという論文でリリースされました。
43. FLAVA(Facebook AIより)は、Amanpreet Singh、Ronghang Hu、Vedanuj Goswami、Guillaume Couairon、Wojciech Galuba、Marcus Rohrbach、Douwe Kielaによる論文FLAVA: A Foundational Language and Vision Alignment Modelとともにリリースされました。
44. FNet(Google Researchより)は、James Lee-Thorp、Joshua Ainslie、Ilya Eckstein、Santiago Ontanonによる論文FNet: Mixed Tokens with Fourier Transformsでリリースされました。
45. Funnel Transformer (CMU/Google Brainより) が論文 Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing by Zihang Dai, Guokun Lai, Yiming Yang, Quoc V. Le によってリリースされた。
46. GLPN(KAISTより)は、Kim Doyeon Kim、Woonghyun Ga、Pyungwhan An、Donggyu Joo、Sehwan Chun、Junmo Kimによる論文Global-Local Path Networks for Monocular Depth with Vertical CutDepthでリリースされました。
47. GPT(OpenAIより)は、Alec Radford、Karthik Narasimhan、Tim Salimans、Ilya SutskeverによるImproving Language Understanding by Generative Pre-Trainingという論文とともにリリースされました。
48. GPT Neo (EleutherAI から) は Sid Black、Stella Biderman、Leo Gao、Phil Wang、Connor Leahy によってリポジトリ EleutherAI/gpt-neo にリリースされた。
49. GPT NeoX(EleutherAIから)は、シド・ブラック、ステラ・ビーダーマン、エリック・ハラハン、クエンティン・アンソニー、レオ・ガオ、ローレンス・ゴールディング、ホレス・ヒー、コナー・リーヒー、カイル・マクドネル、ジェイソン・パン、マイケル・パイラー、USVSNサイ・プラシャント、シヴァンシュ・プロヒット、ラリア・レイノルズ、ジョナサン・トウ、ベン・ワン、サミュエル・ワインバックによるオープンソースの自己回帰言語モデルでリリースされました。
50. GPT NeoX Japanese (ABEJAより) - 大谷真也、真壁隆義、アヌジ・アローラ、服部京が発売。
51. GPT-2 (OpenAI から) は、Alec Radford*、Jeffrey Wu*、Rewon Child、David Luan、Dario Amodei**、Ilya Sutskever** による論文「Language Model is Unsupervised Multitask Learners by Alec Radford*」、「Jeffrey Wu*」、「Rewon Child」、「David Luan」、「Dario Amodei**」、「Ilya Sutskever**」という論文とともにリリースされました。
52. GPT-J (EleutherAI より) は Ben Wang と Aran Komatsuzaki によってリポジトリ kingoflolz/mesh-transformer-jax でリリースされた。
53. GroupViT(UCSD、NVIDIAから)は、論文GroupViT: Semantic Segmentation Emerges from Text Supervision by Jiarui Xu, Shalini De Mello, Sifei Liu, Wonmin Byeon, Thomas Breuel, Jan Kautz, Xiaolong Wangからリリースされました。
54. Hubert (Facebookより) は、Wei-Ning Hsu、Benjamin Bolte、Yao-Hung Hubert Tsai、Kushal Lakhotia、Ruslan Salakhutdinov、Abdelrahman Mohamedによる論文HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Unitsで発表した。
55. I-BERT(バークレー出身)は、I-BERT: Integer-only BERT Quantization by Sehoon Kim, Amir Gholami, Zhewei Yao, Michael W. Mahoney, Kurt Keutzerによる論文でリリースされました。
56. ImageGPT(OpenAIより)は、Mark Chen、Alec Radford、Rewon Child、Jeffrey Wu、Heewoo Jun、David Luan、Ilya SutskeverによるGenerative Pretraining from Pixelsの論文とともにリリースされました。
57. LayoutLM (Microsoft Research Asia より) が論文 LayoutLM: Pre-training of Text and Layout for Document Image Understanding by Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, Ming Zhou によってリリースされました。
58. LayoutLMv2 (Microsoft Research Asia より) が LayoutLMv2: Multi-modal Pre-Training for Visually-Rich Document Understanding by Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Wanxiang Che, Min Zhang, Lidong Zhou による論文 LayoutLMv2: Multi-modal Pre-Training for Visually-Rich Document Understanding by Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Wanxiang Che, Min Zhang, Lidong Zhou.
59. LayoutLMv3 (Microsoft Research Asia より) が論文 LayoutLMv3: Pre-Training for Document AI with Unified Text and Image Masking by Yupan Huang, Tengchao Lv, Lei Cui, Yutong Lu, Furu Wei によってリリースされた。
60. LayoutXLM (Microsoft Research Asia より) が論文 LayoutXLM: Multimodal Pre-Training for Multilingual Visually-rich Document Understanding by Yiheng Xu, Tengchao Lv, Lei Cui, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Furu Wei によってリリースされました。
61. LED(AllenAIから)は、Iz Beltagy、Matthew E. Peters、Arman Cohanによる論文Longformer: The Long-Document Transformer でリリースされました。
62. LeViT(Meta AIより)は、Ben Graham、Alaaeldin El-Nouby、Hugo Touvron、Pierre Stock、Armand Joulin、Hervé Jégou、Matthijs Douzeによる論文LeViT: A Vision Transformer in ConvNet's Clothing for Faster Inferenceとともにリリースされました。
63. Longformer (AllenAIより) が Longformer: The Long-Document Transformer by Iz Beltagy, Matthew E. Peters, Arman Cohan の論文と共にリリースした。
64. LongT5 (Google AI より) は、Mandy Guo、Joshua Ainslie、David Uthus、Santiago Ontanon、Jianmo Ni、Yun-Hsuan Sung、Yinfei Yang による論文 LongT5: Efficient Text-to-Text Transformer for Long Sequence でリリースされた。
65. LUKE(Studio Ousiaより)は、山田郁也、浅井あかり、進藤裕之、武田英明、松本祐之による論文「LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention」でリリースされました。
66. LXMERT(UNC Chapel Hillより)は、Hao TanとMohit Bansalによる論文LXMERT: Learning Cross-Modality Encoder Representations from Transformers for Open-Domain Question Answeringでリリースされました。
67. M-CTC-T (from Facebook) は、Loren Lugosch、Tatiana Likhomanenko、Gabriel Synnaeve、Ronan Collobert による論文 Pseudo-Labeling For Massively Multilingual Speech Recognition と共にリリースされた。
68. M2M100 (Facebookより) アンジェラ・ファン、シュルティ・ボサレ、ホルガー・シュウェンク、ジイ・マー、アフメド・エル・キシュキー、シッダールト・ゴヤル、マンディープ・ベインズ、オヌール・セレビ、ギヨーム・ウェンツェク、ヴィシュラヴ・チョーダリー、ナマン・ゴヤル、トム・バーチ、ヴィタリー・リプチンスキー、セルゲイ・エドゥノフ、エドゥアール・グレイヴ、マイケル・オーリ、アルマン・ジュリンによる論文「Beyond English-Centric Multilingual Machine Translation」でリリースされました。
69. MarianMT Machine translation models trained using OPUS data by Jörg Tiedemann. The Marian Framework is being developed by the Microsoft Translator Team.
70. MaskFormer (from Meta and UIUC) released with the paper Per-Pixel Classification is Not All You Need for Semantic Segmentation by Bowen Cheng, Alexander G. Schwing, Alexander Kirillov.
71. mBART (from Facebook) released with the paper Multilingual Denoising Pre-training for Neural Machine Translation by Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, Luke Zettlemoyer.
72. mBART-50 (from Facebook) released with the paper Multilingual Translation with Extensible Multilingual Pretraining and Finetuning by Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, Angela Fan.
73. Megatron-BERT (from NVIDIA) released with the paper Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism by Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper and Bryan Catanzaro.
74. Megatron-GPT2 (from NVIDIA) released with the paper Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism by Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper and Bryan Catanzaro.
75. mLUKE (from Studio Ousia) released with the paper mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models by Ryokan Ri, Ikuya Yamada, and Yoshimasa Tsuruoka.
76. MobileBERT (from CMU/Google Brain) released with the paper MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices by Zhiqing Sun, Hongkun Yu, Xiaodan Song, Renjie Liu, Yiming Yang, and Denny Zhou.
77. MobileViT (from Apple) released with the paper MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer by Sachin Mehta and Mohammad Rastegari.
78. MPNet (from Microsoft Research) released with the paper MPNet: Masked and Permuted Pre-training for Language Understanding by Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu.
79. MT5 (from Google AI) released with the paper mT5: A massively multilingual pre-trained text-to-text transformer by Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel.
80. MVP (from RUC AI Box) released with the paper MVP: Multi-task Supervised Pre-training for Natural Language Generation by Tianyi Tang, Junyi Li, Wayne Xin Zhao and Ji-Rong Wen.
81. Nezha (from Huawei Noah’s Ark Lab) released with the paper NEZHA: Neural Contextualized Representation for Chinese Language Understanding by Junqiu Wei, Xiaozhe Ren, Xiaoguang Li, Wenyong Huang, Yi Liao, Yasheng Wang, Jiashu Lin, Xin Jiang, Xiao Chen and Qun Liu.
82. NLLB (from Meta) released with the paper No Language Left Behind: Scaling Human-Centered Machine Translation by the NLLB team.
83. Nyströmformer (from the University of Wisconsin - Madison) released with the paper Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention by Yunyang Xiong, Zhanpeng Zeng, Rudrasis Chakraborty, Mingxing Tan, Glenn Fung, Yin Li, Vikas Singh.
84. OPT (from Meta AI) released with the paper OPT: Open Pre-trained Transformer Language Models by Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen et al.
85. OWL-ViT (from Google AI) released with the paper Simple Open-Vocabulary Object Detection with Vision Transformers by Matthias Minderer, Alexey Gritsenko, Austin Stone, Maxim Neumann, Dirk Weissenborn, Alexey Dosovitskiy, Aravindh Mahendran, Anurag Arnab, Mostafa Dehghani, Zhuoran Shen, Xiao Wang, Xiaohua Zhai, Thomas Kipf, and Neil Houlsby.
86. Pegasus (from Google) released with the paper PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization by Jingqing Zhang, Yao Zhao, Mohammad Saleh and Peter J. Liu.
87. PEGASUS-X (from Google) released with the paper Investigating Efficiently Extending Transformers for Long Input Summarization by Jason Phang, Yao Zhao, and Peter J. Liu.
88. Perceiver IO (from Deepmind) released with the paper Perceiver IO: A General Architecture for Structured Inputs & Outputs by Andrew Jaegle, Sebastian Borgeaud, Jean-Baptiste Alayrac, Carl Doersch, Catalin Ionescu, David Ding, Skanda Koppula, Daniel Zoran, Andrew Brock, Evan Shelhamer, Olivier Hénaff, Matthew M. Botvinick, Andrew Zisserman, Oriol Vinyals, João Carreira.
89. PhoBERT (from VinAI Research) released with the paper PhoBERT: Pre-trained language models for Vietnamese by Dat Quoc Nguyen and Anh Tuan Nguyen.
90. PLBart (from UCLA NLP) released with the paper Unified Pre-training for Program Understanding and Generation by Wasi Uddin Ahmad, Saikat Chakraborty, Baishakhi Ray, Kai-Wei Chang.
91. PoolFormer (from Sea AI Labs) released with the paper MetaFormer is Actually What You Need for Vision by Yu, Weihao and Luo, Mi and Zhou, Pan and Si, Chenyang and Zhou, Yichen and Wang, Xinchao and Feng, Jiashi and Yan, Shuicheng.
92. ProphetNet (from Microsoft Research) released with the paper ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training by Yu Yan, Weizhen Qi, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang and Ming Zhou.
93. QDQBert (from NVIDIA) released with the paper Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation by Hao Wu, Patrick Judd, Xiaojie Zhang, Mikhail Isaev and Paulius Micikevicius.
94. RAG (from Facebook) released with the paper Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks by Patrick Lewis, Ethan Perez, Aleksandara Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela.
95. REALM (from Google Research) released with the paper REALM: Retrieval-Augmented Language Model Pre-Training by Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat and Ming-Wei Chang.
96. Reformer (from Google Research) released with the paper Reformer: The Efficient Transformer by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya.
97. RegNet (from META Platforms) released with the paper Designing Network Design Space by Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Dollár.
98. RemBERT (from Google Research) released with the paper Rethinking embedding coupling in pre-trained language models by Hyung Won Chung, Thibault Févry, Henry Tsai, M. Johnson, Sebastian Ruder.
99. ResNet (from Microsoft Research) released with the paper Deep Residual Learning for Image Recognition by Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun.
100. RoBERTa (from Facebook), released together with the paper RoBERTa: A Robustly Optimized BERT Pretraining Approach by Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov.
101. RoFormer (from ZhuiyiTechnology), released together with the paper RoFormer: Enhanced Transformer with Rotary Position Embedding by Jianlin Su and Yu Lu and Shengfeng Pan and Bo Wen and Yunfeng Liu.
102. SegFormer (from NVIDIA) released with the paper SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers by Enze Xie, Wenhai Wang, Zhiding Yu, Anima Anandkumar, Jose M. Alvarez, Ping Luo.
103. SEW (from ASAPP) released with the paper Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition by Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi.
104. SEW-D (from ASAPP) released with the paper Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition by Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi.
105. SpeechToTextTransformer (from Facebook), released together with the paper fairseq S2T: Fast Speech-to-Text Modeling with fairseq by Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, Juan Pino.
106. SpeechToTextTransformer2 (from Facebook), released together with the paper Large-Scale Self- and Semi-Supervised Learning for Speech Translation by Changhan Wang, Anne Wu, Juan Pino, Alexei Baevski, Michael Auli, Alexis Conneau.
107. Splinter (from Tel Aviv University), released together with the paper Few-Shot Question Answering by Pretraining Span Selection by Ori Ram, Yuval Kirstain, Jonathan Berant, Amir Globerson, Omer Levy.
108. SqueezeBERT (from Berkeley) released with the paper SqueezeBERT: What can computer vision teach NLP about efficient neural networks? by Forrest N. Iandola, Albert E. Shaw, Ravi Krishna, and Kurt W. Keutzer.
109. Swin Transformer (from Microsoft) released with the paper Swin Transformer: Hierarchical Vision Transformer using Shifted Windows by Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, Baining Guo.
110. Swin Transformer V2 (from Microsoft) released with the paper Swin Transformer V2: Scaling Up Capacity and Resolution by Ze Liu, Han Hu, Yutong Lin, Zhuliang Yao, Zhenda Xie, Yixuan Wei, Jia Ning, Yue Cao, Zheng Zhang, Li Dong, Furu Wei, Baining Guo.
111. T5 (from Google AI) released with the paper Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer by Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu.
112. T5v1.1 (from Google AI) released in the repository google-research/text-to-text-transfer-transformer by Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu.
113. TAPAS (from Google AI) released with the paper TAPAS: Weakly Supervised Table Parsing via Pre-training by Jonathan Herzig, Paweł Krzysztof Nowak, Thomas Müller, Francesco Piccinno and Julian Martin Eisenschlos.
114. TAPEX (from Microsoft Research) released with the paper TAPEX: Table Pre-training via Learning a Neural SQL Executor by Qian Liu, Bei Chen, Jiaqi Guo, Morteza Ziyadi, Zeqi Lin, Weizhu Chen, Jian-Guang Lou.
115. Trajectory Transformer (from the University of California at Berkeley) released with the paper Offline Reinforcement Learning as One Big Sequence Modeling Problem by Michael Janner, Qiyang Li, Sergey Levine
116. Transformer-XL (from Google/CMU) released with the paper Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context by Zihang Dai*, Zhilin Yang*, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov.
117. TrOCR (from Microsoft), released together with the paper TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models by Minghao Li, Tengchao Lv, Lei Cui, Yijuan Lu, Dinei Florencio, Cha Zhang, Zhoujun Li, Furu Wei.
118. UL2 (from Google Research) released with the paper Unifying Language Learning Paradigms by Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler
119. UniSpeech (from Microsoft Research) released with the paper UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data by Chengyi Wang, Yu Wu, Yao Qian, Kenichi Kumatani, Shujie Liu, Furu Wei, Michael Zeng, Xuedong Huang.
120. UniSpeechSat (from Microsoft Research) released with the paper UNISPEECH-SAT: UNIVERSAL SPEECH REPRESENTATION LEARNING WITH SPEAKER AWARE PRE-TRAINING by Sanyuan Chen, Yu Wu, Chengyi Wang, Zhengyang Chen, Zhuo Chen, Shujie Liu, Jian Wu, Yao Qian, Furu Wei, Jinyu Li, Xiangzhan Yu.
121. VAN (from Tsinghua University and Nankai University) released with the paper Visual Attention Network by Meng-Hao Guo, Cheng-Ze Lu, Zheng-Ning Liu, Ming-Ming Cheng, Shi-Min Hu.
122. VideoMAE (from Multimedia Computing Group, Nanjing University) released with the paper VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training by Zhan Tong, Yibing Song, Jue Wang, Limin Wang.
123. ViLT (from NAVER AI Lab/Kakao Enterprise/Kakao Brain) released with the paper ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision by Wonjae Kim, Bokyung Son, Ildoo Kim.
124. Vision Transformer (ViT) (from Google AI) released with the paper An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale by Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby.
125. VisualBERT (from UCLA NLP) released with the paper VisualBERT: A Simple and Performant Baseline for Vision and Language by Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, Kai-Wei Chang.
126. ViTMAE (from Meta AI) released with the paper Masked Autoencoders Are Scalable Vision Learners by Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick.
127. ViTMSN (from Meta AI) released with the paper Masked Siamese Networks for Label-Efficient Learning by Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat, Nicolas Ballas.
128. Wav2Vec2 (from Facebook AI) released with the paper wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations by Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli.
129. Wav2Vec2-Conformer (from Facebook AI) released with the paper FAIRSEQ S2T: Fast Speech-to-Text Modeling with FAIRSEQ by Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Sravya Popuri, Dmytro Okhonko, Juan Pino.
130. Wav2Vec2Phoneme (from Facebook AI) released with the paper Simple and Effective Zero-shot Cross-lingual Phoneme Recognition by Qiantong Xu, Alexei Baevski, Michael Auli.
131. WavLM (from Microsoft Research) released with the paper WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing by Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, Jian Wu, Long Zhou, Shuo Ren, Yanmin Qian, Yao Qian, Jian Wu, Michael Zeng, Furu Wei.
132. X-CLIP (from Microsoft Research) released with the paper Expanding Language-Image Pretrained Models for General Video Recognition by Bolin Ni, Houwen Peng, Minghao Chen, Songyang Zhang, Gaofeng Meng, Jianlong Fu, Shiming Xiang, Haibin Ling.
133. XGLM (From Facebook AI) released with the paper Few-shot Learning with Multilingual Language Models by Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona Diab, Veselin Stoyanov, Xian Li.
134. XLM (from Facebook) released together with the paper Cross-lingual Language Model Pretraining by Guillaume Lample and Alexis Conneau.
135. XLM-ProphetNet (from Microsoft Research) released with the paper ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training by Yu Yan, Weizhen Qi, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang and Ming Zhou.
136. XLM-RoBERTa (from Facebook AI), released together with the paper Unsupervised Cross-lingual Representation Learning at Scale by Alexis Conneau*, Kartikay Khandelwal*, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer and Veselin Stoyanov.
137. XLM-RoBERTa-XL (from Facebook AI), released together with the paper Larger-Scale Transformers for Multilingual Masked Language Modeling by Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, Alexis Conneau.
138. XLNet (from Google/CMU) released with the paper ​XLNet: Generalized Autoregressive Pretraining for Language Understanding by Zhilin Yang*, Zihang Dai*, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le.
139. XLS-R (from Facebook AI) released with the paper XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale by Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.
140. XLSR-Wav2Vec2 (from Facebook AI) released with the paper Unsupervised Cross-Lingual Representation Learning For Speech Recognition by Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli.
141. YOLOS (from Huazhong University of Science & Technology) released with the paper You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection by Yuxin Fang, Bencheng Liao, Xinggang Wang, Jiemin Fang, Jiyang Qi, Rui Wu, Jianwei Niu, Wenyu Liu.
142. YOSO (from the University of Wisconsin - Madison) released with the paper You Only Sample (Almost) Once: Linear Cost Self-Attention Via Bernoulli Sampling by Zhanpeng Zeng, Yunyang Xiong, Sathya N. Ravi, Shailesh Acharya, Glenn Fung, Vikas Singh.
143. Want to contribute a new model? We have added a detailed guide and templates to guide you in the process of adding a new model. You can find them in the

     templates

     folder of the repository. Be sure to check the contributing guidelines and contact the maintainers or open an issue to collect feedbacks before starting your PR.

各モデルに Flax、PyTorch、または TensorFlow の実装があるかどうか、またはトークナイザー ライブラリによって🤗サポートされている関連するトークナイザーがあるかどうかを確認するには、次の表を参照してください。

これらの実装は、いくつかのデータセット (サンプル スクリプトを参照) でテストされており、元の実装のパフォーマンスと一致する必要があります。パフォーマンスの詳細については、ドキュメントの「例」セクションを参照してください。

詳細情報

Tokenizer

Trainer

pytorch-transformers

pytorch-pretrained-bert

引用

トランスフォーマーライブラリのために引用できる論文が🤗できました:

@inproceedings{wolf-etal-2020-transformers,
    title = "Transformers: State-of-the-Art Natural Language Processing",
    author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = oct,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
    pages = "38--45"
}