metaseq - 外部大規模作業のレポ

(Repo for external large-scale work)

Created at: 2022-05-03 06:09:05
Language: Python
License: MIT

メタシーケンス

オープン事前トレーニング済みトランスフォーマーを操作するためのコードベース。

コミュニティ統合

トランスフォーマーでの🤗 OPTの使用

OPT 125M--66Bモデルは、ハギングフェイストランスフォーマーで利用可能になりました。あなたはハギングフェイスハブの組織の下でそれらにアクセスすることができます

facebook

アルパでOPT-175Bを使用する

OPT 125M--175Bモデルは、アルパプロジェクトでサポートされるようになりました。 40GB A100、V100、T4、M60などの旧世代のGPUでより柔軟な並列処理でOPT-175Bを提供できます。

巨大なAIでOPTを使用する

OPTモデルはColossal-AIでサポートされるようになり、ユーザーはOPTモデルのトレーニングと推論を効率的かつ迅速に展開し、大規模なAIモデルの予算を削減し、学習と展開の人件費を縮小できます。

メタシーケンス入門

開始するには、こちらのセットアップ手順に従ってください

ワークフローに関するドキュメント

背景情報

支える

プロジェクトセクションでリリースされたコードベースまたはモデルに関する質問、バグレポート、または機能リクエストがある場合は、Githubの問題ページに投稿することを躊躇しないでください。

私たちの行動規範に従うことを忘れないでください。

貢献

コミュニティからのPRを歓迎します!

metaseqへの貢献に関する情報は、貢献ドキュメントにあります。

チーム

Metaseqは現在、コード所有者によって維持されています:スーザン・チャン、スティーブン・ローラー、ナマン・ゴヤル、プニット・シン・コウラ、モヤ・チェン、カート・シャスタールアン・シルバ、デビッド・エシオブ、デビッドグリーンバーグイゴール・モリボグピーター・アルバート

以前のメンテナには、Anjali SridharChristopher Dewanが含まれます。

ライセンス

metaseqの大部分はMITライセンスの下でライセンスされていますが、プロジェクトの一部は別のライセンス条項の下で利用可能です。

  • メガトロン-LMはメガトロン-LMライセンスの下でライセンスされています