🌐 ブログ • モデルのダウンロード • デモ • 電子メール • ✉️ 📃 ⏬ 🪧 紙

💬 Google グループ(最新情報)または Wechat グループまたは Slack チャンネル(ディスカッション)

GLM-130B:オープンなバイリンガル事前トレーニング済みモデル

GLM-130Bは、一般言語モデル(GLM)のアルゴリズムを使用して事前にトレーニングされた、1300億のパラメータを持つオープンバイリンガル(英語と中国語)の双方向高密度モデルです。これは、単一のA100(40G * 8)またはV100(32G * 8)サーバーで130Bパラメータを使用した推論タスクをサポートするように設計されています。INT4量子化を使用すると、ハードウェア要件を、パフォーマンスの低下をほとんどなく、4 * RTX 3090(24G)を備えた単一のサーバーにさらに減らすことができます。2022年7月3日の時点で、GLM-130Bは4,000億を超えるテキストトークン(中国語と英語でそれぞれ200B)でトレーニングされており、次の独自の機能を備えています。

• バイリンガル:英語と中国語の両方をサポートします。
• パフォーマンス(JA):ランバダではGPT-3 175B(+4.0%)、OPT-175B(+5.5%)、BLOOM-176B(+13.0%)よりも優れており、MMLUではGPT-3 175B(+0.9%)よりわずかに優れています。
• パフォーマンス(CN):7つのゼロショットCLUEデータセット(+24.26%)および5つのゼロショットFewCLUEデータセット(+12.75%)で、ERNIE TITAN 3.0 260Bよりも大幅に優れています。
• 高速推論:単一のA100サーバーでSATとFasterTransformerの両方で高速推論をサポートします(最大2.5倍高速)。
• 再現性:すべての結果(30 +タスク)は、オープンソースのコードとモデルのチェックポイントで簡単に再現できます。
• クロスプラットフォーム:NVIDIA、Hygon DCU、Ascend 910、Sunway(近日リリース予定)でのトレーニングと推論をサポートします。

このリポジトリは主にGLM-130Bの評価に焦点を当てており、トレーニング部分はこのリポジトリにあります。私たちの仕事とオープンソースの取り組みが役に立ったら、⭐️次の開発を奨励してください!:)

ニュース

• [2022.10.06] GLM-130Bの論文を掲載しました!
• [2022.08.24] GLM-130Bの量子化版を公開できることを誇りに思います。FP16としての起動精度を維持しながら、モデルの重みをパフォーマンスの低下をほとんどなくINT4まで量子化できるため、GLM-130Bのハードウェア要件を4 * RTX 3090(24G)を備えた単一サーバーにさらに削減できます。詳細については、GLM-130Bの量子化を参照してください。

小規模なモデルの場合は、モノリンガルGLM(英語:10B / 2B / 515M / 410M / 335M / 110M、中国語:10B / 335M)と1B多言語GLM(104言語)を見つけてください。

はじめ

環境設定

ハードウェア

報告されたGLM-130Bの評価結果(~30タスク)は、1台のA100サーバで約半日で簡単に再現できるため、A100(40G※8)サーバの使用を推奨します。INT8 / INT4量子化を使用すると、4 * RTX 3090(24G)を備えた単一サーバーで効率的な推論が可能になります(詳細については、GLM-130Bの量子化を参照してください)。量子化と重みオフロードの手法を組み合わせることで、GLM-130Bはさらに小さなGPUメモリを搭載したサーバーでも推論できます(詳細については、低リソース推論を参照してください)。

ソフトウェア

GLM-130BコードはSATの上に構築されています。Miniconda を使用して環境を管理し、 を介して追加の依存関係をインストールすることをお勧めします。推奨される環境構成は次のとおりです。

pip install -r requirements.txt

• Python 3.9+ / CUDA 11+ / PyTorch 1.10+ / DeepSpeed 0.6+ / Apex (CUDA および C++ 拡張機能を使用したインストールが必要です。)
• スイス陸軍トランスフォーマー>=0.2.11は量子化に必要です

モデルの重み

ここからGLM-130Bのモデルチェックポイントをダウンロードし、60個のチャンクがすべて完全にダウンロードされていることを確認してから、次のコマンドを使用してそれらを単一のアーカイブファイルにマージして抽出します。

cat glm-130b-sat.tar.part_* > glm-130b-sat.tar
tar xvf glm-130b-sat.tar

抽出したフォルダのパスに設定します。チェックポイントファイルは最大260Gであるため、SSDまたはRAMディスクを使用してチェックポイントの読み込み時間を短縮することをお勧めします。配布するチェックポイントは8ウェイテンソル並列であるため、テンソル平行次元を変更する必要がある場合は、変換スクリプトも提供されます。

CHECKPOINT_PATH

configs/model_glm_130b.sh

python tools/convert_tp.py \
    --input-folder <SRC_CKPT_PATH>  \
    --output-folder <DST_CKPT_PATH> \
    --target-tp <TARGET_TP>

左から右への生成/ブランク充填

bash scripts/generate.sh --input-source interactive

で入力ファイルを指定することもできます。

--input-source input.txt

GLM-130Bは、短い空白の塗りつぶしと左から右への長いテキスト生成の2つの異なるマスクトークンを使用します。入力にMASKトークンが含まれていない場合は、テキストの末尾に自動的に追加されます。

[MASK]

[gMASK]

[gMASK]

評価

YAMLファイルを使用してタスクを定義します。具体的には、評価用に一度に複数のタスクまたはフォルダーを追加でき、評価スクリプトはそれらのフォルダーの下にあるすべての YAML ファイルを再帰的に自動的に収集します。

bash scripts/evaluate.sh task1.yaml task2.yaml dir1 dir2 ...

こちらから評価データセットをダウンロードし、ローカルデータセットディレクトリに設定します。タスクフォルダには、GLM-130Bで評価した30 +タスクのYAMLファイルが含まれています。CoLA タスクを例にとると、実行を実行すると、最適なプロンプトの場合は ~65%、中央値の場合は ~57% の精度が出力されます。

DATA_PATH

scripts/evaluate.sh

bash scripts/evaluate.sh tasks/bloom/glue_cola.yaml

MultiChoiceTaskConfig(name='glue_cola', type=<TaskType.MULTICHOICE: 'mul'>, path='/thudm/LargeScale/data/zeroshot/bloom/glue_cola', module=None, metrics=['Accuracy'], use_task_mask=False, use_multitask_encoding=False, unidirectional=False, max_seq_length=2048, file_pattern={'validation': '**/validation.jsonl'}, micro_batch_size=8)
Evaluating task glue_cola:
  Evaluating group validation:
      Finish Following_sentence_acceptable/mul/validation.jsonl, Accuracy = 42.665
      Finish Make_sense_yes_no/mul/validation.jsonl, Accuracy = 56.951
      Finish Previous_sentence_acceptable/mul/validation.jsonl, Accuracy = 65.197
      Finish editing/mul/validation.jsonl, Accuracy = 57.622
      Finish is_this_correct/mul/validation.jsonl, Accuracy = 65.197
Evaluation results of task glue_cola:
  Group validation Accuracy: max = 65.197, median = 57.622, average = 57.526
Finish task glue_cola in 101.2s. 

マルチノード評価は、 の設定(DeepSpeed ラヌチャーで必要)によって構成できます。次のコマンドを設定して実行し、ディレクトリ内のすべてのタスクを評価します。

HOST_FILE_PATH

scripts/evaluate_multiple_node.sh

DATA_PATH

scripts/evaluate_multiple_node.sh

./task

bash scripts/evaluate_multiple_node.sh ./tasks

新しいタスクを追加する方法の詳細については、「独自のタスクを評価する」を参照してください。

FasterTransformerを使用した2.5倍高速な推論

GLM-130BモデルをNVIDIAによる高度に最適化されたトランスフォーマーモデルライブラリであるFasterTransfomerに適合させることにより、生成時に最大2.5倍の高速化を達成できます。

ライセンス

このリポジトリは Apache-2.0 ライセンスの下でライセンスされています。GLM-130Bモデルウェイトの使用は、モデルライセンスの対象となります。

引用

私たちの仕事が役に立ったら、GLM-130Bを引用することを検討してください。

@article{zeng2022glm130b,
  title={GLM-130B: An Open Bilingual Pre-trained Model},
  author={Zeng, Aohan and Liu, Xiao and Du, Zhengxiao and Wang, Zihan and Lai, Hanyu and Ding, Ming and Yang, Zhuoyi and Xu, Yifan and Zheng, Wendi and Xia, Xiao and Tam, Weng Lam and Ma, Zixuan and Xue, Yufei and Zhai, Jidong and Chen, Wenguang and Zhang, Peng and Dong, Yuxiao and Tang, Jie},
  journal={arXiv preprint arXiv:2210.02414},
  year={2022}
}

GLMのオリジナル作品を参考にすることもできます。

@inproceedings{du2022glm,
  title={GLM: General Language Model Pretraining with Autoregressive Blank Infilling},
  author={Du, Zhengxiao and Qian, Yujie and Liu, Xiao and Ding, Ming and Qiu, Jiezhong and Yang, Zhilin and Tang, Jie},
  booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},
  pages={320--335},
  year={2022}
}