PaLM-rlhf-pytorch - PaLMアーキテクチャの上にRLHF(ヒューマンフィードバックによる強化学習)を実装しました。基本的にはChatGPTですが、PaLMを使用しています

(Implementation of RLHF (Reinforcement Learning with Human Feedback) on top of the PaLM architecture. Basically ChatGPT but with PaLM)

Created at: 2022-12-10 01:53:46
Language: Python
URL: https://github.com/lucidrains/PaLM-rlhf-pytorch
License: MIT

PaLM + RLHF - Pytorch (wip)

PaLMアーキテクチャの上にRLHF(ヒューマンフィードバックによる強化学習)を実装しました。多分私は検索機能も追加します、à la RETRO

ChatGPTのようなものをオープンに複製することに興味がある場合は、参加を検討してくださいディスコードに参加

鑑賞

取り付ける

$ pip install palm-rlhf-pytorch

使い

最初の列車は、他の自己回帰変圧器と同様に

PaLM

import torch
from palm_rlhf_pytorch import PaLM

palm = PaLM(
    num_tokens = 20000,
    dim = 512,
    depth = 12
).cuda()

seq = torch.randint(0, 20000, (1, 2048)).cuda()

loss = palm(seq, return_loss = True)
loss.backward()

# after much training, you can now generate sequences

generated = palm.generate(2048) # (1, 2048)

次に、厳選された人間のフィードバックを使用して報酬モデルをトレーニングします。元の論文では、事前トレーニング済みのトランスフォーマーからオーバーフィッティングせずに報酬モデルを微調整することはできませんでしたが、まだオープンリサーチであるため、とにかく微調整するオプションを提供しました。

LoRA

import torch
from palm_rlhf_pytorch import PaLM, RewardModel

palm = PaLM(
    num_tokens = 20000,
    dim = 512,
    depth = 12,
    causal = False
)

reward_model = RewardModel(
    palm,
    num_binned_output = 5 # say rating from 1 to 5
).cuda()

# mock data

seq = torch.randint(0, 20000, (1, 1024)).cuda()
prompt_mask = torch.zeros(1, 1024).bool().cuda() # which part of the sequence is prompt, which part is response
labels = torch.randint(0, 5, (1,)).cuda()

# train

loss = reward_model(seq, prompt_mask = prompt_mask, labels = labels)
loss.backward()

# after much training

reward = reward_model(seq, prompt_mask = prompt_mask)

次に、トランスフォーマーと報酬モデルを

RLHFTrainer

import torch
from palm_rlhf_pytorch import PaLM, RewardModel, RLHFTrainer

# load your pretrained palm

palm = PaLM(
    num_tokens = 20000,
    dim = 512,
    depth = 12
).cuda()

palm.load('./path/to/pretrained/palm.pt')

# load your pretrained reward model

reward_model = RewardModel(
    palm,
    num_binned_output = 5
).cuda()

reward_model.load('./path/to/pretrained/reward_model.pt')

# ready your list of prompts for reinforcement learning

prompts = torch.randint(0, 256, (50000, 512)).cuda() # 50k prompts

# pass it all to the trainer and train

trainer = RLHFTrainer(
    palm = palm,
    reward_model = reward_model,
    prompt_token_ids = prompts
)

trainer.train(num_episodes = 50000)

# then, if it succeeded...
# generate say 10 samples and use the reward model to return the best one

answer = trainer.generate(2048, prompt = prompts[0], num_samples = 10) # (<= 2048,)

藤堂

  • [X]批評家のための独立したLoraを備えたクローンベーストランスフォーマー

  • [x]非LoRAベースの微調整も可能です

  • [x]マスクされたバージョンを持つことができるように正規化をやり直し、誰かがトークンごとの報酬/値を使用するかどうかはわかりませんが、実装することをお勧めします

  • []ハギングフェイスアクセラレーションを追加してWANDBインストゥルメンテーションをテストします

  • []文献を検索して、RLフィールドがまだ進歩していると仮定して、PPOの最新のSOTAを把握します。

  • [ ] 事前トレーニング済みのセンチメント ネットワークを報酬モデルとして使用してシステムをテストする

  • []PPOのメモリをメモリマップされたnumpyファイルに書き込みます

  • []ボトルネックが人間のフィードバックである場合、必要でない場合でも、可変長のプロンプトが機能するサンプリングを取得します

  • []事前トレーニング済みの場合を想定して、アクターまたは批評家のいずれかでのみ最後から2番目のNレイヤーを微調整できます

引用

@article{Stiennon2020LearningTS,
    title   = {Learning to summarize from human feedback},
    author  = {Nisan Stiennon and Long Ouyang and Jeff Wu and Daniel M. Ziegler and Ryan J. Lowe and Chelsea Voss and Alec Radford and Dario Amodei and Paul Christiano},
    journal = {ArXiv},
    year    = {2020},
    volume  = {abs/2009.01325}
}
@inproceedings{Chowdhery2022PaLMSL,
    title   = {PaLM: Scaling Language Modeling with Pathways},
    author  = {Aakanksha Chowdhery and Sharan Narang and Jacob Devlin and Maarten Bosma and Gaurav Mishra and Adam Roberts and Paul Barham and Hyung Won Chung and Charles Sutton and Sebastian Gehrmann and Parker Schuh and Kensen Shi and Sasha Tsvyashchenko and Joshua Maynez and Abhishek Rao and Parker Barnes and Yi Tay and Noam M. Shazeer and Vinodkumar Prabhakaran and Emily Reif and Nan Du and Benton C. Hutchinson and Reiner Pope and James Bradbury and Jacob Austin and Michael Isard and Guy Gur-Ari and Pengcheng Yin and Toju Duke and Anselm Levskaya and Sanjay Ghemawat and Sunipa Dev and Henryk Michalewski and Xavier Garc{\'i}a and Vedant Misra and Kevin Robinson and Liam Fedus and Denny Zhou and Daphne Ippolito and David Luan and Hyeontaek Lim and Barret Zoph and Alexander Spiridonov and Ryan Sepassi and David Dohan and Shivani Agrawal and Mark Omernick and Andrew M. Dai and Thanumalayan Sankaranarayana Pillai and Marie Pellat and Aitor Lewkowycz and Erica Oliveira Moreira and Rewon Child and Oleksandr Polozov and Katherine Lee and Zongwei Zhou and Xuezhi Wang and Brennan Saeta and Mark Diaz and Orhan Firat and Michele Catasta and Jason Wei and Kathleen S. Meier-Hellstern and Douglas Eck and Jeff Dean and Slav Petrov and Noah Fiedel},
    year    = {2022}
}
@article{Hu2021LoRALA,
    title   = {LoRA: Low-Rank Adaptation of Large Language Models},
    author  = {Edward J. Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Weizhu Chen},
    journal = {ArXiv},
    year    = {2021},
    volume  = {abs/2106.09685}
}
@inproceedings{Sun2022ALT,
  title     = {A Length-Extrapolatable Transformer},
  author    = {Yutao Sun and Li Dong and Barun Patra and Shuming Ma and Shaohan Huang and Alon Benhaim and Vishrav Chaudhary and Xia Song and Furu Wei},
  year      = {2022}
}

About

Author：lucidrains

Watch
Star
Fork