prompt-eng - 迅速なエンジニアリングに関するメモ

(notes for prompt engineering)

Created at: 2022-09-04 15:13:19
Language:
License: MIT

プロンプト-英語

迅速なエンジニアリングに関するメモ

目次

動機付けのユースケース

トッププロンプトエンジニアリング読み取り

より高度なGPT3読み取りは、https://github.com/sw-yx/prompt-eng/blob/main/GPT.md に分割されています

Tooling

misc

コミュニティ

安定した拡散

安定した拡散特有のノート

必読書:

SDディストリビューション

  • インストーラディストリビューション:インストール可能なプログラムに安定した拡散をバンドルし、個別のセットアップがなく、必要なgit/技術的なスキルを最小限に抑え、通常は1つ以上のUIをバンドルするプログラム
    • 拡散ビー: ディフュージョンビーは、M1 Mac 上で安定拡散をローカルに実行する最も簡単な方法です。ワンクリックインストーラが付属しています。依存関係や技術的な知識は必要ありません。
    • https://www.charl-e.com/:ワンクリックであなたのMac上で安定した拡散。(つぶやき)
    • https://github.com/cmdr2/stable-diffusion-ui:自分のコンピュータに安定した拡散をインストールして使用する最も簡単なワンクリックの方法です。テキスト プロンプトと画像から画像を生成するためのブラウザー UI を提供します。テキストプロンプトを入力して、生成された画像を見るだけです。(Linux, Windows, no Mac)
    • https://nmkd.itch.io/t2i-gui:基本的な(今のところ)Windows 10/11 64ビットGUIは、安定した拡散、テキストから画像を生成するための機械学習ツールキットを、独自のハードウェア上でローカルに実行します。現時点では、このプログラムはNvidia GPUでのみ動作します!AMD GPUはサポートされていません。将来、これは変わるかもしれません。
    • imaginAIry 🤖🧠 : ちょうど .LinuxとmacOS(M1)(そしておそらくウィンドウ)で「ちょうど動作します」。メモリ効率の向上、プロンプトベースの編集、顔の強化、アップスケーリング、タイル画像、img2img、プロンプト行列、プロンプト変数、BRIP画像キャプション、dockerfile / colabが付属しています。単体テストがあります。
      pip install imaginairy
    • Fictiverse/Windows-GUI: 安定した普及のためのウィンドウインタフェース
    • https://github.com/razzorblade/stable-diffusion-gui:今は休眠中です。
  • ウェブディストリビューション
  • ツイッターボット
  • ウィンドウズ "遅延ガイド"

SDメジャーフォーク

主な安定拡散レポ:https://github.com/CompVis/stable-diffusion

名前/リンク 説明: __________
オートマチック1111 9700 最も有名なフォーク。特徴:https://github.com/AUTOMATIC1111/stable-diffusion-webui#features 打ち上げアナウンス https://www.reddit.com/r/StableDiffusion/comments/x28a76/stable_diffusion_web_ui/。M1 macの命令 https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Installation-on-Apple-Silicon
ディスコ拡散 5600 AIアートとアニメーションの生成のためのノートブック、モデル、テクニックのフランケンシュタイン的な融合。
sd-webui (以前は hlky fork) 5100 ブラウザウィンドウから直接安定した拡散で作業するための完全に統合された簡単な方法。UIとSD機能の長いリスト(テキスト反転、代替サンプラー、プロンプトマトリックスを含む):https://github.com/sd-webui/stable-diffusion-webui#project-features
InvokeAI (旧 lstein fork) 3400 このバージョンの安定した拡散は、滑らかなWebGUI、text2imgとimg2imgの機能を「夢のボット」スタイルのインターフェイスに組み合わせたインタラクティブなコマンドラインスクリプト、および複数の機能やその他の機能強化を備えています。Windows、Mac、Linuxマシンで動作し、わずか4 GBのRAMを搭載したGPUカードを備えています。
ザビエルシャオ/ドリームブース-安定-拡散 2400 安定拡散によるドリームブース(https://arxiv.org/abs/2208.12242)の実装ドッカー化: https://github.com/smy20011/dreambooth-docker
Basujindal:最適化された安定した拡散 2100 このレポは、安定した拡散レポの修正版であり、推論速度を犠牲にすることによって、元のVRAMよりも少ないVRAMを使用するように最適化されています。img2imgとtxt2imgと2.4ギガバイトVRAMの下でのインペイント
安定拡散無限大 1900 無限のキャンバス上の安定した拡散によるアウトペイント。このプロジェクトは、主に概念実証として機能します。
ワイフ拡散(ハギングフェイスレプリケート)) 1100 ウィーブのものに微調整された安定した拡散。「danbooru(アニメ/マンガの描画サイト)で訓練されたモデルで、56k以上の画像に淫らでnsfwもあります。マンガやアニメのものを安定した拡散から取り除くことに興味があるなら、はるかに良い結果を生み出します。
AbdBarho/stable-diffusion-webui-docker 929 Automatic1111とhlky UIの両方を含む安定した拡散のための簡単なDockerセットアップ。しかし - まだMacのサポートは https://github.com/AbdBarho/stable-diffusion-webui-docker/issues/35
高速安定拡散 753 +25-50%のスピードアップ+メモリ効率+ドリームブース
イマジナイアリー 🤖🧠 639 だけで安定した拡散画像のpythonic生成。LinuxとmacOS(M1)(そしておそらくウィンドウ)で「ちょうど動作します」。メモリ効率の向上、プロンプトベースの編集、顔の強化、アップスケーリング、タイル画像、img2img、プロンプト行列、プロンプト変数、BRIP画像キャプション、dockerfile / colabが付属しています。単体テストがあります。
pip install imaginairy
ネオンシークレット/安定拡散 546 このレポは、安定した拡散レポの修正版であり、推論速度を犠牲にすることによって、元のVRAMよりも少ないVRAMを使用するように最適化されています。また、私はスライスされたアテンションテクニックを発明し、モデルの能力をさらに押し上げることができました。これは、vramと画像サイズからスライスサイズを自動的に決定し、それに応じて1つずつ割り当てることによって機能します。あなたは実際に任意の画像サイズを生成することができます、それはちょうどあなたが犠牲にしても構わないと思っている生成速度に依存します。
Deforum Stable Diffusion 347 安定した拡散によるプロンプトのアニメーション化。デモの複製: https://replicate.com/deforum/deforum_stable_diffusion
ドゲットクス/安定拡散 137 デフォルトの CompVis ビルドで可能な 64 倍の VRAM を必要とする解像度を使用できます。

SD (その他の言語)

フォークのその他のリスト

休眠中のプロジェクト、歴史的/研究的関心のため:

その他の SD UI の

独自のSDディストリビューションが付属していないUIは、1つに砲撃するだけです

UI 名/リンク 自己記述
ahrm/UnstableFusion 815 UnstableFusionは、画像生成、インペインティング、img2img、その他の画像編集操作をシームレスなワークフローに組み合わせた、安定した拡散用のデスクトップフロントエンドです。https://www.youtube.com/watch?v=XLOhizAnSfQ&t=1s
ブレッド/SDバディ 165 SvelteとTauriとの自己ホスト型M1 Mac版のStable Diffusion用のコンパニオンデスクトップアプリ
leszekhanusz/diffusion-ui 65 拡散モデルを使用して画像を生成するためのWebインターフェイスフロントエンドです。

目標は、安定した拡散のような画像生成とインペイントを行うオンラインとオフラインのバックエンドへのインターフェイスを提供することです。
ジェネレーションQ 21 GenerationQ(「画像生成キュー」用)は、text2imgおよびimg2imgモデルを介して画像を生成するための汎用GUIを提供するように設計されたクロスプラットフォームデスクトップアプリケーション(下の画面)です。その主なターゲットは安定した拡散ですが、独自の特殊性を持つフォークされたプログラムは非常に多様であるため、画像生成タスクを構成するためのUIは、ほぼすべてのスクリプト(非SDモデルを含む)に対応できる汎用性があるように設計されています。

SD Prompt galleries and search engines

SD Visual search

SD Prompt generators

Img2prompt - Reverse Prompt Engineering

Explore Artists, styles, and modifiers

See https://github.com/sw-yx/prompt-eng/blob/main/PROMPTS.md for more details and notes

SD Prompt Tools directories and guides

SD Tooling

How SD Works - Internals and Studies

SD Results

Img2Img

Hardware requirements

  • https://news.ycombinator.com/item?id=32642255#32646761
    • このようなものには、理想的には12-24gb VRAMを搭載した強力なGPUが必要です。
    • 8GBのVRAMを搭載した500ドルのRTX 3070は、50ステップで512x512画像を7秒で生成できます。

SD vs DallE vs MJ

DallEはSD https://twitter.com/almost_digital/status/1556216820788609025?s=20&t=GCU5prherJvKebRrv9urdw を禁止しました

雑貨