ステップ1:Python 環境を作成し、依存関係をインストールします。

conda create -n coreml_stable_diffusion python=3.8 -y
conda activate coreml_stable_diffusion
cd /path/to/cloned/ml-stable-diffusion/repository
pip install -e .

ステップ2:Hugging Faceアカウントにログインまたは登録し、ユーザーアクセストークンを生成し、このトークンを使用して、ターミナルウィンドウで実行してHugging FaceAPIアクセスを設定します。

huggingface-cli login

ステップ3:ハギングフェイスハブで使用する安定した拡散のバージョンに移動し、その利用規約に同意します。デフォルトのモデルバージョンはCompVis/stable-diffusion-v1-4 です。モデルのバージョンは、次の手順で説明するように、ユーザーが変更できます。

ステップ4:ターミナルから次のコマンドを実行して、コアMLモデルファイルを生成します(

.mlpackage

python -m python_coreml_stable_diffusion.torch2coreml --convert-unet --convert-text-encoder --convert-vae-decoder --convert-safety-checker -o <output-mlpackages-directory>

警告：このコマンドは、数GB相当のPyTorchチェックポイントをハグフェイスからダウンロードします。

これは通常、M1 MacBook Proでは15〜20分かかります。正常に実行されると、安定拡散を構成する 4 つのニューラル ネットワーク モデルが PyTorch から Core ML () に変換され、指定されたものに保存されます。いくつかの追加の注目すべき議論:

.mlpackage

<output-mlpackages-directory>

• --model-version

  : モデルのバージョンはデフォルトでCompVis/stable-diffusion-v1-4 です。開発者は、Hugging Face Hub で利用可能な他のバージョン、例えば stableai/stable-diffusion-2-base&runwayml/stable-diffusion-v1-5 を指定することができます。

• --bundle-resources-for-swift-cli

  : 4つのモデルすべてをコンパイルし、テキストトークン化に必要なリソースとともにバンドルします。このフラグは、ディフューザーベースの Python パイプラインには必要ありません。

  <output-mlpackages-directory>/Resources

• --chunk-unet

  : Unet モデルを 2 つのほぼ等しいチャンク (それぞれ 1 GB 未満の重み) に分割して、モバイル フレンドリーな展開を実現します。これは、iOS および iPadOS での ANE 展開に必要です。これは macOS では必要ありません。Swift CLIは、Unetモデルのチャンクバージョンと通常バージョンの両方を使用できますが、前者を優先します。Python パイプラインは macOS のみを対象としているため、チャンク化された unet は Python パイプラインと互換性がないことに注意してください。チャンキングは、Swift を使用したデバイス上の展開専用です。

• --attention-implementation

  : デフォルトは、Apple Neural Engine へのトランスフォーマーのデプロイで説明されている実装です。非 ANE デプロイに使用する代替手段に切り替わります。詳細なガイダンスについては、「パフォーマンスベンチマーク」セクションを参照してください。

  SPLIT_EINSUM

  --attention-implementation ORIGINAL

• --check-output-correctness

  : 元の PyTorch モデルの出力と最終的なコア ML モデルの出力を比較します。このフラグは RAM 消費量を大幅に増加させるため、デバッグ目的でのみ推奨されます。

ディフューザーに基づく Python パイプラインの例を使用して、テキストから画像への生成を実行します。

python -m python_coreml_stable_diffusion.pipeline --prompt "a photo of an astronaut riding a horse on mars" -i <output-mlpackages-directory> -o </path/to/output/image> --compute-unit ALL --seed 93

利用可能なすべての引数については、ヘルプメニューを参照してください。いくつかの注目すべき議論:

python -m python_coreml_stable_diffusion.pipeline -h

• -i

  : 上記の「モデルをコア ML に変換する」セクションのステップ 4 のディレクトリをポイントする必要があります。

  -o

• --model-version

  : モデルをCore MLに変換するときにデフォルトのモデルバージョンをオーバーライドした場合は、ここで同じモデルバージョンを指定する必要があります。

• --compute-unit

  : この特定の実装で最もパフォーマンスの高いコンピューティング ユニットは、ハードウェアによって異なる場合があることに注意してください。または、より高速である場合があります。詳細なガイダンスについては、「パフォーマンスベンチマーク」セクションを参照してください。

  CPU_AND_GPU

  CPU_AND_NE

  ALL

• --scheduler

  : さまざまなスケジューラを試してみたい場合は、ここで指定できます。利用可能なオプションについては、ヘルプメニューを参照してください。また、推論ステップのカスタム数を指定することもできます。デフォルトは 50 です。

  --num-inference-steps

システム要件

Swift プロジェクトをビルドするには、次のものが必要です。

• macOS 13 以降
• コマンドラインツールがインストールされているXcode 14.1以降。最新バージョンについてはdeveloper.apple.comを確認してください。
• コア ML モデルとトークン化リソース。上記の「コア ML へのモデルの変換」セクションから参照してください。

  --bundle-resources-for-swift-cli

このモデルを次の場所にデプロイする場合:

• アイフォン
  • iOS 16.2 以降
  • iPhone 12以降
• アプリ
  • iPadOS 16.2 以降
  • M1 以降
• マック
  • macOS 13.1以降
  • M1 以降

CLI の使用例

swift run StableDiffusionSample "a photo of an astronaut riding a horse on mars" --resource-path <output-mlpackages-directory>/Resources/ --seed 93 --output-path </path/to/output/image>

出力には、プロンプトとランダムシードに基づいて名前が付けられます。 例えば。

</path/to/output/image>/a_photo_of_an_astronaut_riding_a_horse_on_mars.93.final.png

バッチ生成などについて学ぶためにフラグを使用してください。

--help

ライブラリの使用例

import StableDiffusion
...
let pipeline = try StableDiffusionPipeline(resourcesAt: resourceURL)
let image = try pipeline.generateImages(prompt: prompt, seed: seed).first

スウィフトパッケージの詳細

この Swift パッケージには、次の 2 つの製品が含まれています。

• StableDiffusion

  図書館

• StableDiffusionSample

  コマンド ライン ツール

どちらの製品でも、Core ML モデルとトークン化リソースを指定する必要があります。ディレクトリパスを使用してリソースを指定する場合、そのディレクトリには次のものが含まれている必要があります。

• TextEncoder.mlmodelc

  (テキスト埋め込みモデル)

• Unet.mlmodelc

  or&(ノイズ除去オートエンコーダーモデル)

  UnetChunk1.mlmodelc

  UnetChunk2.mlmodelc

• VAEDecoder.mlmodelc

  (イメージデコーダモデル)

• vocab.json

  (トークナイザー語彙ファイル)

• merges.text

  (バイトペアエンコーディングファイルのマージ)

オプションで、安定拡散の一部のバージョンに含まれる安全性チェッカーモデルを含めることもできます。

• SafetyChecker.mlmodelc

チャンク化されたバージョンの Unet が最初にチェックされることに注意してください。存在しない場合にのみ、fullbeがロードされます。チャンキングは iOS および iPadOS では必須であり、macOS では必要ありません。

Unet.mlmodelc

標準コンプビジュアライゼーション/安定拡散-v1-4ベンチマーク

--compute-unit

--attention-implementation

CPU_AND_GPU

ORIGINAL

CPU_AND_GPU

ORIGINAL

CPU_AND_GPU

ORIGINAL

CPU_AND_GPU

ORIGINAL

ALL

SPLIT_EINSUM (default)

CPU_AND_NE

SPLIT_EINSUM (default)

CPU_AND_NE

SPLIT_EINSUM (default)

CPU_AND_NE

SPLIT_EINSUM (default)

詳細については、「パフォーマンスベンチマークに関する重要な注意事項」セクションを参照してください。

• このベンチマークは、2022年11月にiOS16.2、iPadOS16.2、およびmacOS13.1のパブリックベータ版を使用してAppleによって実施されました。
• 実行されたプログラムはmacOSデバイス用であり、iOSおよびiPadOSデバイス用のSwiftパッケージ。

  python_coreml_stable_diffusion.pipeline

  StableDiffusion

• 3 つのエンドツーエンド実行の中央値が報告されます。
• パフォーマンスは、モデル自体のアーキテクチャの変更により、安定拡散のバージョンによって大きく異なる場合があります。報告される各番号は、そのコンテキストで言及されているモデルバージョンに固有です。
• 画像生成手順は、標準構成に従います:50の推論ステップ、512x512の出力画像解像度、77のテキストトークンシーケンス長、分類器なしのガイダンス(unetの場合はバッチサイズ2)。
• Core ML モデルは、入力テキストの実際の長さに関係なく、テキスト トークン シーケンス内の 77 個の要素 () すべてのフォワード パスを計算する静的図形に変換されるため、実際のプロンプトの長さはパフォーマンスに影響を与えません。

  tokenizer.model_max_length

• 4つのモデル間のパイプライン処理は最適化されておらず、これらのパフォーマンス数値は、他のアプリケーションからのシステム負荷の増加によって変動する可能性があります。これらの要因を考慮して、待機時間の秒未満の分散は報告されません。
• 重みとアクティブ化は、GPU と ANE の両方で float16 の精度です。
• Swift CLIプログラムは、約2.6GB(セーフティチェッカーなし)のピークメモリを消費し、そのうち2.1GBはfloat16精度のモデル重みです。8ビットの重み量子化を適用し、ピーク時のメモリ消費量を約1GB削減しました。しかし、生成された画質に悪影響があることを観察し、ロールバックしました。開発者は、より良い結果が得られる可能性のある旺盛や剪定などの他の高度な重量圧縮技術を試すことをお勧めします。
• ベンチマーク表では、デバイスごとの最高のパフォーマンスと値を報告します。前者は Core ML モデルを変更せず、実行時に適用できます。後者は、コアMLモデルを変更します。最もパフォーマンスの高いコンピューティング ユニットは、モデル バージョンとハードウェア固有であることに注意してください。

  --compute-unit

  --attention-implementation

異なる演算ユニットを使用して生成された画像間でわずかな違いがある可能性が高いです。

以下の画像は、M1 MacBook ProおよびmacOS 13.1で、滑走路ml/stable-diffusion-v1-5モデルバージョンを使用して「火星で馬に乗っている宇宙飛行士の写真」というプロンプトで生成されました。ランダムシードは93に設定されました。

CPU_AND_NE	CPU_AND_GPU	すべての

異なる入力では、違いが少なくなったり、顕著になったりする場合があります。詳しい説明はFAQQ8をご覧ください。