ディスコ・ディフュージョン

AI アートとアニメーションを生成するためのノートブック、モデル、テクニックのフランケンシュタイン的融合。

【近日中に追加情報をアップします】

貢献する

このプロジェクトでは、特別な変換ツールを使用して Python ファイルをノートブックに変換し、開発を容易にします。

つまり、変更を加えるためにノートブックに直接触れる必要はありません。

使用されているツールはColab-Convertと呼ばれます

• を使用してインストール

  pip install colab-convert

• .py を .ipynb に変換します

  colab-convert /path/to/file.py /path/to/file.ipynb

• .ipynb を .py に変換します

  colab-convert /path/to/file.ipynb /path/to/file.py

変更ログ

v1 2021 年 10 月 29 日 - ソムナイ

• ユーザー フレンドリーな UI、設定 + プロンプトの保存、Google ドライブ フォルダーの整理の改善など、初期の QoL の改善が追加されました。

v1.1 2021 年 11 月 13 日 - ソムナイ

• サイズ変更オプション、中間保存、固定画像プロンプト、perlin 初期化が含まれるようになりました。機能しないため、公開されていないバッチオプション

v2 更新: 2021 年 11 月 22 日 - Somnai

• キャサリン・クロウソンの二次モデル法の最初の追加 ( https://colab.research.google.com/drive/1mpkrhOjoyzPeSWy2r7T8EYRaU7amYOOi#scrollTo=X5gODNAMEUCR )
• 誤った名前の設定ファイルの修正

v3 アップデート: 2021 年 12 月 24 日 - Somnai

• だんごの高度な切り抜き方法を実装
• NeuralDivergent のおかげで SLIP モデルが追加されました
• @Softology からの多大な支援とテストにより、NaN が黒い画像になる問題を修正しました。
• Perlin はバッチ内で適切に変更されるようになりました (この perlin_regen コードが最初にどこから来たのかはわかりませんが、ありがとうございます)

v4 更新: 2022 年 1 月 - ソムナイ

• 拡散ズームを実装
• Chigozie キーフレームを追加
• プロセスに一連の編集を加えました

v4.1 更新: 2022 年 1 月 14 日 - ソムナイ

• ビデオ入力モードを追加
• どういうわけか行方不明になったライセンスを追加
• 改善されたプロンプト キーフレーム、修正された image_prompts および複数のプロンプトが追加されました
• 改善された UI
• 内部の大幅なクリーンアップと改善
• 各モードの洗練されたデフォルト
• インポートの競合により、SLIP モデルを一時的に削除しました
• シャープ化のための潜在拡散 SuperRes を追加
• レジュームランモードを追加

v5 アップデート: 2022 年 2 月 20 日 - gandamu / Adam Letts

• 3Dアニメーションモードを追加。AdaBins と MiDaS 深度推定モデルの重み付けされた組み合わせを使用します。Colab や Linux での 3D 変換に pytorch3d を使用します。

v5.1 更新: 2022 年 3 月 30 日 - zippy / Chris Allen と gandamu / Adam Letts

• Disco Diffusion Turbo の統合された Turbo+Smooth 機能 -- デフォルトのない単なる実装です。
• 異なるバッチ フォルダーとバッチ番号から再開できるように、ターボ アニメーションの再開を実装しました。
• 3D 回転パラメーターの単位が (ラジアンではなく) 度になりました
• sampling_mode での名前の衝突を修正しました (現在、plms/ddim では、diffusion_sampling_mode、3D 変換サンプリングでは sampling_mode)
• 初期ビデオアニメーションをより連続的にするための video_init_seed_continuity オプションを追加
• Disco Diffusion 用に特別に作成されたライト バージョンでコンパイルする必要がなくなった pytorch3d を削除しました。
• 超解像を削除
• スリップ モデルの削除
• クロスプラットフォーム サポートの更新

v5.1 更新: 2022 年 4 月 4 日 - MSFTserver aka HostsServer

• Disco Diffusion 用に特別に作成されたライト バージョンでコンパイルする必要がなくなった pytorch3d を削除しました。
• 超解像を削除
• スリップ モデルの削除
• クロスプラットフォーム サポートの更新

v5.2 更新: 2022 年 4 月 10 日 - nin_artificial / Tom Mason

• VRモード

v5.3 更新: 2022 年 6 月 10 日 - nshepperd、huemin、cut_pow

• 水平および垂直対称
• ViT-L/14@336px モデルの追加 (高容量 VRAM が必要)

v5.4 更新: 2022 年 6 月 14 日 - devdef / Alex Spirin、gandamu / Adam Letts によって DD メインに統合

• ワープ モード - オプティカル フロー推定とフレーム ブレンディングを利用して、滑らかで連続的なビデオ入力結果を得る
• カスタムモデルのサポート

v5.5 更新: 2022 年 7 月 11 日 - Palmweaver / Chris Scalf、KaliYuga_ai、gandamu / Adam Letts によるさらなる統合

• OpenCLIP モデルの統合
• Pixel Art Diffusion、Watercolor Diffusion、および Pulp SciFi Diffusion モデル
• cut_ic_pow スケジューリング

v5.6 更新: 2022 年 7 月 13 日 - Felipe3DArtist、gandamu / Adam Letts による統合

• 統合された Portrait_generator_v001 - 顔でトレーニングされた 512x512 拡散モデル - Felipe3DArtist から

ノートブックの来歴

Katherine Crowson によるオリジナルのノート ( https://github.com/crowsonkb、https://twitter.com/RiversHaveWings )。OpenAI の 256x256 無条件 ImageNet または Katherine Crowson の微調整された 512x512 拡散モデル ( https://github.com/openai/guided-diffusion ) を CLIP ( https://github.com/openai/CLIP ) と共に使用して接続します。画像付きのテキスト プロンプト。

Daniel Russell ( https://github.com/russelldc、https://twitter.com/danielrussruss ) によって変更され、(できれば) 1000 ではなく 15 ～ 100 タイムステップで迅速な生成に最適なパラメーターと、より堅牢な拡張が含まれるようになりました。 .

Dango233 と nshepperd からのさらなる改善は、一般的に拡散の品質を改善するのに役立ちました。特に、このノートブックが達成しようとしているような短い実行ではそうです。

Vark は、一度に複数の Clip モデルをロードするコードを追加しました。これにより、すべてのプロンプトが評価され、精度が大幅に向上する可能性があります。

最新のズーム、パン、回転、およびキーフレーム機能は、Chigozie Nri の VQGAN Zoom Notebook ( https://github.com/chigozienri、https://twitter.com/chigozienri )から取得されました。

Advanced DangoCutn Cutout メソッドも Dango223 のものです。

--

Somnai ( https://twitter.com/Somnai_dreams ) は、2D 拡散アニメーション技術、QoL の改善、および技術と技術のさまざまな実装を追加しました。主に以下の変更ログにリストされています。

Adam Letts ( https://twitter.com/gandamu_ml ) が Somnai と共同で追加した 3D アニメーションの実装。

Chris Allen によるターボ機能 ( https://twitter.com/zippy731 )

ローカル システムでの実行機能、Windows サポート、および HostsServer ( https://twitter.com/HostsServer )による依存関係のインストールの改善

VR モード by Tom Mason ( https://twitter.com/nin_artificial )

nshepperd による水平および垂直対称機能。対称変換のステップ by huemin ( https://twitter.com/huemin_art )。Dmitrii Tochilkin ( https://twitter.com/cut_pow )による Disco Diffusion への対称統合。

Alex Spirin ( https://twitter.com/devdef ) による Warp とカスタム モデルのサポート。

KaliYuga ( https://twitter.com/KaliYuga_ai )の Pixel Art Diffusion、Watercolor Diffusion、および Pulp SciFi Diffusion モデル。KaliYuga の Twitter をフォローして、最新モデルや特殊な設定のノートブックを入手してください。

Palmweaver / Chris Scalf による OpenCLIP モデルの統合と KaliYuga モデルの統合の開始 ( https://twitter.com/ChrisScalf11 )

Felipe3DArtist の Portrait_generator_v001 を統合 ( https://twitter.com/Felipe3DArtist )