disco-diffusion - AI アートとアニメーションを生成するためのノートブック、モデル、テクニックのフランケンシュタイン的融合。

()

Created at: 2022-02-25 07:52:28
Language: Jupyter Notebook
License: NOASSERTION

ディスコ・ディフュージョン

Colab で開く

AI アートとアニメーションを生成するためのノートブック、モデル、テクニックのフランケンシュタイン的融合。

【近日中に追加情報をアップします】

貢献する

このプロジェクトでは、特別な変換ツールを使用して Python ファイルをノートブックに変換し、開発を容易にします。

つまり、変更を加えるためにノートブックに直接触れる必要はありません。

使用されているツールはColab-Convertと呼ばれます

  • を使用してインストール
    pip install colab-convert
  • .py を .ipynb に変換します
    colab-convert /path/to/file.py /path/to/file.ipynb
  • .ipynb を .py に変換します
    colab-convert /path/to/file.ipynb /path/to/file.py

変更ログ

v1 2021 年 10 月 29 日 - ソムナイ

  • ユーザー フレンドリーな UI、設定 + プロンプトの保存、Google ドライブ フォルダーの整理の改善など、初期の QoL の改善が追加されました。

v1.1 2021 年 11 月 13 日 - ソムナイ

  • サイズ変更オプション、中間保存、固定画像プロンプト、perlin 初期化が含まれるようになりました。機能しないため、公開されていないバッチオプション

v2 更新: 2021 年 11 月 22 日 - Somnai

v3 アップデート: 2021 年 12 月 24 日 - Somnai

  • だんごの高度な切り抜き方法を実装
  • NeuralDivergent のおかげで SLIP モデルが追加されました
  • @Softology からの多大な支援とテストにより、NaN が黒い画像になる問題を修正しました。
  • Perlin はバッチ内で適切に変更されるようになりました (この perlin_regen コードが最初にどこから来たのかはわかりませんが、ありがとうございます)

v4 更新: 2022 年 1 月 - ソムナイ

  • 拡散ズームを実装
  • Chigozie キーフレームを追加
  • プロセスに一連の編集を加えました

v4.1 更新: 2022 年 1 月 14 日 - ソムナイ

  • ビデオ入力モードを追加
  • どういうわけか行方不明になったライセンスを追加
  • 改善されたプロンプト キーフレーム、修正された image_prompts および複数のプロンプトが追加されました
  • 改善された UI
  • 内部の大幅なクリーンアップと改善
  • 各モードの洗練されたデフォルト
  • インポートの競合により、SLIP モデルを一時的に削除しました
  • シャープ化のための潜在拡散 SuperRes を追加
  • レジュームランモードを追加

v5 アップデート: 2022 年 2 月 20 日 - gandamu / Adam Letts

  • 3Dアニメーションモードを追加。AdaBins と MiDaS 深度推定モデルの重み付けされた組み合わせを使用します。Colab や Linux での 3D 変換に pytorch3d を使用します。

v5.1 更新: 2022 年 3 月 30 日 - zippy / Chris Allen と gandamu / Adam Letts

  • Disco Diffusion Turbo の統合された Turbo+Smooth 機能 -- デフォルトのない単なる実装です。
  • 異なるバッチ フォルダーとバッチ番号から再開できるように、ターボ アニメーションの再開を実装しました。
  • 3D 回転パラメーターの単位が (ラジアンではなく) 度になりました
  • sampling_mode での名前の衝突を修正しました (現在、plms/ddim では、diffusion_sampling_mode、3D 変換サンプリングでは sampling_mode)
  • 初期ビデオアニメーションをより連続的にするための video_init_seed_continuity オプションを追加
  • Disco Diffusion 用に特別に作成されたライト バージョンでコンパイルする必要がなくなった pytorch3d を削除しました。
  • 超解像を削除
  • スリップ モデルの削除
  • クロスプラットフォーム サポートの更新

v5.1 更新: 2022 年 4 月 4 日 - MSFTserver aka HostsServer

  • Disco Diffusion 用に特別に作成されたライト バージョンでコンパイルする必要がなくなった pytorch3d を削除しました。
  • 超解像を削除
  • スリップ モデルの削除
  • クロスプラットフォーム サポートの更新

v5.2 更新: 2022 年 4 月 10 日 - nin_artificial / Tom Mason

  • VRモード

v5.3 更新: 2022 年 6 月 10 日 - nshepperd、huemin、cut_pow

  • 水平および垂直対称
  • ViT-L/14@336px モデルの追加 (高容量 VRAM が必要)

v5.4 更新: 2022 年 6 月 14 日 - devdef / Alex Spirin、gandamu / Adam Letts によって DD メインに統合

  • ワープ モード - オプティカル フロー推定とフレーム ブレンディングを利用して、滑らかで連続的なビデオ入力結果を得る
  • カスタムモデルのサポート

v5.5 更新: 2022 年 7 月 11 日 - Palmweaver / Chris Scalf、KaliYuga_ai、gandamu / Adam Letts によるさらなる統合

  • OpenCLIP モデルの統合
  • Pixel Art Diffusion、Watercolor Diffusion、および Pulp SciFi Diffusion モデル
  • cut_ic_pow スケジューリング

v5.6 更新: 2022 年 7 月 13 日 - Felipe3DArtist、gandamu / Adam Letts による統合

  • 統合された Portrait_generator_v001 - 顔でトレーニングされた 512x512 拡散モデル - Felipe3DArtist から

ノートブックの来歴

Katherine Crowson によるオリジナルのノート ( https://github.com/crowsonkbhttps://twitter.com/RiversHaveWings )。OpenAI の 256x256 無条件 ImageNet または Katherine Crowson の微調整された 512x512 拡散モデル ( https://github.com/openai/guided-diffusion ) を CLIP ( https://github.com/openai/CLIP ) と共に使用して接続します。画像付きのテキスト プロンプト。

Daniel Russell ( https://github.com/russelldchttps://twitter.com/danielrussruss ) によって変更され、(できれば) 1000 ではなく 15 ~ 100 タイムステップで迅速な生成に最適なパラメーターと、より堅牢な拡張が含まれるようになりました。 .

Dango233 と nshepperd からのさらなる改善により、拡散の品質が全般的に改善されました。特に、このノートブックが達成しようとしているような短い実行ではそうです。

Vark は、一度に複数の Clip モデルをロードするコードを追加しました。これにより、すべてのプロンプトが評価され、精度が大幅に向上する可能性があります。

最新のズーム、パン、回転、およびキーフレーム機能は、Chigozie Nri の VQGAN Zoom Notebook ( https://github.com/chigozienrihttps://twitter.com/chigozienri )から取得されました。

Advanced DangoCutn Cutout メソッドも Dango223 のものです。

--

Somnai ( https://twitter.com/Somnai_dreams ) は、2D 拡散アニメーション技術、QoL の改善、および技術と技術のさまざまな実装を追加しました。主に以下の変更ログにリストされています。

Adam Letts ( https://twitter.com/gandamu_ml ) が Somnai と共同で追加した 3D アニメーションの実装。

Chris Allen によるターボ機能 ( https://twitter.com/zippy731 )

ローカル システムでの実行機能、Windows サポート、および HostsServer ( https://twitter.com/HostsServer )による依存関係のインストールの改善

VR モード by Tom Mason ( https://twitter.com/nin_artificial )

nshepperd による水平および垂直対称機能。対称変換のステップ by huemin ( https://twitter.com/huemin_art )。Dmitrii Tochilkin ( https://twitter.com/cut_pow )による Disco Diffusion への対称統合。

Alex Spirin ( https://twitter.com/devdef ) による Warp とカスタム モデルのサポート。

KaliYuga ( https://twitter.com/KaliYuga_ai )の Pixel Art Diffusion、Watercolor Diffusion、および Pulp SciFi Diffusion モデル。KaliYuga の Twitter をフォローして、最新モデルや特殊な設定のノートブックを入手してください。

Palmweaver / Chris Scalf による OpenCLIP モデルの統合と KaliYuga モデルの統合の開始 ( https://twitter.com/ChrisScalf11 )

Felipe3DArtist の Portrait_generator_v001 を統合 ( https://twitter.com/Felipe3DArtist )