ディスコ・ディフュージョン

AI アートとアニメーションを生成するためのノートブック、モデル、テクニックのフランケンシュタイン的融合。
【近日中に追加情報をアップします】
貢献する
このプロジェクトでは、特別な変換ツールを使用して Python ファイルをノートブックに変換し、開発を容易にします。
つまり、変更を加えるためにノートブックに直接触れる必要はありません。
使用されているツールはColab-Convertと呼ばれます
- を使用してインストール
pip install colab-convert
- .py を .ipynb に変換します
colab-convert /path/to/file.py /path/to/file.ipynb
- .ipynb を .py に変換します
colab-convert /path/to/file.ipynb /path/to/file.py
変更ログ
v1 2021 年 10 月 29 日 - ソムナイ
- ユーザー フレンドリーな UI、設定 + プロンプトの保存、Google ドライブ フォルダーの整理の改善など、初期の QoL の改善が追加されました。
v1.1 2021 年 11 月 13 日 - ソムナイ
- サイズ変更オプション、中間保存、固定画像プロンプト、perlin 初期化が含まれるようになりました。機能しないため、公開されていないバッチオプション
v2 更新: 2021 年 11 月 22 日 - Somnai
v3 アップデート: 2021 年 12 月 24 日 - Somnai
- だんごの高度な切り抜き方法を実装
- NeuralDivergent のおかげで SLIP モデルが追加されました
- @Softology からの多大な支援とテストにより、NaN が黒い画像になる問題を修正しました。
- Perlin はバッチ内で適切に変更されるようになりました (この perlin_regen コードが最初にどこから来たのかはわかりませんが、ありがとうございます)
v4 更新: 2022 年 1 月 - ソムナイ
- 拡散ズームを実装
- Chigozie キーフレームを追加
- プロセスに一連の編集を加えました
v4.1 更新: 2022 年 1 月 14 日 - ソムナイ
- ビデオ入力モードを追加
- どういうわけか行方不明になったライセンスを追加
- 改善されたプロンプト キーフレーム、修正された image_prompts および複数のプロンプトが追加されました
- 改善された UI
- 内部の大幅なクリーンアップと改善
- 各モードの洗練されたデフォルト
- インポートの競合により、SLIP モデルを一時的に削除しました
- シャープ化のための潜在拡散 SuperRes を追加
- レジュームランモードを追加
v5 アップデート: 2022 年 2 月 20 日 - gandamu / Adam Letts
- 3Dアニメーションモードを追加。AdaBins と MiDaS 深度推定モデルの重み付けされた組み合わせを使用します。Colab や Linux での 3D 変換に pytorch3d を使用します。
v5.1 更新: 2022 年 3 月 30 日 - zippy / Chris Allen と gandamu / Adam Letts
- Disco Diffusion Turbo の統合された Turbo+Smooth 機能 -- デフォルトのない単なる実装です。
- 異なるバッチ フォルダーとバッチ番号から再開できるように、ターボ アニメーションの再開を実装しました。
- 3D 回転パラメーターの単位が (ラジアンではなく) 度になりました
- sampling_mode での名前の衝突を修正しました (現在、plms/ddim では、diffusion_sampling_mode、3D 変換サンプリングでは sampling_mode)
- 初期ビデオアニメーションをより連続的にするための video_init_seed_continuity オプションを追加
- Disco Diffusion 用に特別に作成されたライト バージョンでコンパイルする必要がなくなった pytorch3d を削除しました。
- 超解像を削除
- スリップ モデルの削除
- クロスプラットフォーム サポートの更新
v5.1 更新: 2022 年 4 月 4 日 - MSFTserver aka HostsServer
- Disco Diffusion 用に特別に作成されたライト バージョンでコンパイルする必要がなくなった pytorch3d を削除しました。
- 超解像を削除
- スリップ モデルの削除
- クロスプラットフォーム サポートの更新
v5.2 更新: 2022 年 4 月 10 日 - nin_artificial / Tom Mason
v5.3 更新: 2022 年 6 月 10 日 - nshepperd、huemin、cut_pow
- 水平および垂直対称
- ViT-L/14@336px モデルの追加 (高容量 VRAM が必要)
v5.4 更新: 2022 年 6 月 14 日 - devdef / Alex Spirin、gandamu / Adam Letts によって DD メインに統合
- ワープ モード - オプティカル フロー推定とフレーム ブレンディングを利用して、滑らかで連続的なビデオ入力結果を得る
- カスタムモデルのサポート
v5.5 更新: 2022 年 7 月 11 日 - Palmweaver / Chris Scalf、KaliYuga_ai、gandamu / Adam Letts によるさらなる統合
- OpenCLIP モデルの統合
- Pixel Art Diffusion、Watercolor Diffusion、および Pulp SciFi Diffusion モデル
- cut_ic_pow スケジューリング
v5.6 更新: 2022 年 7 月 13 日 - Felipe3DArtist、gandamu / Adam Letts による統合
- 統合された Portrait_generator_v001 - 顔でトレーニングされた 512x512 拡散モデル - Felipe3DArtist から
ノートブックの来歴
Katherine Crowson によるオリジナルのノート ( https://github.com/crowsonkb、https://twitter.com/RiversHaveWings )。OpenAI の 256x256 無条件 ImageNet または Katherine Crowson の微調整された 512x512 拡散モデル ( https://github.com/openai/guided-diffusion ) を CLIP ( https://github.com/openai/CLIP ) と共に使用して接続します。画像付きのテキスト プロンプト。
Daniel Russell ( https://github.com/russelldc、https://twitter.com/danielrussruss ) によって変更され、(できれば) 1000 ではなく 15 ~ 100 タイムステップで迅速な生成に最適なパラメーターと、より堅牢な拡張が含まれるようになりました。 .
Dango233 と nshepperd からのさらなる改善は、一般的に拡散の品質を改善するのに役立ちました。特に、このノートブックが達成しようとしているような短い実行ではそうです。
Vark は、一度に複数の Clip モデルをロードするコードを追加しました。これにより、すべてのプロンプトが評価され、精度が大幅に向上する可能性があります。
最新のズーム、パン、回転、およびキーフレーム機能は、Chigozie Nri の VQGAN Zoom Notebook ( https://github.com/chigozienri、https://twitter.com/chigozienri )から取得されました。
Advanced DangoCutn Cutout メソッドも Dango223 のものです。
--
Somnai ( https://twitter.com/Somnai_dreams ) は、2D 拡散アニメーション技術、QoL の改善、および技術と技術のさまざまな実装を追加しました。主に以下の変更ログにリストされています。
Adam Letts ( https://twitter.com/gandamu_ml ) が Somnai と共同で追加した 3D アニメーションの実装。
Chris Allen によるターボ機能 ( https://twitter.com/zippy731 )
ローカル システムでの実行機能、Windows サポート、および HostsServer ( https://twitter.com/HostsServer )による依存関係のインストールの改善
VR モード by Tom Mason ( https://twitter.com/nin_artificial )
nshepperd による水平および垂直対称機能。対称変換のステップ by huemin ( https://twitter.com/huemin_art )。Dmitrii Tochilkin ( https://twitter.com/cut_pow )による Disco Diffusion への対称統合。
Alex Spirin ( https://twitter.com/devdef ) による Warp とカスタム モデルのサポート。
KaliYuga ( https://twitter.com/KaliYuga_ai )の Pixel Art Diffusion、Watercolor Diffusion、および Pulp SciFi Diffusion モデル。KaliYuga の Twitter をフォローして、最新モデルや特殊な設定のノートブックを入手してください。
Palmweaver / Chris Scalf による OpenCLIP モデルの統合と KaliYuga モデルの統合の開始 ( https://twitter.com/ChrisScalf11 )
Felipe3DArtist の Portrait_generator_v001 を統合 ( https://twitter.com/Felipe3DArtist )