作曲家

Composerの公式リポジトリ:コンポーザブル条件での創造的で制御可能な画像合成。

その他の例については、プロジェクトページを参照してください。

Composerは、数十億の(テキスト、画像)ペアでトレーニングされた、大規模(5億パラメータ)の制御可能な拡散モデルです。それは合成によって制御空間を指数関数的に拡大することができ、画像を生成および操作するための膨大な数の方法、すなわち有限の平均を無限に使用する方法につながります。

藤堂

• [ ] トレーニングおよび推論コードをリリースします。
• [ ] 事前トレーニング済みモデルをリリースします。
• []グラジオUIをリリースします。
• []安定した拡散2.1に基づいて構築された軽量の潜在作曲家。

構成結果

テキストと深さの構成。

マスクされた画像とテキストの構成。

スケッチの構成、深さ、埋め込み(1)。

スケッチの構成、深さ、埋め込み(2)。

テキストとパレットの構成。

埋め込みとパレットの構成。

強度とパレットの構成。

操作結果

スケッチ、深度、パレット、埋め込みを修正するときの画像バリエーション。

スケッチ、深度、セグメンテーションマップ、パレットを修正するときの画像補間。

イメージの再構成 (要素を直接変更してイメージを操作する)。

色補間。

地域固有の画像編集。

古典的課題の再定式化

画像翻訳。

スタイルの転送。

ポーズ転送。

バーチャル試着。

ビブテックス

@article{lhhuang2023composer,
  title={Composer: Creative and Controllable Image Synthesis with Composable Conditions},
  author={Huang, Lianghua and Chen, Di and Liu, Yu and Yujun, Shen and Zhao, Deli and Jingren, Zhou},
  booktitle={arXiv preprint arxiv:2302.09778},
  year={2023}
}