CodeFormer - [ニューロIPS 2022]コードブックルックアップトランスフォーマーによる堅牢なブラインドフェイス修復に向けて

([NeurIPS 2022] Towards Robust Blind Face Restoration with Codebook Lookup Transformer)

Created at: 2022-06-21 10:48:14

Language: Python

URL: https://github.com/sczhou/CodeFormer

License: NOASSERTION

コードブックルックアップトランスフォーマーによる堅牢なブラインドフェイス修復に向けて(NeurIPS 2022)

紙|プロジェクトページ|ビデオ

シャンチェン・ジョウ、ケルビン・C・K・チャン、チョンイー・リー、チェン・チェンジ・ロイ

南洋理工大学S-Lab

⭐ CodeFormerが画像やプロジェクトに役立つ場合は、このリポジトリにスターを付けてください。感謝！🤗

[ニュース]: 🐳 著作権の問題により、トレーニングコードのリリースを遅らせる必要があります(今年末までに予定)。今後のアップデートにご期待ください!

更新

2022.10.05: ビデオ入力に対応しました。あなたのビデオを強化するためにそれを試してみてください!🎬
```
--input_path [YOUR_VIDOE.mp4]
```
2022.09.14: ハグ顔に🤗統合しました。オンラインデモをお試しください!
2022.09.09: 複製に🚀統合されました。オンラインデモをお試しください!
2022.09.04: 高解像度AIが作成した顔強調のための顔アップサンプリングを追加しました。
```
--face_upsample
```
2022.08.23: AIが作成した顔の強化を強化するために、顔の検出と融合にいくつかの変更を加えました。
2022.08.07: 背景画像の強調をサポートするためにReal-ESRGANを統合しました。
2022.07.29: の新しい顔検出器を統合しました。
```
['RetinaFace'(default), 'YOLOv5']
```
2022.07.17: CodeFormerのコラボデモを追加しました。
2022.07.16: 顔復元のための推論コードをリリースしました。😊
2022.06.21: このリポジトリが作成されます。

藤堂

[]顔のインペインティングのチェックポイントを追加
[]顔の色付けのチェックポイントを追加
[]トレーニングコードと構成ファイルを追加する
[x]~~背景画像の強調を追加します~~

🐼古い写真の補正/AIアートの修正を試す

顔の修復

顔の色の強化と復元

フェイスインペインティング

依存関係とインストール

パイトーチ >= 1.7.1
CUDA >= 10.1
その他の必須パッケージ
```
requirements.txt
```

# git clone this repository
git clone https://github.com/sczhou/CodeFormer
cd CodeFormer

# create new anaconda env
conda create -n codeformer python=3.8 -y
conda activate codeformer

# install python dependencies
pip3 install -r requirements.txt
python basicsr/setup.py develop

クイック推論

事前トレーニング済みモデルのダウンロード:

[Googleドライブ|からfacelib事前トレーニング済みモデルをダウンロードしますOneDrive]をフォルダに追加します。事前トレーニング済みモデルを手動でダウンロードするか、次のコマンドを実行してダウンロードできます。

weights/facelib

python scripts/download_pretrained_models.py facelib

CodeFormerの事前トレーニング済みモデルを[Googleドライブ|からダウンロードするOneDrive]をフォルダに追加します。事前トレーニング済みモデルを手動でダウンロードするか、次のコマンドを実行してダウンロードできます。

weights/CodeFormer

python scripts/download_pretrained_models.py CodeFormer

テストデータの準備:

テストイメージをフォルダーに配置できます。トリミングおよび整列した面でテストする場合は、それらをフォルダーに入れることができます。

inputs/TestWhole

inputs/cropped_faces

顔の修復のテスト:

[参考]論文でCodeFormerを比較する場合は、画像全体のコマンドに顔と背景の融合プロセスが含まれ、境界の髪の質感が損なわれる可能性があり、不公平な比較につながる可能性があるため、(トリミングおよび整列した顔の場合)ことを示す次のコマンドを実行してください。

--has_aligned

🧑🏻 顔の修復(トリミングおよび整列した顔)

# For cropped and aligned faces
python inference_codeformer.py -w 0.5 --has_aligned --input_path [input folder]

🖼️画像全体の強調

# For whole image
# Add '--bg_upsampler realesrgan' to enhance the background regions with Real-ESRGAN
# Add '--face_upsample' to further upsample restorated face with Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [image folder/image path]

🎬ビデオエンハンスメント

# For video clips
# Set frame rate of saved video via '--save_video_fps 24'
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path [video path] --save_video_fps 24

忠実度の重み w は [0, 1] にあります。一般に、w を小さくすると高品質の結果が得られる傾向があり、w を大きくすると忠実度の高い結果が得られます。

結果はフォルダに保存されます。

results

引用

私たちの研究があなたの研究に役立つ場合は、以下を引用することを検討してください。

@inproceedings{zhou2022codeformer,
    author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
    title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
    booktitle = {NeurIPS},
    year = {2022}
}

ライセンス

このプロジェクトは、NTU S-Labライセンス1.0の下でライセンスされています。再配布と使用は、このライセンスに従う必要があります。

承認

このプロジェクトはBasicSRに基づいています。一部のコードは、Unleashing Transformers、YOLOv5-face、およびFaceXLibから持ち込まれます。また、背景画像の強調をサポートするためにリアルESRGANを採用しています。彼らの素晴らしい作品をありがとう。

接触

ご不明な点がございましたら、お気軽にお問い合わせください。

shangchenzhou@gmail.com