GFPGAN - GFPGAN は、現実世界の顔を復元するための実用的なアルゴリズムを開発することを目的としています。

(GFPGAN aims at developing Practical Algorithms for Real-world Face Restoration.)

Created at: 2021-03-19 14:18:20
Language: Python
License: NOASSERTION

ダウンロード PyPI 未解決の問題 終了した問題 ライセンス パイソン糸くず パブリッシュピップ

  1. GFPGANの Colabデモグーグルコラボのロゴ; (元の紙モデルの別のColab デモ)
  2. オンライン デモ: Huggingface (トリミングされた顔のみを返す)
  3. オンライン デモ: Replicate.ai (サインインが必要な場合があります。画像全体を返します)
  4. オンライン デモ: Baseten.co (GPU に支えられ、画像全体を返します)
  5. CUDA 拡張機能なしで実行できる GFPGANのクリーンバージョンを提供します。WindowsまたはCPU モードで実行できるようにします。

🚀 私たちの仕事に関心をお寄せいただきありがとうございます。また、Real-ESRGANのアニメ画像とビデオの小さなモデルに関する新しい更新を確認することもできます。 😊

GFPGAN は、現実世界の顔を復元するための実用的なアルゴリズムを開発することを目的としています。
これは、事前にトレーニングされた顔 GAN (StyleGAN2 など) にカプセル化された豊富で多様な事前分布を活用してブラインド顔の復元を行います。

よくある質問はFAQ.mdにあります。

🚩 アップデート

  • 🔥🔥V1.3 モデルを追加します。これにより、より自然な復元結果が得られ、非常に低品質/高品質の入力でより良い結果が得られます。モデル動物園比較.mdで詳細を参照してください。
  • GradioでHuggingface Spacesに統合。Gradio Web デモを参照してください。
  • Real-ESRGANを使用した顔以外の領域 (背景) の強化をサポートします。
  • CUDA 拡張機能を必要としない、GFPGANのクリーンバージョンを提供します。
  • 顔を着色せずに更新されたモデルを提供します。

GFPGAN があなたの写真やプロジェクトに役立つ場合は、このレポか、友達に勧めてください。ありがとう😊 その他の推奨プロジェクト:
▶️ Real-ESRGAN : 一般的な画像復元のための実用的なアルゴリズム
▶️ BasicSR : オープンソースの画像およびビデオ復元ツールボックス
▶️ facexlib : 便利な顔関連関数を提供するコレクション
▶️ HandyView : 表示と比較に便利な PyQt5 ベースの画像ビューア


📖GFP-GAN: ジェネレーティブ フェイシャル プライアーを使用したリアルワールドの盲目の顔の復元に向けて

[論文] [プロジェクトページ] [デモ] Xintao
Wang , Yu Li , Honglun Zhang , Ying Shan
Applied Research Center (ARC), Tencent PCG


🔧依存関係とインストール

インストール

カスタマイズされた CUDA 拡張機能を必要としない、GFPGANのクリーンバージョンを提供するようになりました。
元のモデルを論文で使用する場合は、PaperModel.mdを参照してインストールしてください。

  1. レポのクローン

    git clone https://github.com/TencentARC/GFPGAN.git
    cd GFPGAN
  2. 依存パッケージをインストールする

    # Install basicsr - https://github.com/xinntao/BasicSR
    # We use BasicSR for both training and inference
    pip install basicsr
    
    # Install facexlib - https://github.com/xinntao/facexlib
    # We use face detection and face restoration helper in the facexlib package
    pip install facexlib
    
    pip install -r requirements.txt
    python setup.py develop
    
    # If you want to enhance the background (non-face) regions with Real-ESRGAN,
    # you also need to install the realesrgan package
    pip install realesrgan

クイック推論

例として v1.3 バージョンを取り上げます。その他のモデルはこちらでご覧いただけます

事前トレーニング済みモデルをダウンロード: GFPGANv1.3.pth

wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

推論!

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2
Usage: python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2 [options]...

  -h                   show this help
  -i input             Input image or folder. Default: inputs/whole_imgs
  -o output            Output folder. Default: results
  -v version           GFPGAN model version. Option: 1 | 1.2 | 1.3. Default: 1.3
  -s upscale           The final upsampling scale of the image. Default: 2
  -bg_upsampler        background upsampler. Default: realesrgan
  -bg_tile             Tile size for background sampler, 0 for no tile during testing. Default: 400
  -suffix              Suffix of the restored faces
  -only_center_face    Only restore the center face
  -aligned             Input are aligned faces
  -ext                 Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto

元のモデルを私たちの論文で使用したい場合は、PaperModel.mdを参照してインストールと推論を行ってください。

🏰模型動物園

バージョン モデル名 説明
V1.3 GFPGANv1.3.pth V1.2 に基づく。より自然な修復結果; 非常に低品質/高品質の入力でより良い結果が得られます。
V1.2 GFPGANCleanv1-NoCE-C2.pth 色付けなし。CUDA 拡張機能は必要ありません。前処理を使用してより多くのデータでトレーニングしました。
V1 GFPGANv1.pth 彩色を施したペーパーモデル。

比較はComparisons.mdにあります。

V1.3 が常に V1.2 より優れているとは限らないことに注意してください。目的と入力に基づいて、異なるモデルを選択する必要がある場合があります。

バージョン 強み 弱点
V1.3 ✓ 自然なアウトプット ✓
非常に低品質のインプットでより良い結果
✓ 比較的高品質のインプットで作業
✓ 修復を (2 回) 繰り返すことができる
✗ あまりシャープではない
✗ アイデンティティーにわずかな変化がある
V1.2 ✓ シャープな出力
✓ 美容メイクで
✗ 一部の出力が不自然です

その他のモデル (ディスクリミネーターなど) は、 [ Google ドライブ]、または [ Tencent Cloud 腾讯微云]にあります。

💻トレーニング

GFPGAN のトレーニング コードを提供します (論文で使用)。
必要に応じて改善できます。

チップ

  1. フェースの品質を高めると、修復物の品質を向上させることができます。
  2. 美容メイクなどの前処理が必要な場合があります。

手続き

options/train_gfpgan_v1_simple.yml
(顔コンポーネントのランドマークを必要としない単純なバージョン ( ) を試すことができます。)

  1. データセットの準備: FFHQ

  2. 事前トレーニング済みのモデルとその他のデータをダウンロードします。それらを

    experiments/pretrained_models
    フォルダに入れます。

    1. 事前トレーニング済み StyleGAN2 モデル: StyleGAN2_512_Cmul1_FFHQ_B12G4_scratch_800k.pth
    2. FFHQ のコンポーネントの場所: FFHQ_eye_mouth_landmarks_512.pth
    3. シンプルな ArcFace モデル: arcface_resnet18.pth
  3. それに応じて構成ファイルを変更します

    options/train_gfpgan_v1.yml

  4. トレーニング

python -m torch.distributed.launch --nproc_per_node=4 --master_port=22021 gfpgan/train.py -opt オプション/train_gfpgan_v1.yml --launcher pytorch

📜ライセンスと承認

GFPGAN は、Apache License Version 2.0 の下でリリースされています。

ビブテックス

@InProceedings{wang2021gfpgan,
    author = {Xintao Wang and Yu Li and Honglun Zhang and Ying Shan},
    title = {Towards Real-World Blind Face Restoration with Generative Facial Prior},
    booktitle={The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
    year = {2021}
}

📧コンタクト

ご不明な点がございましたら、メール

xintao.wang@outlook.com
または
xintaowang@tencent.com
.