Real-ESRGAN - Real-ESRGANは、一般的な画像/ビデオ復元のための実用的なアルゴリズムの開発を目的としています。

(Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.)

Created at: 2021-07-19 11:23:30
Language: Python
License: BSD-3-Clause

ダウンロード PyPI 未解決の問題 クローズドイシュー ライセンス python lint 公開-pip

🔥RealESRGANAnimeVideo -v3model更新に更新してください。詳しくは【アニメ動画モデル】と【比較】をご覧ください。

  1. Real-ESRGANのColabデモ| Colab Demo for Real-ESRGAN(アニメビデオ)。
  2. Intel / AMD /NvidiaGPU用のポータブルWindows / Linux / MacOS 実行可能ファイル。詳細については、こちらをご覧ください。ncnnの実装はReal-ESRGAN-ncnn-vulkanにあります。

Real-ESRGANは、一般的な画像/ビデオ復元のための実用的なアルゴリズムの開発を目的としています。
強力なESRGANを、純粋な合成データでトレーニングされた実用的な復元アプリケーション(つまり、Real-ESRGAN)に拡張します。

🎨Real-ESRGANにはあなたの貢献が必要です。新機能/モデル/タイプミスの修正/提案/メンテナンスなど、あらゆる貢献を歓迎しますCONTRIBUTING.mdを参照してください。すべての寄稿者はここにリストされています。

よくある質問はFAQ.mdにあります。

🌌貴重なフィードバック/提案をありがとうございます。すべてのフィードバックはfeedback.mdで更新されます


Real-ESRGANがあなたの写真/プロジェクトに役立つ場合は、このレポまたはお友達にそれをお勧めします。ありがとう😊
その他の推奨プロジェクト:
▶️ GFPGAN:実世界の顔の復元のための実用的なアルゴリズム
▶️ BasicSR:オープンソースの画像およびビデオ復元ツールボックス
▶️ facexlib:便利な顔関係関数を提供するコレクション。
▶️ HandyView:表示と比較に便利なPyQt5ベースの画像ビューア。


🚩更新
  • RealESRGANAnimeVideo-v3モデルを更新します。詳細については、アニメビデオモデル比較をご覧ください。
  • アニメビデオの小さなモデルを追加します。詳細はアニメビデオモデルにあります。
  • ncnn実装Real-ESRGAN-ncnn-vulkanを追加します。
  • Add RealESRGAN_x4plus_anime_6B.pth, which is optimized for anime images with much smaller model size. More details and comparisons with waifu2x are in anime_model.md
  • Support finetuning on your own data or paired data (i.e., finetuning ESRGAN). See here
  • Integrate GFPGAN to support face enhancement.
  • Integrated to Huggingface Spaces with Gradio. See Gradio Web Demo. Thanks @AK391
  • Support arbitrary scale with
    --outscale
    (It actually further resizes outputs with
    LANCZOS4
    ). Add RealESRGAN_x2plus.pth model.
  • 推論コードは以下をサポートします:1)タイルオプション。2)アルファチャネルのある画像; 3)灰色の画像。4)16ビット画像。
  • トレーニングコードがリリースされました。詳細なガイドはTraining.mdにあります。
🧩Real-ESRGANを使用するプロジェクト

    👋プロジェクトでReal-ESRGANを開発/使用する場合は、私に知らせてください。

    GUI

👀デモビデオ

📖Real-ESRGAN:純粋な合成データを使用した実世界のブラインド超解像のトレーニング

[論文][プロジェクトページ][ YouTubeビデオ][ B站讲解][ポスター][ PPTスライド]
XintaoWang、Liangbin Xie、Chao DongYing Shan
Tencent ARC Lab; 深セン先端技術研究所、中国科学院


事前トレーニング済みモデル(RealESRGAN_x4plus.pth)にアップサンプリングX4を提供しました。
RealESRGANは、実際の劣化が非常に複雑であるため、場合によっては失敗する可能性があることに注意してください。
さらに、後で最適化される 人間の顔やテキストなどではうまく機能しない可能性があります。

Real-ESRGANは長期的にサポートされるプロジェクトになります(私の現在の計画では😃)。空き時間に継続的に更新していきます。

近い将来のTODOリストは次のとおりです。

  • []人間の顔に最適化
  • []テキスト用に最適化
  • [x]アニメ画像用に最適化
  • []より多くのスケールをサポート
  • []制御可能な復元強度をサポート

良いアイデアや要望があれば、問題/ディスカッションを開いて知らせてください。
Real-ESRGANでうまく復元できなかった画像がある場合は、問題/ディスカッションも開いてください。記録します(ただし、解決を保証することはできません)😛)。必要に応じて、解決が必要なこれらの現実の事例を特別に記録するページを開きますが、現在の技術はうまく処理するのが困難です。


ポータブル実行可能ファイル

Intel / AMD /NvidiaGPU用のWindows / Linux / MacOS 実行可能ファイルをダウンロードできます。

この実行可能ファイルは移植可能であり、必要なすべてのバイナリとモデルが含まれています。CUDAまたはPyTorch環境は必要ありません。

次のコマンドを実行するだけです(Windowsの例、詳細は各実行可能ファイルのREADME.mdにあります)。

./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n model_name

5つのモデルを提供しています。

  1. realesrgan-x4plus(デフォルト)
  2. realesrnet-x4plus
  3. realesrgan-x4plus-アニメ(アニメ画像用に最適化、モデルサイズが小さい)
  4. realesr-animevideov3(アニメーションビデオ)

-n
たとえば、他のモデルの引数を使用できます。
./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n realesrnet-x4plus

実行可能ファイルの使用

  1. 詳細については、Real-ESRGAN-ncnn-vulkanを参照してください。
  2. outscale
    Pythonスクリプトのようにすべての機能(など)をサポートしているわけではないことに注意してください
    inference_realesrgan.py
Usage: realesrgan-ncnn-vulkan.exe -i infile -o outfile [options]...

  -h                   show this help
  -i input-path        input image path (jpg/png/webp) or directory
  -o output-path       output image path (jpg/png/webp) or directory
  -s scale             upscale ratio (can be 2, 3, 4. default=4)
  -t tile-size         tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
  -m model-path        folder path to the pre-trained models. default=models
  -n model-name        model name (default=realesr-animevideov3, can be realesr-animevideov3 | realesrgan-x4plus | realesrgan-x4plus-anime | realesrnet-x4plus)
  -g gpu-id            gpu device to use (default=auto) can be 0,1,2 for multi-gpu
  -j load:proc:save    thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
  -x                   enable tta mode"
  -f format            output image format (jpg/png/webp, default=ext/png)
  -v                   verbose output

この実行可能ファイルは最初に入力画像をいくつかのタイルにトリミングし、次にそれらを別々に処理し、最後につなぎ合わせるため、ブロックの不整合が発生する可能性があることに注意してください(また、PyTorch実装とはわずかに異なる結果が生成されます)。


🔧依存関係とインストール

インストール

  1. クローンリポジトリ

    git clone https://github.com/xinntao/Real-ESRGAN.git
    cd Real-ESRGAN
  2. 依存パッケージをインストールする

    # Install basicsr - https://github.com/xinntao/BasicSR
    # We use BasicSR for both training and inference
    pip install basicsr
    # facexlib and gfpgan are for face enhancement
    pip install facexlib
    pip install gfpgan
    pip install -r requirements.txt
    python setup.py develop

クイック推論

推論一般画像

事前トレーニング済みモデルのダウンロード:RealESRGAN_x4plus.pth

wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth -P experiments/pretrained_models

推論!

python inference_realesrgan.py -n RealESRGAN_x4plus -i inputs --face_enhance

結果は

results
フォルダにあります

推論アニメ画像

事前トレーニング済みモデル:RealESRGAN_x4plus_anime_6B waifu2x
との詳細と比較は、anime_model.mdにあります。

# download model
wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.2.4/RealESRGAN_x4plus_anime_6B.pth -P experiments/pretrained_models
# inference
python inference_realesrgan.py -n RealESRGAN_x4plus_anime_6B -i inputs

結果は

results
フォルダにあります

Pythonスクリプトの使用法

  1. 引数を指定すると、任意の出力サイズにX4モデルを使用できます
    outscale
    。プログラムは、Real-ESRGAN出力後にさらに安価なサイズ変更操作を実行します。
Usage: python inference_realesrgan.py -n RealESRGAN_x4plus -i infile -o outfile [options]...

A common command: python inference_realesrgan.py -n RealESRGAN_x4plus -i infile --outscale 3.5 --face_enhance

  -h                   show this help
  -i --input           Input image or folder. Default: inputs
  -o --output          Output folder. Default: results
  -n --model_name      Model name. Default: RealESRGAN_x4plus
  -s, --outscale       The final upsampling scale of the image. Default: 4
  --suffix             Suffix of the restored image. Default: out
  -t, --tile           Tile size, 0 for no tile during testing. Default: 0
  --face_enhance       Whether to use GFPGAN to enhance face. Default: False
  --fp32               Use fp32 precision during inference. Default: fp16 (half precision).
  --ext                Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto

🏰モデル動物園

docs/model_zoo.mdをご覧ください

💻独自のデータセットでのトレーニングと微調整

詳細なガイドはTraining.mdにあります。

BibTeX

@InProceedings{wang2021realesrgan,
    author    = {Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
    title     = {Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
    booktitle = {International Conference on Computer Vision Workshops (ICCVW)},
    date      = {2021}
}

📧コンタクト

ご不明な点がございましたら、メール

[email protected]
またはでお問い合わせください
[email protected]

🤗了承

すべての貢献者に感謝します。