lama-cleaner - SOTA AIモデルを搭載した画像インペインティングツール。写真から不要なオブジェクト、欠陥、人を削除するか、写真上のものを消去して置き換えます(安定した拡散によって駆動されます)。

(Image inpainting tool powered by SOTA AI Model. Remove any unwanted object, defect, people from your pictures or erase and replace(powered by stable diffusion) any thing on your pictures.)

Created at: 2021-11-15 22:16:40
Language: Python
License: Apache-2.0

ラマクリーナー

SOTA AIモデルを搭載した無料のオープンソースのインペインティングツール。

合計ダウンロード バージョン コラボで開く パイソンバージョン バージョン

https://user-images.githubusercontent.com/3998421/196976498-ba1ad3ab-fa18-4c55-965f-5c6683141375.mp4

顔立ち

  • 完全に無料でオープンソース
  • 完全に自己ホスト型
  • cv2を搭載した古典的な画像インペインティングアルゴリズム
  • 複数の SOTA AI モデル
    1. ラマ
    2. ティッカー
    3. ニキビ
    4. マット
    5. ティッカー
    6. SD1.5
  • CPU と GPU をサポート
  • さまざまなインペインティング戦略
  • デスクトップアプリとして実行する

使い

1.画像上の不要なものを削除します
使い 以前は
不要なものを削除する unwant_object2 unwant_object2
不要な人を削除する unwant_person unwant_person
テキストを削除 テキスト テキスト
透かしを削除 透かし watermark_clean
2.古い写真を修正します
使い 以前は
古い写真を修正する 古い写真 oldphoto_clean
3.画像上の何かを置き換えます
使い 以前は
テキスト駆動型インペインティング 犬 プロンプト:ベンチに座っているキツネ
キツネ

クイックスタート

ラマクリーナーを使用する最も簡単な方法は、以下を使用してインストールすることです。

pip

pip install lama-cleaner

# Models will be downloaded at first time used
lama-cleaner --model=lama --device=cpu --port=8080
# Lama Cleaner is now running at http://localhost:8080

安定拡散モデルの場合、アクセスする条件に同意する必要があります。 ここからアクセストークンを取得しますハギングフェイスアクセストークン

ドッカーを使用したい場合は、ドッカーをチェックアウトできます

ドッカーまたはピップとは何かわからない場合は、ワンクリックインストーラーを確認してください

使用可能なコマンドライン引数:

名前 形容 デフォルト
--モデル ラマ/LDM/ジッツ/マット/FCF/SD1.5インペイントモデルの詳細を見る ラマ
--hf_access_token 安定した拡散モデルをダウンロードするには、ハギングフェイスアクセストークンが必要です
--sd-run-local モデルがダウンロードされたら、この引数を渡して削除できます
--hf_access_token
--sd-disable-nsfw 安定拡散NSFWチェッカーを無効にします。
--sd-cpu-textencoder 常に安定した拡散テキストエンコーダモデルをCPU上で実行します。
--デバイス クーダまたは CPU クーダ
--港 バックエンドフラスコWebサーバーのポート 8080
--GUI ラマクリーナーをデスクトップアプリケーションとして起動する
--gui_size アプリケーションのウィンドウサイズを設定する 1200 900
--インプット デフォルトで読み込む画像へのパス 何一つ
--デバッグ フラスコウェブサーバーのデバッグモードを有効にする

インペインティングモデル

モデル 形容 設定
CV2 👍GPUは不要で、単純な背景の場合、結果はAIモデルよりも優れている可能性があります。
ラマ 👍高解像度(~2k)でうまく一般化
ティッカー 👍より良く、より詳細な結果を得る
👍ことが可能 調整
😐することで時間と品質のバランスが取れる GANモデル
😐より遅い より多くのGPUメモリが必要
steps
Steps
:大きなステップでより良い結果を得ることができます
が、ddimまたはplmsの方が時間がかかります。一般に、plmsはより少ない手順でより良い結果を得ることができます
Sampler
ニキビ 👍以前の方法
😐と比較してより良い全体的な構造 ワイヤーフレームモジュールはCPUで非常に遅い
Wireframe
: エッジとラインの検出を有効にする
マット 藤堂
ティッカー 👍より良い構造とテクスチャ生成
😐固定サイズ(512x512)入力のみをサポート
SD1.5 👍SOTA テキストから画像への拡散モデル
モデル比較の詳細を見る

ラマ対LDM

元画像 ラマ ティッカー
写真-1583445095369-9C651E7E5D34 写真-1583445095369-9c651e7e5d34_cleanup_lama 写真-1583445095369-9c651e7e5d34_cleanup_ldm

ラマ対ジッツ

元画像 ニキビ ラマ
zits_original zits_compare_zits zits_compare_lama

画像はZITS紙からのものです。ZITSの利点を示す良い例が見つからなかったので、良い例があれば教えてください。私のコードに問題がある可能性もありますが、見つけたら私にも知らせてください!

ラマ対FCF

元画像 ラマ ティッカー
テクスチャー texture_lama texture_fcf

インペインティング戦略

ラマクリーナーは、画像に対してインペイントモデルを実行する3つの方法を提供し、設定ダイアログで変更できます。

戦略 形容 ヴラム 速度
翻訳元 元の画像の解像度を使用する 高い
リサイズ インペイントする前に、画像のサイズを小さいサイズに変更します。マスクの外側の領域は品質を損なうことはありません。 ミディアム
実り 元の画像からマスキング領域を切り抜いてインペイントを行います 低い

モデルの手動ダウンロード

ラマクリーナーの起動時にモデルを自動的にダウンロードする際に問題が発生した場合は、 手動でダウンロードできます。デフォルトでは、ラマクリーナーは以下からモデルをロードします。 設定できます 他のフォルダに そこにモデルを配置します。

TORCH_HOME=~/.cache/torch/hub/checkpoints/
TORCH_HOME

発達

フロントエンドを変更して自分で再コンパイルする予定がある場合にのみ必要です。

フロントエンド

フロントエンドコードはcleanup.picturesから変更され、あなたは彼らの経験することができます ここで素晴らしいオンラインサービス。

  • 依存関係をインストールします。
    cd lama_cleaner/app/ && yarn
  • 開発サーバーを起動します。
    yarn start
  • 建てる:
    yarn build

港湾労働者

ビルド前のドッカーイメージを使用して、ラマクリーナーを実行できます。モデルは、初回使用時にキャッシュディレクトリにダウンロードされます。 既存のキャッシュディレクトリをマウントしてコンテナを起動できます。 そのため、コンテナーを起動するたびにモデルをダウンロードする必要はありません。

異なるモデルのキャッシュディレクトリは、次のように対応しています。

  • Lama/ldm/Zits/mat/FCF: /root/.cache/torch
  • SD1.5: /root/.cache/huggingface

Docker (cpu) を実行する

docker run -p 8080:8080 \
-v /path/to/torch_cache:/root/.cache/torch \
-v /path/to/huggingface_cache:/root/.cache/huggingface \
--rm cwq1913/lama-cleaner:cpu-0.24.4 \
lama-cleaner --device=cpu --port=8080 --host=0.0.0.0

Docker (GPU) を実行する

  • CUDA11.6
  • パイトーチ1.12.1
  • 最小NVIDIAドライバ 510.39.01+
docker run --gpus all -p 8080:8080 \
-v /path/to/torch_cache:/root/.cache/torch \
-v /path/to/huggingface_cache:/root/.cache/huggingface \
--rm cwq1913/lama-cleaner:gpu-0.24.4 \
lama-cleaner --device=cuda --port=8080 --host=0.0.0.0

次に、http://localhost:8080 を開きます

ドッカーイメージをビルドする

CPU のみ

docker build -f --build-arg version=0.x.0 ./docker/CPUDockerfile -t lamacleaner .

GPU & CPU

docker build -f --build-arg version=0.x.0 ./docker/GPUDockerfile -t lamacleaner .