【初心者向け】ComfyUIの画像生成の設定の手順 - 日常の色々な事の続きです。前回はComfyUIを使ってプロンプトやモデル、VAEを変更して望む画像を生成しました。さらに、手や顔の補正を入れてよりきれいな画像を生成しました。
お気に入りのキャラが生成できても、次にやるときや別パターン生成するたびに別のキャラになっちゃって悲しい人向けにIPAdapterとLoraを使ってみようと思います。
今回も使えることをメインにしますので細かい設定や難しい話は無しでいきます。
ComfyUIの起動
前回同様ComfyUIを起動します。
解凍した「ComfyUI_windows_portable」内にある「run_nvidia_gpu.bat」をダブルクリックで実行してください。GPUの無いPCの場合は「run_cpu.bat」をダブルクリックしてください。数秒で起動します。
起動が完了するとブラウザが自動的に開いて下の画面で表示されます。前回と一緒ですね。前回のフローができていない場合は下の画像をダウンロードしてComfyUIにドラック＆ドロップすればコピーできます。
IPAdapterの使用
IPAdapterは1枚の画像から似たような画像を出すためのプロンプトを自動で判断、画像生成時に適用して似たような画像を出す拡張機能になります。
1. Customノードインストール画面の表示
ComfyUI Managerを使って必要な拡張ノードをインストールします。
下画像の赤の「Manager」を押して表示されたダイアログの「Install Custom Nodes」を選択してください。
2. ComfyUI_IPAdapter_plusのインストール
右上の検索欄（赤枠）に「ComfyUI_IPAdapter_plus」を入れて、エンターまたは「Search」を選択してください。
そうすると絞り込まれるので「ComfyUI_IPAdapter_plus」の右にある「Install」（緑枠）を押してください。
下の方にこの文言が出ればOKです。「RESTART」ボタンを押してください。数分待っているとComfyUIが再起動されて新しくブラウザが立ち上がります。
3. 必要なノードの配置
ComfyUIの画面で必要なノードを出していきます。ComfyUIの黒いところにダブルクリックして「IPAdapter Model Loader」「Load CLIP Vision」「Load Image」「IPAdapterAdvance」をそれぞれ入れて出てきたノードを選択してください。
4. ノードの配線
それぞれIPAdapter Advancedに線を引いていきます。
- Load Checkpoint：MODEL -> IPAdapter Advanced：model
- IPAdapter Model Loader：IPADAPTER -> IPAdapter Advanced：ipadapter
- Load Image：IMAGE -> IPAdapter Advanced：image
- Load CLIP Vision：CLIP_VISION -> IPAdapter Advanced：clip_vision
- IPAdapter Advanced：model-> KSampler：model
5. モデルインストール画面の表示
ComfyUI Managerを使って必要なモデルをインストールします。
下画像の赤の「Manager」を押して表示されたダイアログの「Install Custom Nodes」を選択してください。
6. CLIP-ViT-H-14-laion2B-s32B-b79Kモデルのダウンロード
右上の検索欄（赤枠）に「CLIP-ViT-H-14-laion2B-s32B-b79K」を入れて、エンターまたは「Search」を選択してください。
そうすると絞り込まれるので「CLIP-ViT-H-14-laion2B-s32B-b79K」の右にある「Install」（緑枠）を押してください。
下の方にこの文言が出ればOKです。この後のモデルインストール後にリフレッシュします。
7. ip-adapter-plus_sdxl_vit-hモデルのダウンロード
右上の検索欄に「ip-adapter-plus_sdxl_vit-h」を入れて、エンターまたは「Search」を選択してください。
そうすると絞り込まれるので「ip-adapter-plus_sdxl_vit-h」の右にある「Install」を押してください。ちなみに生成モデルの種類によってIPアダプターのモデルも違うので注意してください。前回はSDXLのモデルを使っているのでIPアダプターもSDXLモデルです。
下の方にこの文言が出ればOKです。この後のモデルインストール後にリフレッシュします。
Closeボタンを押してダイアログを消して、下の赤枠の「Refresh」を押してください。
画面に何も出ませんが、リフレッシュされています。
8. 写真の配置
Load Imageの「choose file to upload」を押して、マネしたい写真を選択します。
9. 画像の生成
ここまで来たら後は生成するだけです。「Queue Prompt」を押して生成してください。
薄目で四捨五入すればギリギリわかるかも？レベルの一致です。つまりは失敗です。と言うのも今の設定では是が非でも参考画像に寄せるようなパラメータとなっており、無理をしてこんな画像になってしまっています。次の項目で調整します。
10. 重さの調整
（プログラム的に見て）どれぐらい元画像に寄せるかを設定していきます。IPAdapter Advancedのweight（下の赤枠）を変更して大体0.3～1.3の範囲から適当な値を見つけ出していきます。値を変更したら「Queue Prompt」を押して生成して試してみます。
ざっくりと四捨五入すれば普通にわかるかもレベルまでになりました。もう少しパラメータを凝ればもう少し近づくかもしれませんが、微々たるものだと思うのでいったんここで終わります。後はプロンプトに望む姿を入れて好きに生成してみてください。
ちなみにポジティブプロンプトに「masterpiece, 1girl, cat girl, (japanese dress:1.2), (full body:1.2)」と入れると下のような和服っぽい衣装になります。
Loraの使用
IPAdapterの大体似てる止まりでは物足りないという人はLoraを使用することをおすすめします。こちらは生成した画像に補正をかけてLoraに従った画像に変更されます。
作成は手間なので次回に回して今回は使用だけしていきたいと思います。一旦上で下変更は使わないので追加したノードを削除します。
1. 必要なノードの配置
ComfyUIの画面で必要なノードを出していきます。ComfyUIの黒いところにダブルクリックして「Load Lora」を入れて出てきたノードを選択してください。
2. ノードの配線
それぞれIPAdapter Advancedに線を引いていきます。
- Load Checkpoint：MODEL -> Load LoRA：model
- Load Checkpoint：CLIP -> Load LoRA：clip
- Load LoRA：MODEL -> KSampler：model
- Load LoRA：CLIP -> CLIP Text Encode（Prompt）：clip ポジティブ
- Load LoRA：CLIP -> CLIP Text Encode（Prompt）：clip ネガティブ
- Load LoRA：MODEL -> FaceDetailer：model
- Load LoRA：CLIP -> FaceDetailer：clip
3. LoRAモデルのダウンロード＆配置
Civitai | Share your modelsを使ってLoRAをダウンロードします。版権的にグレーのものもあると思いますが、個人で使う分には問題ないため好きなものをダウンロードしてください。
ダウンロードの方法は前回のモデルのダウンロードと一緒です。
ダウンロードが完了したらComfyUIを解凍したフォルダの中の「ComfyUI/models/loras」にダウンロードしたものを置いて、ComfyUIの「Refresh」を押してください。
4. トリガープロンプトの指定
LoRAのページの右側に詳細があります。そこのTrigger Wordsをポジティブプロンプトに入れてください。
下のGallaryにLoraを使った画像があるのでそちらのページには全てのプロンプトや元モデルが書いてありますので参考になります。
5. LoRAモデルの指定＆画像生成
Load LoRAにダウンロードしたLoRAモデルを指定して、Queue Promptを押すと似たような画像が生成されます。
LoRAをダウンロードしたサンプルと生成した画像を見比べると、かなり似ている画像が生成されました。後はシッポや手の色など細かいところはプロンプトで調整する感じです。
サンプルに似せるためにメイド服にしましたが、プロンプトを変えると下みたいな別衣装への着せ替えもできます。それがアニメのキャラとかで出来るんですからビックリです。
