ComfyUI IPAdapter実践:参照画像のスタイル・構図制御とモデル対応

"cubiqのComfyUI_IPAdapter_plus READMEには、IPAdapterとCLIP Visionの対応、Unified Loaderの命名、FaceIDの依存関係、weightの開始値が記載されています。"
手元にゴッホの「星月夜」の画像があり、同じ画風の風景を生成したいのに、テキストPromptを何度書き直しても狙いどおりになりません。ComfyUI IPAdapterへ参照画像を入れ、weightを1.0にすると、今度は顔が判別できないほど崩れ、構図まで引っ張られてしまいます。
IPAdapterで難しいのはインストールそのものではなく、モデルの組み合わせ、値の調整、影響範囲の制御です。ここでは、最も多いエラーを避けるモデルとCLIP Visionの対応表、weight_typeの使い分け、3種類の制御方法の役割、SD1.5・SDXL・FLUXそれぞれの経路を順に整理します。
1. IPAdapterとは:1枚の画像を即席LoRAのように使う
ComfyUIではIPAdapterをimage-to-image conditioningとして扱います。参照画像の視覚特徴をエンコードし、生成処理へ注入する仕組みです。cubiqのリポジトリは、この考え方を「1-image LoRAのようなもの」と表現しています。
学習せずに1枚の画像からすぐ転送できることが、IPAdapterとLoRAの大きな違いです。LoRAでは複数の学習画像を準備し、学習を実行して、数十MBから数百MB程度のモデルファイルを作ります。IPAdapterは生成時に参照画像を直接エンコードするため、新しい学習済みモデルファイルは不要です。
内部の経路も異なります。LoRAはモデルの重み行列を微調整し、生成時のモデルパラメーターへ作用します。IPAdapterは参照画像を条件ベクトルへ変換し、テキストPromptの条件とともにクロスアテンション層へ注入します。方式は違っても、どちらも生成結果を制御できます。
1.1 3つの制御方法の役割
ComfyUIでよく使う3つの制御方法には、それぞれ得意分野があります。
| 制御方法 | 制御するもの | 必要なもの | 強み |
|---|---|---|---|
| IPAdapter | スタイル、参照、被写体の特徴 | 参照画像1枚 | 学習なしですぐ転送できる |
| ControlNet | 構造、姿勢、線画、深度 | OpenPose、Canny、Depthなどの構造画像 | 構図と姿勢を正確に制御できる |
| LoRA | スタイル、キャラクター、画風 | 学習済みモデルファイル | 繰り返し使っても出力が安定しやすい |
用途は次のように分けます。
- IPAdapterが向く場面:画風を素早く試したい、1回だけ参照したい、モデルを学習したくない場合です。「星月夜」1枚から似た画風の風景を作るなら、その画像をそのまま入力できます。
- ControlNetが向く場面:姿勢、構図、輪郭、深度を正確に固定したい場合です。人物を特定の姿勢に保つならOpenPoseの構造画像を使います。
- LoRAが向く場面:同じ画風やキャラクターを何度も再利用したい場合です。キャラクターLoRAを学習すれば、後の生成でも特徴を安定して再現しやすくなります。
3つは併用できます。「星月夜」の画風で指定ポーズの人物を作るなら、IPAdapterで画風を移し、ControlNet OpenPoseで姿勢を固定します。接続方法はComfyUI ControlNet実践ガイドを参照してください。
2. 最も多いエラー:モデルとCLIP Visionの対応表
IPAdapterノードを入れたのにエラーになる、または結果がまったく変わらない場合、CLIP Visionモデルがない、配置先が違う、IPAdapterモデルとの組み合わせが違う可能性が高いです。
2.1 CLIP Visionモデル一覧
IPAdapterには2つのモデルが必要です。1つはIPAdapter本体、もう1つは参照画像をエンコードするCLIP Visionです。正しく対応していないと、エラーや不正な結果につながります。
| CLIP Visionモデル | ファイル名 | 対応するIPAdapterモデル |
|---|---|---|
| vit-h | CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors | 多くのSD1.5モデルと*_vit-h接尾辞のあるSDXLモデル |
| bigG | CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors | ip-adapter_sd15_vit-G、ip-adapter_sdxlなどvit-G系モデル |
vit-hは約1.7GB、bigGは約3.5GBです。似た名前の別CLIPモデルではなく、正しいHugging Faceリポジトリから対象ファイルを取得してください。
2.2 フォルダーと命名の要件
- CLIP Visionフォルダー:
ComfyUI/models/clip_vision/ - IPAdapterフォルダー:
ComfyUI/models/ipadapter/(手動で作成) - 命名ルール:Unified Loaderは正式なファイル名を要求します。Legacy Loaderは任意の名前を使えますが、モデルを手動で選びます
フォルダーがなければ、ノードはモデルを見つけられないと表示します。models/ipadapter/は初期状態で存在しないことがあるため、作成します。
mkdir -p ComfyUI/models/ipadapter
2.3 よくある組み合わせの間違い
ip-adapter_sdxlへvit-hを組み合わせる:vit-h接尾辞のないip-adapter_sdxlはbigGを使います。間違えるとエラーになるか、結果が大きく崩れます。ip-adapter-plus_sd15だけ入れてCLIP Visionを忘れる:IPAdapterモデルだけを置いても、参照画像をエンコードするモデルがありません。ノードが読み込めても、生成時に参照の特徴が現れないことがあります。- ファイル名を変更してUnified Loaderが認識できない:
ip-adapter-plus_sd15.safetensorsをmy_ipadapter.safetensorsへ変えると、自動判定できません。正式名へ戻すか、Legacy Loaderで手動選択します。
2.4 確認リスト
エラーが出たら、次の順で確認します。
ComfyUI/models/clip_vision/を開き、必要なCLIP Visionが正しい名前で置かれているか確認するComfyUI/models/ipadapter/があり、IPAdapterモデルが入っているか確認する- 対応表でIPAdapterとCLIP Visionの組み合わせを確認する
- Unified Loaderを使う場合は正式なファイル名か確認する
初回の問題はモデルの組み合わせに起因することが多いため、ダウンロード前に対応表を確認しておくと大半を避けられます。
3. IPAdapterモデルの種類:選択早見表
用途によって選ぶモデルが異なります。基本モデルは中程度、plusは強め、plus-faceとfull-faceは顔の参照に特化しています。
3.1 SD1.5モデルの種類
| モデル | 強さ | 向いている場面 |
|---|---|---|
ip-adapter_sd15 | 中程度 | 画風を強くしすぎず、軽く参照したい場合 |
ip-adapter-plus_sd15 | 強い | 画風をはっきり出したい一般的な用途 |
ip-adapter-plus-face_sd15 | 顔向け | ポートレートで顔の特徴を保ちたい場合 |
ip-adapter-full-face_sd15 | さらに強いが、常に良いとは限らない | plus-faceでは足りない強い顔制御を試す場合 |
plusは基本モデルより参照の影響が強く、画風を明確に出せます。一方で、構図まで引っ張りやすくなります。弱い画風転送なら基本モデルが扱いやすいです。
plus-faceとfull-faceは顔の参照用です。まずplus-faceを試し、それで足りない場合にfull-faceへ進みます。full-faceは強いぶん、顔を改善するのではなく過度に崩すこともあります。
3.2 SDXLモデルの種類
次のSDXLモデルはいずれもvit-hのCLIP Visionを使います。bigGを使うip-adapter_sdxlとは区別してください。
| モデル | CLIP Visionの組み合わせ |
|---|---|
ip-adapter_sdxl_vit-h | vit-h |
ip-adapter-plus_sdxl_vit-h | vit-h |
ip-adapter-plus-face_sdxl_vit-h | vit-h |
これらはファイル名にvit-hがあり、vit-hと対応します。接尾辞のないip-adapter_sdxlは別モデルで、bigGを使います。
3.3 コミュニティ拡張モデル
ip_plus_composition_sd15/sdxlは、スタイルや内容を無視して構図を転送するコミュニティモデルです。参照画像の配置だけを残し、画風と被写体を自分で決めたいときはcomposition weight_typeと組み合わせます。
3.4 モデル選択の目安
- スタイル転送が中心:効果をはっきり出せるplusモデルを使う
- 人物画像:顔の特徴を保つplus-faceを使う
- 弱いスタイル転送:参照が強くなりすぎない基本モデルを使う
- 構図だけ転送:
ip_plus_compositionとcompositionweight_typeを使う - 同じ参照を何度も使う:毎回IPAdapterへ入れるよりLoRA学習を検討する
4. weight_typeの使い分け:スタイル・構図・被写体
初期状態では、IPAdapterがスタイル、構図、被写体の特徴を同時に転送します。そのため、画風だけ欲しいのに構図まで移る、顔を保ちたいのに顔が崩れる、といったことが起きます。weight_typeで影響範囲を絞れます。
4.1 weight_typeの一覧
| weight_type | 効果 | 向いている場面 |
|---|---|---|
| style transfer | 主にスタイルを転送 | 構図は自分で決め、画風だけ借りたい場合 |
| composition | 主に構図を転送 | 配置を保ち、画風と内容を変えたい場合 |
| precise style transfer | スタイルをより分離して転送 | 構図の混入を減らしたい場合。通常はこちらを優先 |
| デフォルト(特別なweight_typeなし) | 全体を転送 | スタイル、構図、被写体の特徴をすべて使う場合 |
weight_typeはIPAdapter Advancedノードで設定します。IPAdapter Unified Loaderだけでは全体転送のままです。範囲を細かく制御するにはAdvancedノード、またはIPAdapter Style & Composition系ノードを追加します。
4.2 weight_typeごとの違い
- style transfer:スタイル中心ですが、構図の特徴が少し混ざることがあります。
- precise style transfer:スタイルをより明確に分離し、不要な構図の影響を抑えます。最初に試す候補です。
- composition:スタイルや内容を無視して配置を借ります。画面内の位置関係を保ちたい場合に使います。
4.3 場面別の設定
- スタイルだけ:
IPAdapter Advancedでprecise style transferまたはstyle transferを選びます。weight 0.7〜0.9から始め、参照が強くなりすぎないようにします。 - 構図だけ:
compositionを選び、可能ならip_plus_composition_sd15/sdxlと組み合わせます。構図制御は顔を崩しにくいため、weight 0.9〜1.0も試せます。 - 顔を保つ:plus-faceを使い、weightを0.8未満にします。weight_typeはデフォルトか
style transferを使い、compositionは避けます。 - 複数の参照画像:使わない経路はweight 0にします。構図用の画像を
composition、画風用をprecise style transferへ分け、それぞれ調整します。
4.4 weight_typeとweightの組み合わせ
| 目的 | weight_type | 開始weight |
|---|---|---|
| スタイルだけ転送し、構図は自分で決める | precise style transfer | 0.7〜0.9 |
| 構図だけ転送し、画風は自分で決める | composition | 0.9〜1.0 |
| スタイルを転送しつつ顔を保つ | デフォルト + plus-faceモデル | 0.6〜0.8 |
| 複数の参照画像を組み合わせる | 経路ごとにweight_typeを設定 | 用途別に調整し、不要な経路は0 |
weight_typeは参照の範囲、weightは強さを決めます。構図が引っ張られるならデフォルトからprecise style transferへ変え、顔が崩れるならweightを下げてplus-faceを使います。
5. weight調整の感覚
weightをいくつにすべきでしょうか。デフォルトの1.0は強すぎることがあり、顔が崩れ、参照画像がPromptを上回り、構図も不安定になります。
5.1 開始値
1.0ではなく、まず0.8から始めます。weight=1.0では参照画像の特徴が過度に強調され、テキストPromptが効きにくくなります。
サンプリングを20 stepsから30 stepsへ増やすと改善する場合もありますが、根本的にはweightを下げるほうが直接的です。stepsを増やすと生成時間も伸びます。
5.2 weightの範囲
| weight | 結果 | よくある問題 |
|---|---|---|
| 1.0 | 最も強い転送 | 顔の崩れ、Promptの抑制、構図の暴走 |
| 0.8〜0.9 | 強い転送 | 多くの用途でバランスがよい |
| 0.5〜0.7 | 中程度の転送 | 画風は弱いが、複数参照と組み合わせやすい |
| 0.3〜0.5 | 弱い転送 | Promptだけの生成に近い微調整 |
weightが低すぎると参照の特徴が見えず、高すぎるとPromptを上回ります。0.8を基準にすると調整しやすくなります。
5.3 stepsとの関係
weightが高い → 顔の崩れが残る場合はstepsを増やす。weightが低い → stepsを減らして時間を節約できる場合があります。
目安:
- weight=1.0 → 30 steps以上、場合によっては40
- weight=0.8〜0.9 → 25〜30 steps
- weight=0.5〜0.7 → 20〜25 steps
- weight=0.3〜0.5 → 約20 steps
stepsは多いほどよいわけではありません。40を超えると改善が小さくなる一方、生成時間は長くなります。stepsを増やし続ける前にweightを調整します。
5.4 他のパラメーターとの組み合わせ
- weight + weight_type:weightは強さ、weight_typeは範囲を制御します。構図へ影響させるかを先に決め、その後で強さを調整します。
- weight + CFG Scale:CFG ScaleはテキストPromptの影響を制御します。weightが高いときはCFG Scaleを7から9へ上げるなどして、Promptの影響を補えます。weightが低いときは7前後で構いません。
- weight + 複数参照:競合を避けるため、各参照のweightを下げます。2枚とも0.8〜1.0にするより、それぞれ0.5〜0.6にします。
5.5 再現しやすい調整手順
最初はweight 0.8、30 stepsで1枚生成します。いきなり1.0を使わず、結果を見て調整します。
手順:
- weight=0.8、steps=30で1枚生成する
- 参照の特徴が弱ければweightを0.9へ上げる
- 参照が強すぎる、または顔が崩れるならweightを0.7へ下げる
- 構図が引っ張られるならweight_typeを
precise style transferへ変える
weightはIPAdapterで最も重要な調整値です。0.8から小刻みに変えます。
6. インストールとノード操作
6.1 インストール手順
-
リポジトリをcloneする:
ComfyUI/custom_nodes/で次を実行します。git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus -
モデルフォルダーを作る:
ComfyUI/models/ipadapter/がなければ手動で作成します。mkdir -p ComfyUI/models/ipadapter -
モデルをダウンロードする:
- CLIP Visionモデルは
ComfyUI/models/clip_vision/へ置く - IPAdapterモデルは
ComfyUI/models/ipadapter/へ置く - ダウンロード前に第2章の対応表を確認する
- CLIP Visionモデルは
-
ComfyUIを再起動する:再起動後、ノード一覧にIPAdapter関連ノードが表示されます
次のノードが追加されます。
IPAdapter Unified LoaderIPAdapter AdvancedIPAdapter EncoderIPAdapter Style & CompositionIPAdapter Precise Style Transfer
6.2 主要ノード
IPAdapter Unified Loaderはモデルを読み込み、正式なファイル名から対応するCLIP Visionを自動判定します。多くのワークフローではここから始めます。
パラメーター:
ipadapter_file:IPAdapterモデルを選ぶ。正式名なら自動判定できるclip_vision:CLIP Visionモデルを選択または自動対応させるlora:対応するFaceIDモデルでは専用LoRAを自動読み込みする
IPAdapter Advancedではweight_type、start_at、end_atを調整できます。参照の影響を細かく制御する中心ノードです。
パラメーター:
weight:参照画像の強さ。0.8から始めるweight_type:style transfer、composition、precise style transferなど、影響の範囲start_at:生成のどの時点から影響させるか。0〜1で指定end_at:生成のどの時点で影響を止めるか。0〜1で指定
start_at=0.2、end_at=0.8なら、IPAdapterはサンプリングの20〜80%だけに作用します。最初と最後の20%には参照画像の条件が入りません。
IPAdapter Encoderは参照画像をIPAdapter用の条件へ変換します。基本的なワークフローで直接調整することは多くありません。
6.3 Legacy LoaderとUnified Loader
- Unified Loader:正式なファイル名が必要で、対応モデルを自動読み込みします。通常はこちらを使います。
- Legacy Loader:任意のファイル名を使えますが、モデルを手動選択します。名前を変えたモデルや特定バージョンのテストに向きます。
可能なら正式名を保ってUnified Loaderを使います。独自名や特定モデルの比較が必要なときだけLegacy Loaderへ切り替えます。
6.4 基本ワークフローの構築
基本的なIPAdapterワークフローは次のノード接続です。
Load Checkpoint → IPAdapter Unified Loader → IPAdapter Advanced → KSampler → VAE Decode → Save Image
↑
Load Image(参照画像)
手順:
- Load Checkpointでベースモデルを読み込む
- IPAdapter Unified LoaderでIPAdapterモデルを読み込む
- Load Imageで参照画像を読み込む
- IPAdapter Advancedで参照条件を適用する
- KSamplerでサンプリングする
- VAE Decodeで画像へデコードする
- Save Imageで保存する
不足ノードの導入とワークフロー復元はComfyUIワークフロー再利用ガイドを参照してください。
7. FLUX IPAdapter分岐:実験的な方式
FLUXのIPAdapterはSDと異なるノードを使い、cubiqのノードパックでは読み込めません。代表的な実装は2つあり、どちらもbetaとして扱う必要があります。
7.1 XLabs-AI方式
- ノード:
Flux Load IPAdapterとApply Flux IPAdapter - フォルダー:
models/ipadapter/ではなくComfyUI/models/xlabs/ipadapters/ - 状態:beta。よい結果を得るまで複数回生成し、ip strengthを調整する場合がある
- ライセンス:重みはFLUX.1 [dev]の非商用ライセンスに従うため、商用利用は別途確認が必要
XLabs-AIはFLUX IPAdapterの主要な実装の1つです。
- XLabsノードパックを
custom_nodes/へcloneする - FLUX IPAdapterモデルを
models/xlabs/ipadapters/へ置く - SDではなくFLUXのベースモデルを読み込む
Flux Load IPAdapterとApply Flux IPAdapterを使う
パラメーター:
ip_strength:SD側のweightに相当します。1.0ではなく0.8〜0.9から始めます。- 複数の出力を試しながら値を調整します。
7.2 Shakker-Labs方式
- ノード:
Apply IPAdapter Flux Model - パラメーター:weight、start_percent、end_percent
- フォルダー:
ComfyUI/custom_nodes/comfyui-ipadapter-flux/へcloneする
Shakker-Labsは別のFLUX専用ノードパックです。
git clone https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Fluxでcloneする- FLUX IPAdapterモデルを読み込む
Apply IPAdapter Flux Modelで適用する
パラメーター:
weight:参照強度。0.8〜0.9から始めるstart_percent:IPAdapterが作用し始める位置end_percent:IPAdapterが作用を終える位置
7.3 FLUXとSDのノードの違い
| 比較項目 | SD(cubiq) | FLUX(XLabs / Shakker) |
|---|---|---|
| ノードパック | ComfyUI_IPAdapter_plus | XLabsまたはShakker-Labsのノード |
| モデルフォルダー | models/ipadapter/ | models/xlabs/ipadapters/ |
| 成熟度 | 安定して広く使われている実装 | beta、実験的 |
| ライセンス | ノードコードはオープンソース | FLUX.1 [dev]の非商用モデル重み |
7.4 FLUX IPAdapterの使い方
FLUX IPAdapterのエコシステムは比較的新しく、結果も安定しないことがあります。次の順で試します。
- より一般的なXLabs方式から始める
- ip_strengthまたはweightを1.0ではなく0.8〜0.9にする
- 複数回生成してパラメーターを調整する
- 商用利用前にFLUX.1 [dev]の非商用制限を確認する
FLUXとSDではノードパック、モデルフォルダー、パラメーターの意味が異なります。cubiqのSD用ノードへFLUX IPAdapterモデルを入れても、エラーになるか効果が出ません。
8. FaceIDの概要:顔参照の選択肢
FaceIDは顔の参照に特化したIPAdapterの分岐です。insightfaceが必要で、多くのFaceIDモデルはmodels/loras/に対応するLoRAも必要です。命名規則を保てばUnified Loaderが専用LoRAを自動読み込みします。
FaceID、InstantID、ReActorの詳しい比較は顔の一貫性を扱う別ガイドの範囲です。ここでは、FaceIDに追加依存とモデル専用LoRAがあることを押さえておけば十分です。
9. IPAdapter・ControlNet・LoRAの役割と併用
3つは異なる要素を制御し、併用できます。重ねるときは各weightを下げ、特徴の競合を避けます。
9.1 3つの制御方法の比較
| 制御方法 | 制御するもの | 必要なもの | 強み |
|---|---|---|---|
| IPAdapter | スタイル、参照、被写体の特徴 | 参照画像1枚 | 学習なしですぐ転送できる |
| ControlNet | 構造、姿勢、線画、深度 | OpenPose、Canny、Depthなどの構造画像 | 構図と姿勢を正確に制御できる |
| LoRA | スタイル、キャラクター、画風 | 学習済みモデルファイル | 繰り返し使っても出力が安定しやすい |
3つは置き換えではなく補完関係です。IPAdapterは画風の試行、ControlNetは構造の固定、LoRAは画風やキャラクターの反復利用に向きます。
9.2 併用例
例1:参照スタイル + 姿勢制御
目的:「星月夜」の画風で指定ポーズの人物を生成する
- IPAdapter:weight=0.7〜0.8、weight_type=
precise style transferで画風を転送 - ControlNet OpenPose:weight=0.8〜1.0で姿勢を制御
- テキストPrompt:人物の特徴と背景の詳細を指定
設定の目安:
- 画風が姿勢制御を上回らないよう、IPAdapterは0.7〜0.8にする
- 姿勢制御は画風と競合しにくいため、ControlNetは0.8〜1.0を維持する
- テキストPromptが弱ければCFG Scaleを8〜9へ上げる
例2:参照スタイル + 学習済みキャラクター
目的:特定キャラクターを指定の画風で生成する
- IPAdapter:weight=0.6〜0.7、weight_type=
precise style transferで画風を転送 - LoRA:キャラクターモデルをweight=0.7〜0.8で適用
- テキストPrompt:場面と動作を指定
設定の目安:
- IPAdapterは0.6〜0.7、LoRAは0.7〜0.8にし、両方を最大にしない
- キャラクターの特徴が弱ければLoRAのweightを上げる
- 画風が弱ければIPAdapterのweightを上げる
例3:複数参照 + ControlNet
目的:スタイルA、構図B、姿勢Cを組み合わせる
- IPAdapterの1系統目:weight=0.5〜0.6、weight_type=
precise style transferでスタイルAを転送 - IPAdapterの2系統目:weight=0.6〜0.7、weight_type=
compositionで構図Bを転送 - ControlNet OpenPose:weight=0.8〜1.0で姿勢Cを制御
設定の目安:
- 参照画像が複数あるときは、それぞれのweightを下げる
- 使わない参照系統はweight 0にする
- 姿勢、構図、スタイルの順で優先して調整する
9.3 複数制御を重ねるときの注意
複数の制御を有効にするときは、次を確認します。
- 各weightを下げる:強い制御が複数ある場合、IPAdapterを0.8〜1.0ではなく0.5〜0.7にします。
- 優先順位で調整する:通常はControlNetの姿勢、IPAdapterの構図、IPAdapterのスタイルの順です。
- 同じ特徴を二重に制御しない:IPAdapterとLoRAの両方で画風を強く制御すると競合します。
- 必要ならPromptの影響を戻す:条件を重ねてテキストPromptが弱くなったら、CFG Scaleを8〜9へ上げます。
ComfyUI ControlNet実践ガイドとComfyUI LoRA実践ガイドも参照してください。最適なweightはモデルと参照画像ごとに試す必要があります。
10. トラブルシューティング
10.1 よくある問題と解決策
| 問題 | 原因 | 解決策 |
|---|---|---|
| ノードは入っているがエラーになる、または結果が変わらない | CLIP Visionがない、配置先が違う、組み合わせが違う | clip_vision/を確認し、対応表と照合する |
| 対応エラーが出る | IPAdapterとCLIP Visionが一致していない | 正しいCLIP Visionをダウンロードする |
| weight=1.0で顔が崩れる | weightが高すぎる | 0.8〜0.9へ下げ、約30 stepsを試す |
| 構図が引っ張られる | デフォルトのweight_typeが全体を転送する | Advancedノードでprecise style transferを選ぶ |
| FLUX IPAdapterが動かない | FLUXはSDと別ノードを使う | cubiqではなくXLabsまたはShakker-Labsのノードを使う |
| Unified Loaderがファイルを認識しない | ファイル名が規則どおりでない | 正式名へ戻すか、Legacy Loaderで手動選択する |
| 参照の特徴が弱い | weightが低すぎる | 0.8〜0.9へ上げるか、plusモデルへ変える |
| 参照の特徴が強すぎる | weightが高すぎる | 0.5〜0.7へ下げる |
| 複数参照が競合する | 各weightが高すぎる | 各系統を0.5〜0.6へ下げ、不要な系統は0にする |
10.2 詳しいトラブルシューティング
参照画像が複雑すぎる
問題:1枚の画像に強い画風、構図、被写体が含まれ、転送時に条件が競合します。
解決:
- 参照を分ける。1枚は
precise style transferで画風、もう1枚はcompositionで構図を担当させる - 各weightを0.5〜0.6へ下げる
- 不要な系統はweight 0にする
IPAdapterと複数LoRAが競合する
問題:IPAdapterとLoRAを重ねると、スタイルやキャラクターの特徴が不安定になります。
解決:
- IPAdapterを0.5〜0.7、LoRAを0.5〜0.7にする
- IPAdapterとLoRAで同じ特徴を制御しない
- LoRAのキャラクター、IPAdapterのスタイルの順で調整する
FLUXの結果が安定しない
問題:FLUX IPAdapterの結果が変わりやすく、ときどき効果が出ません。
解決:
- 複数回生成し、ip strengthまたはweightを調整する
- まずXLabs方式を試す
- モデルが
models/xlabs/ipadapters/にあるか確認する
IPAdapterモデルとベースモデルが合わない
問題:SD1.5用IPAdapterモデルをSDXLのベースモデルへ適用しています。
解決:
- SD1.5用IPAdapterはSD1.5、SDXL用IPAdapterはSDXLへ組み合わせる
- Stable Diffusionモデル選択ガイドを確認する
ノードのバージョンが違う
問題:ノードパックのバージョンによって、ノード名やパラメーター名が少し異なります。
解決:
- Unified Loader + IPAdapter Advancedを基本経路にする
- インストール済みノードパックのバージョンを確認し、必要なら更新する
- 名前が異なる場合は、使用中のバージョンのドキュメントに従う
10.3 確認する順番
問題があれば次の順で確認します。
- フォルダーを確認する:CLIP VisionとIPAdapterモデルが正しい場所にあるか確認する
- 対応表を確認する:2つのモデルが合っているか確認する
- ファイル名を確認する:Unified Loader用の正式名へ戻す
- weightを下げる:1.0ではなく0.8から始める
- weight_typeを変える:構図が引っ張られるなら
precise style transferを使う - stepsを増やす:強い参照で顔が崩れる場合は約30 stepsを試す
初回の問題の多くはモデルの組み合わせと高すぎるweightです。フォルダー、CLIP Visionとの対応、開始値0.8の3点を先に確認します。
まとめ
IPAdapterは1枚の参照画像を条件として使い、LoRAを学習せずにスタイル、構図、被写体の特徴を転送します。設定で最も重要なのはCLIP Visionとの組み合わせです。調整では、高すぎるweightが顔を崩し、デフォルトのweight_typeが構図まで引っ張る点に注意します。
開始手順は次のとおりです。
- 対応表で正しいCLIP Visionを選ぶ
- weightを1.0ではなく0.8から始める
- スタイルだけなら
precise style transferを選ぶ - ControlNetと組み合わせるときは各weightを下げる
次はFaceID、InstantID、ReActorによる顔の一貫性を試すか、繰り返し利用するためのLoRAを学習できます。基礎から確認する場合はComfyUI入門ガイドへ進んでください。
ComfyUI IPAdapterの基本ワークフローを組んで調整する
最初にモデルの対応とフォルダーを確認し、参照強度0.8から一度に1つのパラメーターだけを変更します。
- 1
ステップ 1: ノードパックをインストールする
cubiq/ComfyUI_IPAdapter_plusをComfyUI/custom_nodesへcloneするか、ComfyUI Managerからインストールし、ComfyUIを再起動します。 - 2
ステップ 2: モデル用フォルダーを準備する
ComfyUI/models/clip_visionがあることを確認し、ComfyUI/models/ipadapterを作成します。2種類のモデルを同じフォルダーへ入れないでください。 - 3
ステップ 3: モデルの対応を確認する
IPAdapterのファイル名からvit-hとbigGのどちらが必要かを判断し、ベースモデルがSD1.5、SDXL、FLUXのどれかも確認します。 - 4
ステップ 4: 基本ノードを接続する
Load Checkpoint、IPAdapter Unified Loader、IPAdapter Advanced、KSampler、VAE Decode、Save Imageの順に接続し、Load Imageを参照画像入力へつなぎます。 - 5
ステップ 5: 安全な値から始める
weight 0.8、約30 stepsで基準画像を生成します。スタイルだけならprecise style transfer、配置だけならcompositionを選びます。 - 6
ステップ 6: 変数を1つずつ変更する
weight、weight_type、start_at、end_atを個別に調整します。複数の参照画像やControlNetを組み合わせるときは、条件の競合を避けるため各weightを下げます。
FAQ
IPAdapterとControlNetは何が違いますか?
ip-adapter_sdxlにはどのCLIP Visionが必要ですか?
IPAdapterのweightはいくつが適切ですか?
参照画像の構図を移さず、スタイルだけを転送するには?
FLUXでもIPAdapterを使えますか?
Unified LoaderがIPAdapterモデルを見つけないときは?
12分で読めます · 公開日: 2026年8月21日 · 更新日: 2026年8月21日
ComfyUI と Stable Diffusion シリーズ: 入門、workflow、モデル選び、prompt
検索からこのページに来た場合は、前後の記事もあわせて読むと同じテーマの理解がかなり早く深まります。



コメント
GitHubアカウントでログインしてコメントできます