Cambia tema

ComfyUI IPAdapter: immagini di riferimento, stile, composizione e modelli

Easton editorial illustration: one dominant three-stage IPAdapter pipeline: reference image card, CLIP Vision encoder chip, generated output canvas

"Il README di cubiq/ComfyUI_IPAdapter_plus documenta gli abbinamenti tra IPAdapter e CLIP Vision, i nomi per Unified Loader, le dipendenze FaceID e il weight iniziale consigliato."

Hai un’immagine della Notte stellata di Van Gogh e vuoi generare un paesaggio nello stesso stile, ma nessuna revisione del Prompt testuale produce il risultato giusto. Passi a ComfyUI IPAdapter, carichi il riferimento, imposti weight a 1,0 e ottieni un volto irriconoscibile, mentre anche la composizione sfugge al controllo.

La parte difficile di IPAdapter non è l’installazione, ma abbinare i modelli corretti, regolare i parametri e limitare il tipo di influenza. Le sezioni seguenti includono la tabella modello–CLIP Vision che evita l’errore più comune, indicazioni pratiche per weight_type, la divisione dei compiti fra tre metodi di controllo e percorsi distinti per SD1.5, SDXL e FLUX.

1. Che cos’è IPAdapter: un’immagine come LoRA istantaneo

ComfyUI tratta IPAdapter come image-to-image conditioning. Il sistema codifica le caratteristiche visive del riferimento e le inserisce nella generazione. Il repository di cubiq riassume il concetto paragonandolo a un LoRA basato su una sola immagine.

Il trasferimento immediato da un’unica immagine, senza addestramento, è la differenza principale rispetto a LoRA. Un LoRA richiede più immagini, una fase di training e un file modello che in genere pesa da decine a centinaia di megabyte. IPAdapter usa direttamente il riferimento, lo codifica durante la generazione e non richiede un nuovo modello addestrato.

Anche il meccanismo interno cambia. LoRA modifica matrici di pesi e interviene sui parametri del modello durante la generazione. IPAdapter trasforma il riferimento in vettori di condizionamento e li inserisce nei livelli di cross-attention insieme al Prompt testuale. I percorsi sono diversi, anche se entrambi controllano il risultato.

1.1 Come si dividono il lavoro i tre metodi

I tre metodi di controllo più comuni in ComfyUI hanno ruoli diversi:

MetodoChe cosa controllaChe cosa richiedeVantaggio
IPAdapterStile/riferimento/caratteristiche del soggettoUn’immagine di riferimentoTrasferimento immediato senza training
ControlNetStruttura/posa/linee/profonditàMappa strutturale (OpenPose/Canny/Depth)Controllo preciso di composizione e posa
LoRAStile/personaggio/esteticaFile modello addestratoRiuso frequente e risultati stabili

Ogni metodo è adatto a situazioni diverse:

  • IPAdapter è adatto a: provare rapidamente uno stile, usare un singolo riferimento o evitare l’addestramento. Per ottenere un paesaggio nello stile della Notte stellata basta caricare l’immagine.
  • ControlNet è adatto a: controllare con precisione posa, composizione o bordi. Per mantenere una posa specifica si usa una mappa OpenPose.
  • LoRA è adatto a: riutilizzare più volte lo stesso stile o personaggio. Un LoRA addestrato su un personaggio permette di riprodurlo in modo più stabile.

I tre metodi si possono sovrapporre. Per un “ritratto in stile Notte stellata con posa definita”, IPAdapter trasferisce lo stile e ControlNet OpenPose controlla la posa. Per i dettagli consulta la guida a ControlNet in ComfyUI.

2. L’errore più comune: abbinare modello e CLIP Vision

Se i nodi IPAdapter sono installati ma compare un errore o il risultato non cambia, quasi sempre CLIP Vision manca, si trova nella cartella sbagliata oppure non è compatibile con il modello IPAdapter.

2.1 Elenco dei modelli CLIP Vision

IPAdapter richiede due modelli: IPAdapter stesso e un modello CLIP Vision, che codifica il riferimento come condizione. Devono essere abbinati correttamente, altrimenti il workflow non produce effetti o restituisce un errore.

Modello CLIP VisionNome fileModelli IPAdapter compatibili
vit-hCLIP-ViT-H-14-laion2B-s32B-b79K.safetensorsLa maggior parte dei modelli SD1.5 + modelli SDXL con suffisso *_vit-h
bigGCLIP-ViT-bigG-14-laion2B-39B-b160k.safetensorsModelli con vit-G, come ip-adapter_sd15_vit-G e ip-adapter_sdxl

Il modello vit-h pesa circa 1,7 GB, bigG circa 3,5 GB. Durante il download controlla il repository Hugging Face per evitare di scaricare un altro modello CLIP.

2.2 Cartelle e nomi obbligatori

  • Cartella CLIP Vision: ComfyUI/models/clip_vision/
  • Cartella IPAdapter: ComfyUI/models/ipadapter/ (da creare manualmente)
  • Regola sui nomi: Unified Loader richiede i nomi ufficiali; Legacy Loader accetta nomi diversi, ma il modello va selezionato manualmente.

Se la cartella non esiste, il nodo segnala un errore o non trova il modello. models/ipadapter/ non viene creato per impostazione predefinita:

mkdir -p ComfyUI/models/ipadapter

2.3 Errori frequenti di abbinamento

  1. Usare vit-h con ip-adapter_sdxl: il modello SDXL senza suffisso vit-h richiede bigG, non vit-h. Un abbinamento errato causa un errore o un risultato completamente diverso.
  2. Scaricare ip-adapter-plus_sd15 ma non CLIP Vision: il nodo può caricarsi, ma il riferimento non influenza la generazione.
  3. Rinominare il file e perdere il riconoscimento di Unified Loader: se ip-adapter-plus_sd15.safetensors diventa my_ipadapter.safetensors, Unified Loader non lo riconosce. Ripristina il nome ufficiale o selezionalo con Legacy Loader.

2.4 Elenco di controllo

In caso di errore, verifica nell’ordine:

  1. Controlla ComfyUI/models/clip_vision/ e assicurati che modello e nome file siano corretti.
  2. Controlla che ComfyUI/models/ipadapter/ esista e contenga il modello IPAdapter.
  3. Confronta i due modelli con la tabella di abbinamento.
  4. Verifica che il file conservi il nome ufficiale richiesto da Unified Loader.

L’abbinamento è la causa principale degli errori iniziali di IPAdapter. Consultare la tabella prima del download evita la maggior parte dei problemi.

3. Livelli dei modelli IPAdapter: scelta rapida

Ogni scenario richiede un livello diverso. Il modello base ha un’intensità moderata, plus è più forte, mentre plus-face e full-face sono specializzati per i volti.

3.1 Modelli SD1.5

ModelloIntensitàScenario
ip-adapter_sd15MediaTrasferimento di stile di base senza un effetto troppo forte
ip-adapter-plus_sd15ForteConsigliato nella maggior parte dei casi, con stile evidente
ip-adapter-plus-face_sd15Specifico per ritrattiConservare i tratti del volto
ip-adapter-full-face_sd15Più forte, ma non sempre miglioreControllo estremo del volto da provare con cautela

Il modello plus è più forte di quello base e rende il trasferimento più evidente, ma può anche trascinare la composizione. Per un effetto leggero è preferibile il modello base.

plus-face e full-face sono pensati per i volti. full-face è più intenso ma non necessariamente migliore e a volte deforma eccessivamente i lineamenti. Prova prima plus-face, poi full-face se il risultato non basta.

3.2 Modelli SDXL

I modelli SDXL della tabella usano tutti CLIP Vision vit-h. Non confonderli con ip-adapter_sdxl senza suffisso, che usa bigG.

ModelloAbbinamento CLIP Vision
ip-adapter_sdxl_vit-hvit-h
ip-adapter-plus_sdxl_vit-hvit-h
ip-adapter-plus-face_sdxl_vit-hvit-h

Questi modelli SDXL includono il suffisso vit-h e richiedono CLIP Vision vit-h. ip-adapter_sdxl senza suffisso è un modello diverso e richiede bigG.

3.3 Modelli estesi della community

ip_plus_composition_sd15/sdxl è un modello esteso della community che trasferisce solo la composizione, ignorando stile e contenuto. È utile per mantenere la disposizione del riferimento ma cambiare soggetto ed estetica. Insieme a composition offre un controllo più preciso.

3.4 Consigli di scelta

  • Trasferimento di stile principale: usa un modello plus per un effetto evidente.
  • Generazione di ritratti: usa plus-face per conservare i tratti.
  • Trasferimento leggero: usa il modello base per evitare un effetto eccessivo.
  • Solo composizione: usa ip_plus_composition + composition.
  • Riuso frequente dello stesso riferimento: valuta di addestrare un LoRA invece di usare ogni volta IPAdapter.

4. weight_type nella pratica: stile, composizione o soggetto

Per impostazione predefinita, IPAdapter trasferisce stile, composizione e caratteristiche del soggetto. Potresti quindi voler trasferire solo lo stile e ritrovarti anche la composizione, oppure conservare un volto che diventa impastato. weight_type limita l’influenza.

4.1 Opzioni di weight_type

weight_typeEffettoScenario
style transferTrasferisce lo stileMantenere una composizione nuova usando l’estetica del riferimento
compositionTrasferisce la composizioneMantenere la disposizione ma cambiare stile e contenuto
precise style transferTrasferimento preciso dello stileRidurre al minimo l’influenza sulla composizione; opzione consigliata
Predefinito (nessun weight_type)Trasferisce tuttoStile + composizione + caratteristiche del soggetto

weight_type si imposta nel nodo IPAdapter Advanced. Con IPAdapter Unified Loader senza regolazioni rimane attivo il trasferimento completo. Per un controllo preciso servono il nodo Advanced o nodi dedicati come IPAdapter Style & Composition.

4.2 Differenze tra le modalità

  • style transfer: trasferisce soprattutto lo stile, ma può portare con sé parte della composizione.
  • precise style transfer: limita maggiormente la composizione e trasferisce lo stile con più precisione. È la prima scelta consigliata.
  • composition: trasferisce solo la composizione, ignorando stile e contenuto. È adatto a mantenere l’impostazione del riferimento.

4.3 Impostazioni per obiettivo

  • Solo stile: usa precise style transfer o style transfer in IPAdapter Advanced, con weight 0,7–0,9.
  • Solo composizione: usa composition, preferibilmente con ip_plus_composition_sd15/sdxl. Un weight di 0,9–1,0 è possibile perché il controllo della composizione in genere non impasta i volti.
  • Conservare il volto: usa plus-face con weight inferiore a 0,8. Mantieni il valore predefinito o style transfer, evitando composition.
  • Più riferimenti: imposta a 0 il weight dei percorsi inutilizzati. Puoi assegnare precise style transfer all’immagine di stile e composition a quella di impaginazione, regolando separatamente i valori.

4.4 Combinare weight_type e weight

Obiettivoweight_typeWeight consigliato
Solo stile, composizione nuovaprecise style transfer0,7–0,9
Solo composizione, stile nuovocomposition0,9–1,0
Stile + conservazione del voltoPredefinito + modello plus-face0,6–0,8
Più riferimentiweight_type distinto per percorsoIn base allo scenario; 0 per i percorsi inutilizzati

weight_type decide che cosa trasferire. Per non copiare la composizione, sostituisci il valore predefinito con precise style transfer. Per conservare un volto, riduci weight e usa plus-face.

5. Sviluppare un criterio pratico per weight

Il valore predefinito 1,0 può essere troppo alto: il volto si impasta o il riferimento copre completamente il Prompt testuale.

5.1 Valore iniziale

Parti almeno da 0,8, non direttamente da 1,0. Con weight=1,0 le caratteristiche del riferimento sono amplificate, il volto può perdere definizione e il testo può contare meno.

Aumentare gli steps da 20 a 30 può attenuare il problema, ma la soluzione principale è ridurre weight. Più steps richiedono più tempo; abbassare weight no.

5.2 Intervalli di weight

weightEffettoProblema
1,0Trasferimento massimoVolto impastato, Prompt coperto, composizione fuori controllo
0,8–0,9Trasferimento fortePunto di equilibrio consigliato
0,5–0,7Trasferimento medioStile più debole, adatto a più riferimenti
0,3–0,5Trasferimento leggeroRitocco minimo, vicino alla generazione da solo Prompt

Con weight troppo basso il riferimento risulta debole o assente. Con un valore troppo alto domina il Prompt. 0,8 è un punto di partenza sicuro.

5.3 Relazione con gli steps

Con weight alto puoi aumentare gli steps per attenuare i volti impastati. Con weight basso puoi ridurli e risparmiare tempo.

Indicazioni pratiche:

  • weight=1,0 → almeno 30 steps, anche 40
  • weight=0,8–0,9 → 25–30 steps
  • weight=0,5–0,7 → 20–25 steps
  • weight=0,3–0,5 → 20 steps

Più steps non significano sempre un risultato migliore. Oltre 40 il miglioramento è ridotto mentre il tempo cresce molto. Regola prima weight.

5.4 Combinazione con altri parametri

  • weight + weight_type: weight controlla l’intensità, weight_type l’ambito. Decidi prima se trasferire la composizione, poi regola la forza.
  • weight + CFG Scale: CFG Scale controlla il peso del Prompt testuale. Con weight alto puoi alzarlo da 7 a 9 per compensare; con weight basso puoi lasciare 7.
  • weight + più riferimenti: abbassa ogni weight per evitare conflitti. Con due immagini usa circa 0,5–0,6 ciascuna, non 0,8–1,0.

5.5 Sequenza di regolazione ripetibile

0,8 è un punto di partenza sicuro. Genera prima un’immagine con 0,8 e 30 steps, poi decidi se aumentare o diminuire. Non iniziare da 1,0.

Procedura:

  1. Genera un’immagine con weight=0,8 e steps=30.
  2. Riferimento poco visibile → aumenta weight a 0,9.
  3. Riferimento troppo forte o volto impastato → riduci weight a 0,7.
  4. Composizione trascinata dal riferimento → passa a precise style transfer.

weight è il parametro più importante di IPAdapter. Parti da 0,8 e correggi in base al risultato.

6. Installazione e configurazione dei nodi

6.1 Procedura di installazione

  1. Clona il repository: esegui in ComfyUI/custom_nodes/:

    git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus
  2. Crea la cartella: crea manualmente ComfyUI/models/ipadapter/, che non esiste in modo predefinito:

    mkdir -p ComfyUI/models/ipadapter
  3. Scarica i modelli:

    • CLIP Vision in ComfyUI/models/clip_vision/
    • IPAdapter in ComfyUI/models/ipadapter/
    • Controlla prima la tabella del capitolo 2.
  4. Riavvia ComfyUI: dopo il riavvio, i nodi IPAdapter appaiono nell’elenco.

I nodi principali aggiunti sono:

  • IPAdapter Unified Loader
  • IPAdapter Advanced
  • IPAdapter Encoder
  • IPAdapter Style & Composition
  • IPAdapter Precise Style Transfer

6.2 Nodi principali

IPAdapter Unified Loader: caricatore unificato che riconosce automaticamente i modelli se mantengono il nome ufficiale. È la scelta consigliata. Carica IPAdapter e CLIP Vision compatibile senza selezione manuale.

Parametri:

  • ipadapter_file: seleziona il modello IPAdapter, riconosciuto automaticamente con il nome ufficiale.
  • clip_vision: seleziona CLIP Vision e lo abbina automaticamente.
  • lora: con FaceID carica in automatico il LoRA associato.

IPAdapter Advanced: consente di regolare weight_type, start_at ed end_at per controllare ambito e intervallo di applicazione.

Parametri:

  • weight: intensità del riferimento; inizia da 0,8.
  • weight_type: ambito del trasferimento (style transfer / composition / precise style transfer).
  • start_at: punto iniziale tra 0 e 1; 0,2 significa dal 20% della generazione.
  • end_at: punto finale tra 0 e 1; 0,8 significa fino all’80%.

Con start_at=0,2 ed end_at=0,8, IPAdapter agisce solo tra il 20% e l’80% della generazione; il riferimento non influenza la parte iniziale e finale.

IPAdapter Encoder: codifica l’immagine di riferimento in vettori di condizionamento. Di solito non richiede regolazioni manuali.

6.3 Legacy Loader e Unified Loader

  • Unified Loader: richiede nomi ufficiali e carica automaticamente i modelli. È adatto alla maggior parte dei workflow.
  • Legacy Loader: accetta nomi personalizzati, ma richiede la selezione manuale. È utile per file rinominati o versioni specifiche.

Conserva i nomi ufficiali e usa Unified Loader per risparmiare tempo. Per modelli rinominati o versioni particolari scegli Legacy Loader.

6.4 Costruire il workflow di base

Un workflow IPAdapter di base collega i nodi in questo modo:

Load Checkpoint → IPAdapter Unified Loader → IPAdapter Advanced → KSampler → VAE Decode → Save Image

                    Load Image (riferimento)

Procedura:

  1. Carica il modello di base (Load Checkpoint).
  2. Carica IPAdapter (IPAdapter Unified Loader).
  3. Carica l’immagine di riferimento (Load Image).
  4. Applica la condizione (IPAdapter Advanced).
  5. Genera (KSampler).
  6. Decodifica (VAE Decode).
  7. Salva (Save Image).

Per installare nodi mancanti consulta la guida al riuso dei workflow ComfyUI.

7. Ramo FLUX IPAdapter: una soluzione sperimentale

I nodi FLUX sono completamente diversi da quelli SD e non usano il pacchetto cubiq. Le due soluzioni più diffuse sono ancora in beta.

7.1 Soluzione XLabs-AI

  • Nodi: Flux Load IPAdapter + Apply Flux IPAdapter
  • Cartella: ComfyUI/models/xlabs/ipadapters/, non models/ipadapter/
  • Stato: beta; un buon risultato al primo tentativo non è garantito e serve regolare ip strength.
  • Licenza: i pesi seguono la licenza non commerciale FLUX.1 [dev].

XLabs-AI è una delle soluzioni principali. Procedura:

  1. Clona il pacchetto XLabs in custom_nodes/.
  2. Scarica il modello FLUX IPAdapter in models/xlabs/ipadapters/.
  3. Carica un modello FLUX, non un modello SD.
  4. Usa Flux Load IPAdapter e Apply Flux IPAdapter.

Parametri:

  • ip_strength: equivalente del weight di SD; parti da 0,8–0,9, non 1,0.
  • Genera più tentativi e regola il valore, senza aspettarti un risultato perfetto al primo colpo.

7.2 Soluzione Shakker-Labs

  • Nodo: Apply IPAdapter Flux Model
  • Parametri: weight / start_percent / end_percent
  • Cartella: clona in ComfyUI/custom_nodes/comfyui-ipadapter-flux/

Shakker-Labs è l’altra soluzione principale. Procedura:

  1. Clona il pacchetto con git clone https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux.
  2. Carica il modello FLUX IPAdapter.
  3. Usa Apply IPAdapter Flux Model.

Parametri:

  • weight: intensità, da 0,8–0,9.
  • start_percent: percentuale iniziale, simile a start_at di SD.
  • end_percent: percentuale finale, simile a end_at di SD.

7.3 Differenze tra i nodi FLUX e SD

ElementoSD (cubiq)FLUX (XLabs/Shakker)
Pacchetto di nodiComfyUI_IPAdapter_plusNodi XLabs o Shakker-Labs
Cartella dei modellimodels/ipadapter/models/xlabs/ipadapters/
StatoStabile, standard di fattoBeta, sperimentale
LicenzaOpen sourceFLUX.1 [dev] non commerciale

7.4 Consigli per FLUX IPAdapter

L’ecosistema FLUX IPAdapter è recente e ancora sperimentale. Richiede più prove e regolazioni, senza garanzia di successo immediato.

  1. Prova prima XLabs, la soluzione più diffusa.
  2. Inizia ip_strength (weight) da 0,8–0,9, non 1,0.
  3. Genera più volte e regola i parametri.
  4. Per uso commerciale verifica i limiti della licenza FLUX.1 [dev].

FLUX e SD differiscono per parametri, nodi e cartelle. Caricare FLUX nel pacchetto cubiq provoca errori o nessun effetto.

8. FaceID in breve: un’opzione per i volti

FaceID è un ramo di IPAdapter dedicato ai volti. Richiede la libreria insightface e, per la maggior parte dei modelli, un LoRA specifico da mettere in models/loras/. Unified Loader carica automaticamente il LoRA associato in base al nome.

Il confronto completo fra FaceID, InstantID e ReActor merita una guida separata sulla coerenza dei volti; qui basta distinguere questa opzione.

9. Dividere e combinare IPAdapter, ControlNet e LoRA

I tre metodi hanno ruoli diversi e possono essere combinati. Quando li sovrapponi, riduci ogni weight per evitare conflitti.

9.1 Confronto tra i tre metodi

MetodoChe cosa controllaChe cosa richiedeVantaggio
IPAdapterStile/riferimento/caratteristiche del soggettoUn’immagine di riferimentoTrasferimento immediato senza training
ControlNetStruttura/posa/linee/profonditàMappa strutturale (OpenPose/Canny/Depth)Controllo preciso di composizione e posa
LoRAStile/personaggio/esteticaFile modello addestratoRiuso frequente e risultati stabili

Non sono alternative equivalenti. IPAdapter prova rapidamente uno stile, ControlNet controlla la struttura e LoRA riutilizza con stabilità uno stile o un personaggio.

9.2 Esempi di combinazione

Esempio 1: stile di riferimento + posa

Scenario: “ritratto in stile Notte stellata con posa definita”

  • IPAdapter: stile, weight=0,7–0,8, weight_type=precise style transfer
  • ControlNet OpenPose: posa, weight=0,8–1,0
  • Prompt testuale: caratteristiche del soggetto e dettagli dello sfondo

Parametri:

  • Riduci IPAdapter a 0,7–0,8 per evitare che lo stile copra la posa.
  • Mantieni ControlNet a 0,8–1,0; il controllo della posa tende a creare meno conflitti.
  • Porta CFG Scale a 8–9 per rafforzare il Prompt.

Esempio 2: stile di riferimento + personaggio appreso

Scenario: “un personaggio specifico in uno stile definito”

  • IPAdapter: stile anime, weight=0,6–0,7, weight_type=precise style transfer
  • LoRA: modello del personaggio, weight=0,7–0,8
  • Prompt testuale: scena e azione

Parametri:

  • Imposta IPAdapter a 0,6–0,7 e LoRA a 0,7–0,8; non alzare troppo entrambi.
  • Se il personaggio è debole, aumenta il weight di LoRA.
  • Se lo stile è debole, aumenta il weight di IPAdapter.

Esempio 3: più riferimenti + ControlNet

Scenario: “stile A + composizione B + posa C”

  • Primo IPAdapter: stile A, weight=0,5–0,6, weight_type=precise style transfer
  • Secondo IPAdapter: composizione B, weight=0,6–0,7, weight_type=composition
  • ControlNet OpenPose: posa C, weight=0,8–1,0

Parametri:

  • Con più riferimenti riduci ogni weight per evitare conflitti.
  • Imposta a 0 il percorso di un riferimento non necessario.
  • Regola per priorità: posa > composizione > stile.

9.3 Precauzioni quando sovrapponi i controlli

Quando combini più metodi:

  1. Riduci ogni weight: porta IPAdapter a 0,5–0,7 invece di 0,8–1,0 per evitare conflitti.
  2. Regola per priorità: in genere posa (ControlNet), poi composizione (IPAdapter composition), infine stile (IPAdapter style transfer).
  3. Evita controlli duplicati: non usare IPAdapter e LoRA per controllare contemporaneamente lo stesso stile.
  4. Aumenta CFG Scale: più controlli riducono il peso del Prompt; 8–9 può compensare.

Consulta la guida a ControlNet e la guida a LoRA. Quando li combini, riduci ogni weight e prova gli intervalli sul tuo modello.

10. Elenco per la risoluzione dei problemi

10.1 Problemi comuni e soluzioni

Errore/fenomenoCausaSoluzione
Nodi installati, ma errore o nessun cambiamentoCLIP Vision assente, nella cartella sbagliata o incompatibileControlla clip_vision/ e la tabella
Errore di abbinamentoIPAdapter e CLIP Vision incompatibiliScarica il CLIP Vision corretto
Volto impastato con weight=1,0Weight troppo altoRiduci a 0,8–0,9 e prova circa 30 steps
Composizione deviataIl weight_type predefinito trasferisce tuttoScegli precise style transfer in Advanced
FLUX IPAdapter non funzionaFLUX usa nodi diversiUsa XLabs o Shakker-Labs, non cubiq
Unified Loader non riconosce il fileNome non conformeRipristina il nome ufficiale o usa Legacy Loader
Caratteristiche del riferimento deboliWeight troppo bassoAumenta a 0,8–0,9 o usa un modello plus
Caratteristiche troppo fortiWeight troppo altoRiduci a 0,5–0,7
Conflitto tra più riferimentiOgni weight è troppo altoRiduci ogni percorso a 0,5–0,6 e metti a 0 quelli inutilizzati

10.2 Risoluzione avanzata

L’immagine di riferimento è troppo complessa

Problema: una sola immagine contiene stile, composizione e soggetto molto marcati e le condizioni si mescolano.

Soluzione:

  1. Separa i riferimenti: uno per lo stile con precise style transfer, uno per la disposizione con composition.
  2. Riduci ogni weight a 0,5–0,6.
  3. Metti a 0 i percorsi indesiderati.

IPAdapter e più LoRA entrano in conflitto

Problema: stile o personaggio diventa instabile quando sovrapponi IPAdapter e LoRA.

Soluzione:

  1. Imposta IPAdapter e LoRA tra 0,5 e 0,7.
  2. Non usare entrambi per la stessa caratteristica.
  3. Regola per priorità: prima il personaggio LoRA, poi lo stile IPAdapter.

FLUX resta irregolare

Problema: i risultati FLUX IPAdapter variano o a volte ignorano il riferimento.

Soluzione:

  1. Genera più campioni e regola ip strength o weight.
  2. Prova prima XLabs.
  3. Verifica che il modello sia in models/xlabs/ipadapters/.

IPAdapter non corrisponde al modello di base

Problema: un IPAdapter SD1.5 viene applicato a un modello base SDXL.

Soluzione:

  1. Abbina IPAdapter SD1.5 a SD1.5 e IPAdapter SDXL a SDXL.
  2. Consulta la guida alla scelta dei modelli Stable Diffusion.

Le versioni dei nodi sono diverse

Problema: nomi e parametri possono cambiare leggermente tra versioni.

Soluzione:

  1. Usa Unified Loader + IPAdapter Advanced come percorso principale.
  2. Controlla la versione installata e aggiornala se necessario.
  3. Segui la documentazione della versione installata se i nomi sono diversi.

10.3 Ordine dei controlli

Segui quest’ordine:

  1. Controlla le cartelle: CLIP Vision e IPAdapter devono trovarsi nei percorsi corretti.
  2. Controlla la tabella: i due modelli devono essere compatibili.
  3. Controlla i nomi: ripristina i nomi ufficiali per Unified Loader.
  4. Riduci weight: parti da 0,8, non da 1,0.
  5. Cambia weight_type: usa precise style transfer se la composizione devia.
  6. Aumenta gli steps: prova circa 30 se un riferimento forte continua a impastare il volto.

La maggior parte dei problemi iniziali deriva da un abbinamento errato o da weight troppo alto. Controlla prima cartelle, encoder e valore 0,8.

Conclusione

IPAdapter usa un’immagine di riferimento come condizione e trasferisce stile, composizione o caratteristiche del soggetto senza addestrare un LoRA. L’abbinamento con CLIP Vision è il punto critico dell’installazione. Nella regolazione, un weight troppo alto impasta i volti e il weight_type predefinito trascina anche la composizione.

Una sequenza affidabile:

  1. Scegli il CLIP Vision corretto con la tabella.
  2. Parti con weight 0,8, non 1,0.
  3. Scegli precise style transfer quando vuoi soltanto lo stile.
  4. Riduci ogni weight quando combini IPAdapter e ControlNet.

In seguito puoi provare FaceID, InstantID o ReActor per la coerenza del volto, oppure addestrare un LoRA per il riuso. Per le basi consulta la guida introduttiva a ComfyUI.

Configurare e regolare un workflow ComfyUI IPAdapter di base

Verifica prima abbinamento dei modelli e cartelle, quindi parti da una forza di 0,8 e modifica una variabile alla volta.

  1. 1

    Step 1: Installare il pacchetto di nodi

    Clona cubiq/ComfyUI_IPAdapter_plus in ComfyUI/custom_nodes oppure installalo da ComfyUI Manager, poi riavvia ComfyUI.
  2. 2

    Step 2: Preparare le cartelle dei modelli

    Verifica che ComfyUI/models/clip_vision esista e crea ComfyUI/models/ipadapter. Non inserire i due tipi di modello nella stessa cartella.
  3. 3

    Step 3: Controllare l’abbinamento

    Usa il nome del file IPAdapter per capire se richiede vit-h o bigG e verifica che il modello di base sia SD1.5, SDXL o FLUX.
  4. 4

    Step 4: Collegare i nodi di base

    Collega nell’ordine Load Checkpoint, IPAdapter Unified Loader, IPAdapter Advanced, KSampler, VAE Decode e Save Image, poi collega Load Image all’ingresso del riferimento.
  5. 5

    Step 5: Partire da valori sicuri

    Genera un’immagine di confronto con weight 0,8 e circa 30 steps. Scegli precise style transfer solo per lo stile o composition solo per la disposizione.
  6. 6

    Step 6: Modificare una variabile alla volta

    Regola separatamente weight, weight_type, start_at o end_at. Riduci ogni weight quando combini più riferimenti o ControlNet per evitare condizioni in conflitto.

FAQ

Qual è la differenza tra IPAdapter e ControlNet?
IPAdapter estrae da un’immagine di riferimento stile, composizione o caratteristiche del soggetto. ControlNet vincola l’immagine con posa, bordi o profondità. Puoi combinarli: IPAdapter gestisce lo stile, ControlNet la posa o la struttura.
Quale CLIP Vision richiede ip-adapter_sdxl?
ip-adapter_sdxl senza suffisso vit-h richiede bigG, cioè CLIP-ViT-bigG-14-laion2B-39B-b160k. I modelli SDXL con suffisso _vit-h usano CLIP-ViT-H-14.
Quale weight conviene usare con IPAdapter?
Nella maggior parte dei workflow parti da 0,8. Sali a 0,9 se il riferimento è debole. Scendi a 0,5–0,7 se il volto si impasta, il riferimento copre il Prompt testuale o la composizione devia; poi regola weight_type.
Come trasferisco lo stile senza copiare la composizione?
Seleziona precise style transfer in IPAdapter Advanced oppure usa il nodo IPAdapter Precise Style Transfer. Parti con weight tra 0,7 e 0,9.
Posso usare IPAdapter con FLUX?
Sì, ma servono nodi dedicati a FLUX, come Flux Load IPAdapter e Apply Flux IPAdapter di XLabs oppure Apply IPAdapter Flux Model di Shakker-Labs. Non caricare FLUX direttamente nei nodi SD di cubiq.
Perché Unified Loader non trova il mio modello IPAdapter?
Controlla che IPAdapter si trovi in ComfyUI/models/ipadapter, CLIP Vision in ComfyUI/models/clip_vision e che entrambi conservino il nome ufficiale. Per nomi personalizzati usa Legacy Loader.

17 min di lettura · Pubblicato il: 21 ago 2026 · Aggiornato il: 21 ago 2026

Commenti

Accedi con GitHub per lasciare un commento

Easton BlogEaston Blog