Usare i LoRA in ComfyUI: pesi, stacking e coerenza del personaggio

Generi quattro immagini con lo stesso LoRA di personaggio e ogni volto sembra appartenere a una persona diversa. Sposti il peso da 0,5 a 1,2 e quasi non noti differenze. Concateni due LoRA e gli stili iniziano a competere. ComfyUI espone più parametri di SD WebUI: offre regolazioni più precise, ma rende più facile sbagliare cablaggio o valori. Qui vengono esaminati tutti i parametri di Load LoRA, la differenza fra strength_model e strength_clip, concatenamento e pesi principali/secondari, più un metodo riproducibile per ridurre la deriva con compatibilità, trigger e diagnosi.

Concetti di base e preparazione della cartella LoRA

LoRA significa Low-Rank Adaptation. Aggiunge un insieme leggero di pesi al modello base durante l’esecuzione senza sostituire il checkpoint. Un LoRA occupa spesso decine di MB, mentre il modello base può richiedere vari GB. L’addestramento modifica questo livello ridotto, non l’intero checkpoint, abbassando costi e spazio.

Dove mettere i file LoRA

Il percorso standard è ComfyUI/models/loras/, incluse le sottocartelle. Scegli preferibilmente il .safetensors distribuito dall’autore, inseriscilo e aggiorna l’elenco. Riavvia ComfyUI se il menu non cambia. Il file deve comparire in lora_name. L’estensione non basta: controlla anche modello base e uso indicato nella scheda.

Come gestire le varianti

Lycoris, LoHa, LoKr e LoCon seguono lo stesso flusso di caricamento. Con il file nella cartella corretta, il workflow non cambia. Le differenze riguardano soprattutto addestramento e fattorizzazione e possono influire su dimensione e comportamento. Per l’utente, i passaggi restano uguali.

Parametri del nodo Load LoRA

Load LoRA applica i suoi pesi all’output del modello base. Ha due ingressi, due uscite e tre impostazioni.

Porte di ingresso e uscita

Porta	Direzione	Tipo	Funzione
model	Ingresso	MODEL	Si collega all’uscita MODEL del Checkpoint Loader base
clip	Ingresso	CLIP	Si collega all’uscita CLIP del Checkpoint Loader base
model	Uscita	MODEL	MODEL con LoRA applicato, da inviare al sampler
clip	Uscita	CLIP	CLIP con LoRA applicato, da inviare al percorso del prompt

Entrambe le uscite devono raggiungere i nodi corretti. Se colleghi model ma non clip, la risposta alla parola trigger può indebolirsi o scomparire.

Impostazioni del nodo

Impostazione	Tipo	Intervallo	Funzione
lora_name	Menu	Elenco file	Carica da models/loras/; aggiorna per vedere nuovi file
strength_model	Numero	-100 a 100	Effetto sui pesi del modello; di solito si prova intorno a 0-1
strength_clip	Numero	-100 a 100	Effetto sulla codifica CLIP; di solito si prova intorno a 0-1

Entrambi accettano valori negativi, ma un negativo non è una modalità universale per “ridurre”. Ogni LoRA reagisce in modo diverso. Provalo solo dopo aver verificato la compatibilità e fissato il seed. I due valori non devono per forza coincidere.

Differenza pratica fra strength_model e strength_clip

Load LoRA offre due forze. Vanno cambiate entrambe o una può rimanere fissa?

Cosa controlla ogni peso

strength_model agisce sulla generazione visiva. Modifica i pesi che determinano dettagli, stile, texture e luce.

strength_clip agisce sulla codifica testuale. Cambia il modo in cui CLIP interpreta prompt e parole trigger.

Il lato model decide quanto sono visibili le caratteristiche; il lato CLIP influenza la lettura del trigger. Per questo un valore più alto non è sempre migliore.

Punti di partenza per tipo di LoRA

Tipo di LoRA	strength_model	strength_clip	Nota
Personaggio	0,8-1,0	0,6-0,8	model preserva i tratti; CLIP più basso limita un trigger dominante
Stile	0,7-0,9	0,7-0,9	Valori vicini bilanciano stile e interpretazione
Concetto	0,6-0,8	0,8-1,0	CLIP rafforza il trigger; model più basso evita eccesso visivo

Sono punti di partenza empirici. L’intervallo utile dipende dall’addestramento e dalla forza del trigger.

Eseguire uno sweep con lo stesso prompt e seed

1. Fissa prompt, seed, CFG e sampling steps.
2. Cambia solo strength_model e prova 0,6, 0,8, 1,0 e 1,2.
3. Confronta stile, dettagli e tratti del personaggio.
4. Usa come partenza il valore più alto che non rompe l’immagine.
5. Regola strength_clip osservando trigger e coerenza del prompt.

Il cambiamento CLIP è visivamente più indiretto. Regolalo dopo il model. Se lo stile funziona ma il volto si deforma, abbassa strength_clip di 0,1 o 0,2.

Trovare e usare le parole trigger

Il LoRA è selezionato e il peso non è zero, ma l’immagine cambia poco. Potrebbe mancare il trigger.

Che cos’è una parola trigger

È un termine definito durante l’addestramento per attivare i tratti appresi. I LoRA di personaggio e concetto ne hanno spesso bisogno. Alcuni LoRA di stile funzionano senza un trigger obbligatorio o ne offrono uno facoltativo.

Senza trigger l’effetto può restare debole: appare una leggera tendenza stilistica, ma non il volto, gli abiti o i capelli attesi.

Come trovarla

1. Apri la scheda del modello, per esempio su CivitAI.
2. Cerca “Trigger Words” o “Activation Text”.
3. Copia il token nel prompt.

A volte compare solo nella descrizione. Leggi anche le istruzioni. Se non serve un trigger, la scheda dovrebbe dirlo esplicitamente.

Dove inserirla nel prompt

Mettila vicino al personaggio o concetto e separa gli elementi con virgole. Segui scheda e workflow per eventuale sintassi aggiuntiva. Posizionarla all’inizio non la rende automaticamente più forte.

Struttura di esempio:

character_name, 1girl, long hair, blue eyes, white dress, ...

character_name rappresenta il trigger token della scheda. Il workflow standard di ComfyUI seleziona già il modello in Load LoRA, quindi non richiede la sintassi WebUI <lora:nome:peso>, salvo che un workflow personalizzato la supporti esplicitamente.

Dopo il trigger aggiungi tratti stabili, scena e composizione. Evita stili non collegati fra trigger e tratti che dovrebbe attivare.

Intervalli di peso per LoRA di stile e personaggio

Partire da 1,0 può rompere l’immagine o non produrre effetti visibili. Ogni tipo ha un intervallo utile diverso.

Intervalli di riferimento

Tipo di LoRA	Intervallo suggerito	Partenza	Sintomi se troppo alto
Stile	0,5-0,9	0,75	Colori saturi, più rumore o soggetto deformato dallo stile
Personaggio	0,7-1,2	0,8 per personaggi noti 1,0-1,1 per dataset piccoli	Anatomia rotta, volto esagerato, tratti sovraenfatizzati

Non sono limiti ufficiali. Un dataset grande può funzionare vicino a 0,8; uno piccolo può richiedere 1,0-1,1.

Metodo rapido di sweep

1. Fissa prompt, seed, CFG e sampling steps.
2. Imposta strength_model a 0,6 e strength_clip a 0,8.
3. Genera la prima immagine e verifica l’effetto.
4. Porta strength_model a 0,8 per la seconda.
5. Porta strength_model a 1,0 per la terza.
6. Porta strength_model a 1,2 per la quarta.
7. Confronta e scegli l’intervallo visibile senza degrado.
8. Rifinisci nell’intervallo a passi di circa 0,1.

Se 0,6 non produce effetti, controlla trigger e base. Se 1,2 rompe l’output, l’intervallo può essere 0,7-0,9. Regola CLIP dopo.

Mantieni prompt e seed uguali, altrimenti entrano altre variabili.

Stacking di più LoRA: ordine e pesi principali

Combinare personaggio e stile, o più personaggi, richiede una catena di Load LoRA.

Come concatenare i nodi

Collega model e clip del primo Load LoRA agli ingressi equivalenti del secondo. Continua così con un terzo. Solo l’ultimo nodo va al sampler e alla codifica testuale.

I workflow ufficiali supportano il concatenamento. Nella pratica incidono modello base, addestramento, pesi e nodi personalizzati. Non presumere che l’ordine sia sempre neutro: fissa il seed e confronta entrambi. Il peso è spesso la prima variabile gerarchica.

Strategie di distribuzione

Stack	Configurazione	Risultato atteso
Due LoRA	0,5-0,6 ciascuno	Miscela bilanciata con meno conflitti
Tre o più	Principale 0,8, secondari 0,3-0,5	Il principale domina e gli altri completano
Personaggio + stile	Personaggio 0,8-1,0, stile 0,5-0,7	I tratti restano prioritari senza perdere lo stile

Due LoRA a 0,8-1,0 possono diluire il personaggio e mettere gli stili in conflitto. Con tre o più, tienine uno vicino a 0,8 e abbassa gli altri a 0,3-0,5.

Rischi dello stacking

Due stili incompatibili tirano in direzioni opposte. Troppi LoRA forti diluiscono i tratti. Più valori vicini a 1,0 favoriscono anatomia rotta, colori saturi e output instabile.

Prova ogni LoRA da solo e assegna poi ruoli principale e secondari. Non iniziare con lo stesso peso per tutti.

Ricetta per la coerenza del personaggio

Anche un LoRA di personaggio può generare quattro volti diversi. Fornisce tratti, ma non garantisce identità; la riproducibilità dipende dal workflow completo.

Combinazione di base

Fissa LoRA, seed e struttura del prompt. Mantieni sampler, steps, CFG, dimensione e workflow, oltre a trigger, tratti, ordine della scena e pesi. La base è riproducibile nello stesso ambiente. Cambiare scena, composizione o controlli può reintrodurre deriva.

Struttura di esempio:

character_name, 1girl, long hair, blue eyes, white dress, school background, ...

Cambia solo la parte della scena fra le generazioni. Conserva trigger e tratti.

Aggiungere controllo strutturale o di riferimento

ControlNet di posa, profondità o bordi può stabilizzare composizione e corpo. Per l’identità del volto, valuta un workflow di riferimento, IP-Adapter/FaceID o ritocco facciale compatibile con la stessa base. Controllano aspetti diversi dal LoRA e possono ridurre ulteriormente la deriva.

Fissa prima LoRA, seed e prompt; poi aggiungi un controllo compatibile. Non esiste una forza universale: parti da un valore medio e confronta gradualmente per evitare rigidità.

Limiti attesi

Questa combinazione non garantisce identità al 100%. Espressione, luce e dettagli cambiano. Parametri fissi riducono la deriva ma non clonano il personaggio.

Cambi a prompt, sampler, steps, CFG, dimensione, modello, peso o controlli causano spesso deriva. Alcuni hardware e operatori possono introdurre non determinismo. La struttura può restare fissa mentre capelli, abiti, espressione e sfondo variano.

La coerenza richiede iterazioni. Adatta pesi e struttura al LoRA e alla scena specifici.

Abbinare LoRA SD1.5, SDXL e FLUX alla base corretta

L’incompatibilità della base spiega molti casi senza effetto. Un LoRA SD1.5 richiede SD1.5, uno SDXL richiede SDXL e uno FLUX la versione FLUX e il workflow corrispondenti. Il fallimento può essere silenzioso o esplicito.

Regole di compatibilità

Tipo di LoRA	Base corrispondente	Sintomo di mismatch
LoRA SD1.5	Checkpoint SD1.5	Nessun effetto, effetto debole o fallimento silenzioso
LoRA SDXL	Checkpoint SDXL	Errore di forma, output rotto o nessun effetto
LoRA FLUX	Modello FLUX e encoder corrispondenti	Errore di caricamento, key o dimensioni incompatibili, output anomalo

Un LoRA SDXL su SD1.5 può fallire o non cambiare nulla. FLUX deve corrispondere a modello, encoder e workflow. Gli esempi ufficiali attuali usano nodi integrati come LoraLoaderModelOnly a seconda del caso; nessun nodo di terze parti è l’unica via.

Come controllare il modello base

1. Apri la scheda del modello.
2. Cerca “Base Model” o “Compatible Model”.
3. Conferma SD1.5, SDXL o la versione FLUX esatta.
4. Carica il checkpoint o diffusion model corrispondente in ComfyUI.

Anche quando sono dichiarate più basi, il risultato può variare. Dai priorità alla raccomandazione dell’autore.

Note sui LoRA FLUX

FLUX usa struttura e workflow diversi da SD1.5 e SDXL. Il LoRA deve corrispondere a versione e percorso di caricamento. Gli esempi attuali possono usare LoraLoaderModelOnly e caricare separatamente diffusion model, encoder e VAE.

L’ecosistema continua a cambiare. In caso di errore, controlla tutorial ufficiale attuale, scheda e versione della base. Il nome di un nodo in una guida vecchia non dimostra compatibilità.

Diagnosticare un effetto LoRA assente o debole

Se l’immagine cambia poco o nulla, segui questo ordine.

Sintomo	Causa probabile	Controllo
Immagine invariata	LoRA fuori dal percorso attivo	Verificare che model e clip attraversino Load LoRA
Immagine invariata	Peso a 0	Controllare strength_model e strength_clip
Effetto debole	Peso sotto circa 0,3	Salire verso 0,6-1,0 ed eseguire sweep
Effetto debole	Trigger assente	Aggiungere al prompt i Trigger Words della scheda
Nessun effetto	Base incompatibile	Confermare SD1.5, SDXL o FLUX e cambiare base
Nessun effetto	Cartella errata	Verificare models/loras/
Nessun effetto	File errato o non supportato	Controllare file distribuito e scheda, non solo estensione
LoRA assente dall’elenco	Elenco non aggiornato	Aggiornare o riavviare ComfyUI
Errore di caricamento, key o dimensione	LoRA FLUX e workflow incompatibili	Controllare versione FLUX, nodi ufficiali, encoder e scheda
Stili in conflitto o tratti diluiti	Distribuzione multi-LoRA errata	Abbassare i secondari e definire il principale

Inizia da model/clip, poi pesi, trigger, base e posizione. La maggior parte degli effetti deboli si risolve con trigger, peso o compatibilità.

Passi successivi e letture correlate

Quando caricamento, regolazione e stacking sono stabili, passa a workflow specializzati.

Articoli correlati

• Guida iniziale a ComfyUI: installazione, cartelle, nodi e prima generazione
• Riutilizzare workflow ComfyUI: importare, ripristinare dipendenze e correggere percorsi
• Scegliere modelli Stable Diffusion: confrontare SD1.5, SDXL, FLUX e limiti
• Template di prompt per Stable Diffusion: organizzare struttura, sintassi dei pesi e iterazione
• ControlNet per posa, line art e profondità (link dopo la pubblicazione)

Direzioni avanzate

Per stack grandi, nodi di terze parti come rgthree Power LoRA Loader semplificano i pesi e possono offrire maschere o applicazione regionale secondo il workflow.

Una maschera LoRA limita l’effetto a una zona invece di stilizzare tutta l’immagine.

Addestrare un LoRA con Kohya_ss o altro strumento richiede un processo separato per dati, parametri, validazione ed esportazione.

LoRA è un adattamento comune di Stable Diffusion, ma pesi e stacking richiedono confronti controllati. Prova ogni LoRA da solo, combina dopo una base stabile e segui la tabella quando l’effetto scompare o l’output si rompe.