Changer le thème

ComfyUI IPAdapter : images de référence, style, composition et modèles

Easton editorial illustration: one dominant three-stage IPAdapter pipeline: reference image card, CLIP Vision encoder chip, generated output canvas

"Le README de cubiq/ComfyUI_IPAdapter_plus documente les associations IPAdapter–CLIP Vision, les noms attendus par Unified Loader, les dépendances FaceID et le weight de départ recommandé."

Vous avez une image de La Nuit étoilée de Van Gogh et souhaitez générer un paysage dans le même style, mais les changements successifs du prompt ne donnent toujours pas le résultat attendu. Vous passez à ComfyUI IPAdapter, ajoutez la référence, réglez weight sur 1,0 et obtenez un visage méconnaissable, avec une composition qui s’éloigne elle aussi de votre intention.

La difficulté d’IPAdapter n’est pas son installation, mais l’association des modèles, le réglage et la maîtrise de sa portée. Les sections suivantes donnent la table d’association modèle–CLIP Vision qui évite l’erreur la plus fréquente, des réglages pratiques de weight_type, le rôle de trois méthodes de contrôle et des chemins séparés pour SD1.5, SDXL et FLUX.

1. Comprendre IPAdapter : une image comme LoRA instantané

ComfyUI présente IPAdapter comme un système d’image-to-image conditioning. Il encode les caractéristiques visuelles de la référence et les injecte dans la génération. Le dépôt cubiq résume bien l’idée : on peut le considérer comme un LoRA construit à partir d’une seule image.

Ce transfert immédiat sans entraînement constitue la différence centrale avec LoRA. LoRA demande plusieurs images d’entraînement, une phase d’apprentissage et un fichier de modèle qui pèse souvent de quelques dizaines à plusieurs centaines de mégaoctets. IPAdapter utilise directement une référence, l’encode pendant la génération et n’exige aucun nouveau modèle entraîné.

Le mécanisme interne diffère aussi. LoRA ajuste les matrices de poids et modifie les paramètres du modèle au moment de la génération. IPAdapter transforme la référence en vecteurs de conditionnement, puis les injecte dans les couches de cross-attention avec le prompt textuel. Les chemins sont différents, mais les deux méthodes pilotent le résultat.

1.1 Répartition des rôles entre les trois méthodes

Les trois méthodes de contrôle courantes dans ComfyUI ont des fonctions distinctes :

MéthodeCe qu’elle contrôleCe qu’elle demandeAvantage
IPAdapterStyle, référence et caractéristiques du sujetUne image de référenceTransfert immédiat sans entraînement
ControlNetStructure, pose, contours et profondeurUne carte OpenPose, Canny ou DepthContrôle précis de la composition et de la pose
LoRAStyle, personnage et langage visuelUn fichier de modèle entraînéRésultats stables lors d’utilisations répétées

Chaque méthode convient à un besoin :

  • IPAdapter convient aux essais rapides de style, aux références ponctuelles et aux cas où vous ne voulez pas entraîner de modèle. Une seule image de La Nuit étoilée peut servir directement de référence.
  • ControlNet convient au contrôle précis d’une pose, d’une composition, de contours ou d’une profondeur. Une carte OpenPose maintient une personne dans une posture déterminée.
  • LoRA convient à la réutilisation régulière d’un même style ou personnage. Après entraînement d’un LoRA de personnage, ses traits restent plus cohérents d’une génération à l’autre.

Les trois méthodes peuvent être combinées. Pour un portrait dans le style de La Nuit étoilée avec une pose imposée, IPAdapter transfère le style et ControlNet OpenPose contrôle la pose. Le guide pratique de ControlNet dans ComfyUI détaille ce montage.

2. L’erreur la plus fréquente : association avec CLIP Vision

Si les nœuds IPAdapter sont installés, mais provoquent une erreur ou n’ont aucun effet visible, il manque généralement le modèle CLIP Vision, il se trouve dans le mauvais dossier ou il ne correspond pas au modèle IPAdapter.

2.1 Liste des modèles CLIP Vision

IPAdapter a besoin de deux modèles : IPAdapter lui-même et un modèle CLIP Vision chargé d’encoder l’image de référence. Une association incorrecte peut bloquer le workflow ou produire un résultat incohérent.

Modèle CLIP VisionNom de fichierModèles IPAdapter compatibles
vit-hCLIP-ViT-H-14-laion2B-s32B-b79K.safetensorsLa plupart des modèles SD1.5 et les modèles SDXL suffixés *_vit-h
bigGCLIP-ViT-bigG-14-laion2B-39B-b160k.safetensorsLes modèles signalés vit-G, dont ip-adapter_sd15_vit-G et ip-adapter_sdxl

Le fichier vit-h pèse environ 1,7 Go, contre environ 3,5 Go pour bigG. Téléchargez le fichier exact depuis le bon dépôt Hugging Face plutôt qu’un autre checkpoint CLIP au nom proche.

2.2 Dossiers et noms de fichiers

  • Dossier CLIP Vision : ComfyUI/models/clip_vision/
  • Dossier IPAdapter : ComfyUI/models/ipadapter/ (à créer manuellement)
  • Règle de nommage : Unified Loader attend les noms officiels ; Legacy Loader accepte d’autres noms, mais impose une sélection manuelle

Si le dossier n’existe pas, le nœud indique qu’il ne trouve pas le modèle. models/ipadapter/ n’est pas toujours présent après une installation neuve. Créez-le :

mkdir -p ComfyUI/models/ipadapter

2.3 Erreurs d’association courantes

  1. Associer ip-adapter_sdxl à vit-h : ip-adapter_sdxl sans suffixe vit-h utilise bigG. Le mauvais encodeur provoque une erreur ou un résultat très déformé.
  2. Installer ip-adapter-plus_sd15 sans CLIP Vision : le modèle IPAdapter est présent, mais pas l’encodeur. Le nœud peut se charger alors que la référence n’apparaît jamais dans l’image.
  3. Renommer le fichier et casser la détection de Unified Loader : si ip-adapter-plus_sd15.safetensors devient my_ipadapter.safetensors, Unified Loader ne peut plus l’identifier. Restaurez le nom officiel ou utilisez Legacy Loader.

2.4 Liste de vérification

En cas d’erreur, contrôlez les éléments dans cet ordre :

  1. Ouvrez ComfyUI/models/clip_vision/ et vérifiez la présence du bon modèle CLIP Vision sous le bon nom
  2. Ouvrez ComfyUI/models/ipadapter/ et vérifiez que le dossier et le modèle IPAdapter existent
  3. Comparez les deux fichiers avec la table d’association
  4. Vérifiez que le nom respecte la convention de Unified Loader

Les mauvaises associations expliquent une grande partie des échecs au premier lancement. Vérifier la table avant le téléchargement évite la plupart d’entre eux.

3. Niveaux de modèles IPAdapter : choix rapide

Les modèles sont adaptés à des usages différents. Le modèle de base a une force moyenne, plus est plus puissant, tandis que plus-face et full-face ciblent les visages.

3.1 Modèles SD1.5

ModèleForceUsage conseillé
ip-adapter_sd15MoyenneTransfert de style léger, sans effet trop marqué
ip-adapter-plus_sd15ForteLa plupart des usages où le style doit être visible
ip-adapter-plus-face_sd15PortraitConservation des caractéristiques du visage
ip-adapter-full-face_sd15Plus forte, pas toujours meilleureContrôle facial extrême quand plus-face ne suffit pas

Le modèle plus transfère plus nettement les caractéristiques de la référence que le modèle de base, mais il entraîne aussi plus facilement la composition. Pour une influence discrète, le modèle de base convient mieux.

Les variantes plus-face et full-face sont destinées au portrait. Commencez avec plus-face. full-face est plus fort, mais cette force supplémentaire peut déformer le visage au lieu de l’améliorer.

3.2 Modèles SDXL

Les modèles SDXL ci-dessous utilisent tous l’encodeur vit-h. Ne les confondez pas avec ip-adapter_sdxl, qui demande bigG.

ModèleAssociation CLIP Vision
ip-adapter_sdxl_vit-hvit-h
ip-adapter-plus_sdxl_vit-hvit-h
ip-adapter-plus-face_sdxl_vit-hvit-h

Leurs noms comportent le suffixe vit-h et indiquent donc cette association. Le modèle séparé ip-adapter_sdxl, sans ce suffixe, utilise bigG.

3.3 Modèles d’extension communautaires

ip_plus_composition_sd15/sdxl est un modèle communautaire qui transfère la composition en ignorant largement le style et le contenu. Associez-le au weight_type composition pour conserver la disposition tout en choisissant vous-même le style et le sujet.

3.4 Recommandations de sélection

  • Transférer surtout le style : utilisez un modèle plus pour un effet bien visible
  • Générer des portraits : utilisez plus-face pour préserver les traits
  • Appliquer une influence légère : utilisez le modèle de base pour éviter que la référence domine
  • Transférer seulement la composition : utilisez ip_plus_composition avec le weight_type composition
  • Réutiliser souvent la même référence : envisagez un entraînement LoRA plutôt que de réencoder la même image à chaque génération

4. weight_type en pratique : style, composition ou sujet

Par défaut, IPAdapter peut transférer à la fois style, composition et caractéristiques du sujet. Une référence de style peut donc déplacer la composition, et une référence faciale peut produire un visage flou. Le paramètre weight_type limite la nature de l’influence.

4.1 Options de weight_type

weight_typeEffetUsage conseillé
style transferTransfère surtout le styleGarder sa propre composition tout en empruntant le style visuel
compositionTransfère surtout la compositionConserver la disposition, mais choisir un autre style et un autre sujet
precise style transferIsole mieux le styleRéduire la fuite de composition ; à privilégier quand c’est possible
Valeur par défaut sans weight_type spécifiqueTransfère toutStyle, composition et caractéristiques du sujet ensemble

Réglez weight_type dans le nœud IPAdapter Advanced. IPAdapter Unified Loader seul conserve le mode d’influence globale. Pour un contrôle précis, ajoutez Advanced ou utilisez les nœuds IPAdapter Style & Composition.

4.2 Différences entre les modes

  • style transfer : se concentre sur le style, mais peut encore reprendre une partie de la composition.
  • precise style transfer : sépare mieux le style et réduit la composition indésirable. Essayez ce mode en premier.
  • composition : reprend la disposition en ignorant largement style et contenu. Utilisez-le lorsque l’organisation spatiale compte davantage.

4.3 Réglages selon le besoin

  • Style seul : choisissez precise style transfer ou style transfer dans IPAdapter Advanced. Commencez avec weight 0,7–0,9.
  • Composition seule : choisissez composition, de préférence avec ip_plus_composition_sd15/sdxl. Un weight de 0,9–1,0 peut convenir, car la composition brouille moins souvent les visages.
  • Préserver un visage : utilisez plus-face avec weight inférieur à 0,8. Gardez le mode par défaut ou essayez style transfer ; évitez composition pour l’identité.
  • Plusieurs références : réglez weight sur 0 pour une branche inutilisée. Donnez composition à l’image de disposition et precise style transfer à l’image de style, puis ajustez chaque force séparément.

4.4 Combiner weight_type et weight

Objectifweight_typeweight de départ
Transférer le style, définir sa propre compositionprecise style transfer0,7–0,9
Transférer la composition, définir son propre stylecomposition0,9–1,0
Transférer le style et préserver un visageDéfaut + modèle plus-face0,6–0,8
Combiner plusieurs référencesRégler weight_type par brancheAjuster selon le rôle ; mettre les branches inutiles à 0

weight_type définit la portée de la référence, weight son intensité. Si la composition dérive, passez du mode par défaut à precise style transfer. Si le visage devient flou, réduisez weight et utilisez plus-face.

5. Développer une intuition pour weight

Quelle valeur choisir ? La valeur 1,0 est souvent trop élevée : les visages deviennent flous, la référence domine et le prompt textuel perd son influence.

5.1 Valeur de départ

Commencez par 0,8 plutôt que 1,0. À weight=1,0, les caractéristiques de la référence peuvent être exagérées et écraser les instructions du prompt.

Augmenter le nombre de steps peut aider, par exemple de 20 à 30, mais réduire weight corrige plus directement le déséquilibre. Des steps supplémentaires augmentent aussi le temps de génération.

5.2 Plages de weight

weightRésultatProblème fréquent
1,0Transfert maximalVisages flous, prompt écrasé, composition instable
0,8–0,9Transfert fortBon équilibre pour la plupart des workflows
0,5–0,7Transfert moyenStyle plus faible, mais plus facile à combiner avec plusieurs références
0,3–0,5Transfert légerAjustement subtil proche d’une génération au prompt seul

Si weight est trop faible, la référence devient presque invisible. S’il est trop élevé, elle prend le dessus sur le prompt. La valeur 0,8 constitue un bon point de départ.

5.3 Relation avec les steps

weight élevé → ajoutez des steps si le visage reste flou. weight faible → moins de steps peuvent faire gagner du temps.

Repères :

  • weight=1,0 → au moins 30 steps, parfois 40
  • weight=0,8–0,9 → 25–30 steps
  • weight=0,5–0,7 → 20–25 steps
  • weight=0,3–0,5 → environ 20 steps

Plus de steps ne signifie pas toujours un meilleur résultat. Au-delà de 40, le gain devient souvent faible alors que la durée augmente nettement. Ajustez weight avant d’augmenter indéfiniment les steps.

5.4 Combinaison avec les autres paramètres

  • weight + weight_type : weight contrôle la force, weight_type la portée. Décidez d’abord si la référence doit influencer la composition, puis réglez son intensité.
  • weight + CFG Scale : CFG Scale contrôle le prompt textuel. Avec un weight élevé, vous pouvez passer par exemple de 7 à 9 pour redonner de l’importance au texte. Avec un weight plus faible, laissez CFG Scale autour de 7.
  • weight + plusieurs références : réduisez chaque force pour éviter les conflits. Deux références à 0,5–0,6 sont plus sûres que deux références à 0,8–1,0.

5.5 Procédure de réglage reproductible

Un premier test sûr utilise weight 0,8 et 30 steps. Générez une image, puis ajustez le résultat au lieu de partir directement de 1,0.

Séquence :

  1. Régler weight=0,8 et steps=30, puis générer une image
  2. Si la référence est trop faible, passer weight à 0,9
  3. Si la référence est trop forte ou si le visage devient flou, descendre à 0,7
  4. Si la composition dérive, choisir precise style transfer pour weight_type

weight est le réglage principal d’IPAdapter. Commencez à 0,8 et évoluez par petits pas.

6. Installation et configuration des nœuds

6.1 Étapes d’installation

  1. Cloner le dépôt : exécutez la commande suivante depuis ComfyUI/custom_nodes/ :

    git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus
  2. Créer le dossier de modèles : créez ComfyUI/models/ipadapter/ s’il n’existe pas :

    mkdir -p ComfyUI/models/ipadapter
  3. Télécharger les modèles :

    • Placez les modèles CLIP Vision dans ComfyUI/models/clip_vision/
    • Placez les modèles IPAdapter dans ComfyUI/models/ipadapter/
    • Vérifiez la table d’association de la section 2 avant le téléchargement
  4. Redémarrer ComfyUI : les nœuds IPAdapter apparaissent ensuite dans la liste

L’installation ajoute les nœuds suivants :

  • IPAdapter Unified Loader
  • IPAdapter Advanced
  • IPAdapter Encoder
  • IPAdapter Style & Composition
  • IPAdapter Precise Style Transfer

6.2 Nœuds principaux

IPAdapter Unified Loader charge le modèle et détecte automatiquement l’association correcte si les noms officiels sont utilisés. C’est le meilleur point de départ dans la plupart des workflows.

Paramètres :

  • ipadapter_file : sélection du modèle IPAdapter ; les noms officiels permettent la détection automatique
  • clip_vision : sélection ou association de l’encodeur CLIP Vision
  • lora : chargement automatique du LoRA associé pour les modèles FaceID compatibles

IPAdapter Advanced expose weight_type, start_at et end_at. C’est le nœud central pour contrôler précisément l’influence.

Paramètres :

  • weight : force de la référence ; commencez à 0,8
  • weight_type : portée, par exemple style transfer, composition ou precise style transfer
  • start_at : moment entre 0 et 1 où la référence commence à agir
  • end_at : moment entre 0 et 1 où son influence cesse

Avec start_at=0,2 et end_at=0,8, IPAdapter ne s’applique qu’entre 20 et 80 % de l’échantillonnage. Les premiers et derniers 20 % s’exécutent sans cette influence.

IPAdapter Encoder encode la référence sous la forme de condition utilisée par IPAdapter. Les workflows de base demandent rarement de le régler directement.

6.3 Legacy Loader ou Unified Loader

  • Unified Loader : exige les noms officiels et charge automatiquement les modèles compatibles. À privilégier dans la plupart des cas.
  • Legacy Loader : accepte les noms personnalisés, mais demande une sélection manuelle. Utile pour les fichiers renommés ou les tests de versions.

Conservez les noms officiels et utilisez Unified Loader lorsque c’est possible. Passez à Legacy Loader pour un nom personnalisé ou un modèle précis.

6.4 Construire le workflow de base

Un workflow IPAdapter simple suit cette chaîne :

Load Checkpoint → IPAdapter Unified Loader → IPAdapter Advanced → KSampler → VAE Decode → Save Image

                    Load Image (référence)

Étapes :

  1. Charger le modèle de base avec Load Checkpoint
  2. Charger IPAdapter avec IPAdapter Unified Loader
  3. Charger la référence avec Load Image
  4. Appliquer la référence avec IPAdapter Advanced
  5. Échantillonner avec KSampler
  6. Décoder avec VAE Decode
  7. Enregistrer avec Save Image

Pour installer les nœuds manquants et restaurer un workflow importé, consultez le guide de réutilisation des workflows ComfyUI.

7. Branche FLUX IPAdapter : une voie expérimentale

FLUX IPAdapter utilise d’autres nœuds que SD et ne se charge pas avec le pack cubiq. Deux implémentations sont courantes, toutes deux à considérer comme beta.

7.1 Solution XLabs-AI

  • Nœuds : Flux Load IPAdapter et Apply Flux IPAdapter
  • Dossier : ComfyUI/models/xlabs/ipadapters/, pas models/ipadapter/
  • État : beta ; un bon résultat peut demander plusieurs générations et un réglage de ip strength
  • Licence : les poids suivent la licence non commerciale FLUX.1 [dev]

XLabs-AI est l’une des principales implémentations FLUX IPAdapter. Pour l’installer :

  1. Cloner le pack XLabs dans custom_nodes/
  2. Télécharger le modèle FLUX IPAdapter dans models/xlabs/ipadapters/
  3. Charger un modèle de base FLUX, pas un modèle SD
  4. Utiliser Flux Load IPAdapter et Apply Flux IPAdapter

Paramètre :

  • ip_strength : équivalent de weight côté FLUX. Commencez vers 0,8–0,9 plutôt qu’à 1,0.
  • Générez plusieurs résultats et ajustez la valeur.

7.2 Solution Shakker-Labs

  • Nœud : Apply IPAdapter Flux Model
  • Paramètres : weight, start_percent et end_percent
  • Dossier : cloner le pack dans ComfyUI/custom_nodes/comfyui-ipadapter-flux/

Shakker-Labs fournit un autre pack dédié à FLUX :

  1. Cloner avec git clone https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux
  2. Charger le modèle FLUX IPAdapter
  3. L’appliquer avec Apply IPAdapter Flux Model

Paramètres :

  • weight : force de la référence ; commencez vers 0,8–0,9
  • start_percent : point de départ de l’influence
  • end_percent : point d’arrêt de l’influence

7.3 Différences entre les nœuds FLUX et SD

ÉlémentSD avec cubiqFLUX avec XLabs ou Shakker
Pack de nœudsComfyUI_IPAdapter_plusNœuds XLabs ou Shakker-Labs
Dossier des modèlesmodels/ipadapter/models/xlabs/ipadapters/
MaturitéImplémentation stable et répandueBeta et expérimentale
LicenceCode des nœuds open sourcePoids FLUX.1 [dev] non commerciaux

7.4 Conseils pour FLUX IPAdapter

L’écosystème FLUX IPAdapter est plus récent et moins prévisible. Testez dans cet ordre :

  1. Commencer par XLabs, voie la plus courante
  2. Régler ip_strength ou weight à 0,8–0,9 au lieu de 1,0
  3. Générer plusieurs échantillons et ajuster les paramètres
  4. Vérifier la restriction non commerciale FLUX.1 [dev] avant un usage commercial

FLUX et SD emploient des packs, dossiers et paramètres différents. Charger un modèle FLUX IPAdapter avec les nœuds SD de cubiq provoque une erreur ou reste sans effet.

8. FaceID en bref : une option pour les visages

FaceID est une branche d’IPAdapter spécialisée dans les références de visage. Elle exige insightface, et la plupart des modèles FaceID demandent aussi un LoRA associé dans models/loras/. Unified Loader le charge automatiquement si la convention de nommage est respectée.

Un guide distinct doit couvrir en détail FaceID, InstantID et ReActor. La limite utile ici est simple : FaceID ajoute une dépendance et un LoRA propre au modèle.

9. Répartir et combiner IPAdapter, ControlNet et LoRA

Les trois méthodes contrôlent des propriétés différentes et peuvent être combinées. Lorsque vous les empilez, réduisez les weight individuels pour éviter les conflits.

9.1 Comparaison des trois méthodes

MéthodeCe qu’elle contrôleCe qu’elle demandeAvantage
IPAdapterStyle, référence et caractéristiques du sujetUne image de référenceTransfert immédiat sans entraînement
ControlNetStructure, pose, contours et profondeurUne carte OpenPose, Canny ou DepthContrôle précis de la composition et de la pose
LoRAStyle, personnage et langage visuelUn fichier de modèle entraînéRésultats stables lors d’utilisations répétées

Ces méthodes sont complémentaires. IPAdapter accélère les essais de style, ControlNet fixe la structure et LoRA stabilise les styles ou personnages récurrents.

9.2 Exemples de combinaison

Exemple 1 : style de référence + pose contrôlée

Objectif : générer un portrait dans le style de La Nuit étoilée avec une pose imposée

  • IPAdapter : transférer le style avec weight=0,7–0,8 et weight_type=precise style transfer
  • ControlNet OpenPose : contrôler la pose avec weight=0,8–1,0
  • Prompt textuel : décrire la personne et le fond

Réglages conseillés :

  • Garder IPAdapter à 0,7–0,8 pour que le style n’écrase pas la pose
  • Garder ControlNet à 0,8–1,0, car la pose entre rarement en conflit avec le style
  • Monter CFG Scale à 8–9 si le prompt perd trop d’influence

Exemple 2 : style de référence + personnage appris

Objectif : générer un personnage connu dans un style visuel précis

  • IPAdapter : transférer le style avec weight=0,6–0,7 et weight_type=precise style transfer
  • LoRA : charger le modèle de personnage avec weight=0,7–0,8
  • Prompt textuel : décrire la scène et l’action

Réglages conseillés :

  • Régler IPAdapter à 0,6–0,7 et LoRA à 0,7–0,8 ; ne pas maximiser les deux
  • Augmenter le weight LoRA si le personnage est trop peu reconnaissable
  • Augmenter le weight IPAdapter si le style est trop faible

Exemple 3 : plusieurs références + ControlNet

Objectif : combiner style A, composition B et pose C

  • Première branche IPAdapter : style A avec weight=0,5–0,6 et weight_type=precise style transfer
  • Deuxième branche IPAdapter : composition B avec weight=0,6–0,7 et weight_type=composition
  • ControlNet OpenPose : pose C avec weight=0,8–1,0

Réglages conseillés :

  • Réduire chaque weight lorsqu’il y a plusieurs références
  • Mettre une branche inutilisée à weight 0
  • Régler par priorité : pose, puis composition, puis style

9.3 Précautions lors de l’empilement

Lorsque plusieurs contrôles sont actifs :

  1. Réduire chaque weight : avec d’autres contrôles forts, régler IPAdapter à 0,5–0,7 plutôt qu’à 0,8–1,0.
  2. Régler par ordre de priorité : d’abord la pose ControlNet, puis la composition IPAdapter, enfin le style IPAdapter.
  3. Ne pas contrôler deux fois la même propriété : deux systèmes qui poussent tous deux le style peuvent entrer en conflit.
  4. Rendre de l’influence au prompt si nécessaire : monter CFG Scale à 8–9 lorsque les conditions empilées affaiblissent le texte.

Consultez le guide ControlNet pour ComfyUI et le guide LoRA pour ComfyUI. Les valeurs exactes doivent être testées avec votre modèle et vos références.

10. Liste de dépannage

10.1 Problèmes courants et solutions

ProblèmeCauseSolution
Les nœuds sont installés, mais la génération échoue ou ne change pasCLIP Vision manque, se trouve au mauvais endroit ou est mal associéVérifier clip_vision/ et comparer avec la table
Erreur d’associationIPAdapter et CLIP Vision ne correspondent pasTélécharger le bon modèle CLIP Vision
Le visage devient flou à weight=1,0weight est trop élevéDescendre à 0,8–0,9 et essayer environ 30 steps
La composition dériveLe weight_type par défaut transfère toutChoisir precise style transfer dans Advanced
FLUX IPAdapter ne fonctionne pasFLUX utilise d’autres nœuds que SDUtiliser XLabs ou Shakker-Labs au lieu de cubiq
Unified Loader ne reconnaît pas le fichierLe nom ne respecte pas la conventionRestaurer le nom officiel ou sélectionner le fichier dans Legacy Loader
Les caractéristiques de référence sont faiblesweight est trop basMonter à 0,8–0,9 ou choisir un modèle plus
Les caractéristiques sont trop fortesweight est trop élevéDescendre à 0,5–0,7
Plusieurs références se contredisentLes weight individuels sont trop élevésDescendre chaque branche à 0,5–0,6 et mettre les branches inutiles à 0

10.2 Dépannage avancé

L’image de référence est trop complexe

Problème : une même image contient un style, une composition et un sujet très marqués, ce qui mélange les conditions.

Solution :

  1. Séparer les références : une image pour le style avec precise style transfer, une autre pour la disposition avec composition
  2. Descendre chaque weight à 0,5–0,6
  3. Mettre les branches inutiles à weight 0

IPAdapter et plusieurs LoRA entrent en conflit

Problème : le style ou le personnage devient instable quand IPAdapter et LoRA sont empilés.

Solution :

  1. Régler IPAdapter à 0,5–0,7 et LoRA à 0,5–0,7
  2. Ne pas confier la même propriété à IPAdapter et LoRA
  3. Régler par priorité : personnage LoRA, puis style IPAdapter

FLUX reste irrégulier

Problème : les sorties FLUX IPAdapter varient ou l’effet disparaît parfois.

Solution :

  1. Générer plusieurs essais et ajuster ip strength ou weight
  2. Tester d’abord l’implémentation XLabs
  3. Vérifier que le modèle se trouve dans models/xlabs/ipadapters/

Le modèle IPAdapter ne correspond pas au modèle de base

Problème : un modèle IPAdapter SD1.5 est appliqué à un modèle de base SDXL.

Solution :

  1. Associer IPAdapter SD1.5 à SD1.5 et IPAdapter SDXL à SDXL
  2. Consulter le guide de choix des modèles Stable Diffusion

Les versions des nœuds diffèrent

Problème : les noms de nœuds et de paramètres varient légèrement entre les versions.

Solution :

  1. Utiliser Unified Loader + IPAdapter Advanced comme chemin principal
  2. Vérifier la version installée et la mettre à jour si nécessaire
  3. Suivre la documentation de la version installée quand les noms diffèrent

10.3 Ordre de vérification

Suivez cet ordre en cas de problème :

  1. Vérifier les dossiers : CLIP Vision et IPAdapter doivent se trouver au bon endroit
  2. Vérifier la table d’association : les deux modèles doivent correspondre
  3. Vérifier les noms : restaurer les noms officiels pour Unified Loader
  4. Réduire weight : commencer à 0,8 plutôt qu’à 1,0
  5. Changer weight_type : utiliser precise style transfer si la composition dérive
  6. Ajouter des steps : essayer environ 30 steps si une référence forte brouille encore le visage

La plupart des problèmes initiaux viennent d’une mauvaise association ou d’un weight trop élevé. Commencez donc par les dossiers, le bon encodeur et la valeur 0,8.

Conclusion

IPAdapter traite une image de référence comme une condition et transfère style, composition ou caractéristiques du sujet sans entraîner de LoRA. L’association avec CLIP Vision est le point critique de l’installation. Pour le réglage, un weight trop élevé brouille les visages, tandis que le weight_type par défaut entraîne aussi la composition.

Une séquence fiable pour commencer :

  1. Choisir le bon modèle CLIP Vision avec la table d’association
  2. Partir de weight 0,8 plutôt que 1,0
  3. Sélectionner precise style transfer pour le style seul
  4. Réduire chaque weight lors d’une combinaison avec ControlNet

Vous pouvez ensuite tester la cohérence des visages avec FaceID, InstantID ou ReActor, ou entraîner un LoRA pour un usage répété. Pour reprendre les bases, consultez le guide d’initiation à ComfyUI.

Construire et régler un workflow ComfyUI IPAdapter de base

Vérifiez d’abord l’association des modèles et les dossiers, puis partez d’une force de 0,8 et ne modifiez qu’un paramètre à la fois.

  1. 1

    Step 1: Installer le pack de nœuds

    Clonez cubiq/ComfyUI_IPAdapter_plus dans ComfyUI/custom_nodes ou installez-le avec ComfyUI Manager, puis redémarrez ComfyUI.
  2. 2

    Step 2: Préparer les dossiers de modèles

    Vérifiez que ComfyUI/models/clip_vision existe et créez ComfyUI/models/ipadapter. Ne mélangez pas les deux types de modèles.
  3. 3

    Step 3: Vérifier l’association des modèles

    Déterminez à partir du nom IPAdapter s’il faut vit-h ou bigG, puis vérifiez si le modèle de base appartient à SD1.5, SDXL ou FLUX.
  4. 4

    Step 4: Relier les nœuds de base

    Reliez Load Checkpoint, IPAdapter Unified Loader, IPAdapter Advanced, KSampler, VAE Decode et Save Image dans cet ordre, puis connectez Load Image à l’entrée de référence.
  5. 5

    Step 5: Partir de valeurs prudentes

    Générez une image témoin avec weight 0,8 et environ 30 steps. Choisissez precise style transfer pour le style seul ou composition pour la disposition seule.
  6. 6

    Step 6: Modifier une variable à la fois

    Ajustez séparément weight, weight_type, start_at ou end_at. Réduisez chaque weight lorsque vous combinez plusieurs références ou ControlNet afin d’éviter des conditions contradictoires.

FAQ

Quelle différence entre IPAdapter et ControlNet ?
IPAdapter extrait le style, la composition ou les caractéristiques du sujet d’une image de référence. ControlNet contraint l’image avec une pose, des contours ou une profondeur. Vous pouvez les combiner : IPAdapter gère le style, ControlNet la pose ou la structure.
Quel modèle CLIP Vision faut-il pour ip-adapter_sdxl ?
ip-adapter_sdxl sans suffixe vit-h demande bigG, précisément CLIP-ViT-bigG-14-laion2B-39B-b160k. Les modèles SDXL suffixés _vit-h utilisent CLIP-ViT-H-14.
Quel weight utiliser avec IPAdapter ?
Commencez à 0,8 dans la plupart des workflows. Montez à 0,9 si la référence est trop faible. Descendez à 0,5–0,7 si les visages deviennent flous, si la référence domine le prompt ou si la composition dérive, puis ajustez weight_type.
Comment transférer le style sans reprendre la composition ?
Sélectionnez precise style transfer dans IPAdapter Advanced ou utilisez le nœud IPAdapter Precise Style Transfer. Commencez avec un weight compris entre 0,7 et 0,9.
Peut-on utiliser IPAdapter avec FLUX ?
Oui, mais il faut des nœuds spécifiques comme Flux Load IPAdapter et Apply Flux IPAdapter de XLabs, ou Apply IPAdapter Flux Model de Shakker-Labs. Ne chargez pas FLUX directement avec les nœuds SD de cubiq.
Pourquoi Unified Loader ne trouve-t-il pas mon modèle IPAdapter ?
Vérifiez que le modèle IPAdapter se trouve dans ComfyUI/models/ipadapter, CLIP Vision dans ComfyUI/models/clip_vision et que les noms officiels sont conservés. Pour des noms personnalisés, sélectionnez les fichiers dans Legacy Loader.

19 min de lecture · Publié le: 21 août 2026 · Mis à jour le: 21 août 2026

Commentaires

Connectez-vous avec GitHub pour laisser un commentaire

Easton BlogEaston Blog