Alternar tema

ComfyUI IPAdapter: imagem de referência, estilo, composição e modelos

Easton editorial illustration: one dominant three-stage IPAdapter pipeline: reference image card, CLIP Vision encoder chip, generated output canvas

"O README do cubiq/ComfyUI_IPAdapter_plus documenta as combinações de IPAdapter e CLIP Vision, os nomes do Unified Loader, as dependências do FaceID e o weight inicial recomendado."

Você tem uma imagem de A Noite Estrelada, de Van Gogh, e quer gerar uma paisagem no mesmo estilo, mas nenhuma revisão do prompt chega ao resultado esperado. Você passa para o ComfyUI IPAdapter, carrega a referência, coloca weight em 1,0 e recebe um rosto irreconhecível enquanto a composição também sai do controle.

A parte difícil do IPAdapter não é a instalação, mas combinar os modelos corretos, ajustar os parâmetros e limitar o tipo de influência. As seções a seguir trazem a tabela modelo–CLIP Vision que evita o erro mais comum, recomendações práticas de weight_type, a divisão de tarefas entre três métodos de controle e caminhos separados para SD1.5, SDXL e FLUX.

1. O que é IPAdapter: uma imagem como LoRA instantâneo

O ComfyUI trata o IPAdapter como image-to-image conditioning. Ele codifica as características visuais da referência e as injeta na geração. O repositório do cubiq resume bem a ideia: pense nele como um LoRA de uma única imagem.

Essa transferência imediata, sem treinamento, é a principal diferença entre IPAdapter e LoRA. O LoRA exige várias imagens, uma etapa de treinamento e um arquivo de modelo que costuma ter de dezenas a centenas de megabytes. O IPAdapter usa uma referência diretamente, codifica-a durante a geração e não precisa de um novo modelo treinado.

O mecanismo interno também é diferente. O LoRA ajusta matrizes de pesos e altera parâmetros do modelo durante a geração. O IPAdapter transforma a referência em vetores de condição e os injeta nas camadas de cross-attention junto do prompt de texto. Os caminhos são distintos, embora ambos controlem o resultado.

1.1 Como os três métodos dividem o trabalho

Os três métodos de controle mais comuns no ComfyUI têm funções diferentes:

MétodoO que controlaO que exigeVantagem
IPAdapterEstilo, referência e características do temaUma imagem de referênciaTransferência imediata sem treinamento
ControlNetEstrutura, pose, linhas e profundidadeUm mapa OpenPose, Canny ou DepthControle preciso de composição e pose
LoRAEstilo, personagem e linguagem visualUm arquivo de modelo treinadoResultados estáveis na reutilização

Cada método atende a um caso:

  • IPAdapter é indicado para testar estilos rapidamente, usar uma referência pontual ou evitar treinamento. Uma única imagem de A Noite Estrelada pode entrar diretamente como referência.
  • ControlNet é indicado para controlar pose, composição, bordas ou profundidade com precisão. Um mapa OpenPose mantém uma pessoa em determinada postura.
  • LoRA é indicado para reutilizar o mesmo estilo ou personagem. Depois de treinar um LoRA de personagem, seus traços tendem a permanecer mais consistentes entre gerações.

Os três podem ser combinados. Para criar um retrato no estilo de A Noite Estrelada com pose específica, deixe o IPAdapter transferir o estilo e o ControlNet OpenPose controlar a pose. O guia prático de ControlNet no ComfyUI mostra essa conexão.

2. O erro mais comum: combinação do modelo com CLIP Vision

Se os nodes do IPAdapter estão instalados, mas geram erro ou não alteram o resultado, normalmente falta o CLIP Vision, ele está na pasta errada ou não corresponde ao modelo IPAdapter.

2.1 Lista de modelos CLIP Vision

O IPAdapter precisa de dois modelos: o próprio IPAdapter e um CLIP Vision que codifica a referência. Eles precisam ser compatíveis; caso contrário, o fluxo pode falhar ou produzir um resultado incorreto.

Modelo CLIP VisionNome do arquivoModelos IPAdapter compatíveis
vit-hCLIP-ViT-H-14-laion2B-s32B-b79K.safetensorsA maioria dos modelos SD1.5 e modelos SDXL com sufixo *_vit-h
bigGCLIP-ViT-bigG-14-laion2B-39B-b160k.safetensorsModelos marcados vit-G, incluindo ip-adapter_sd15_vit-G e ip-adapter_sdxl

O arquivo vit-h tem cerca de 1,7 GB; o bigG, aproximadamente 3,5 GB. Baixe o arquivo exato do repositório correto no Hugging Face, não outro checkpoint CLIP com nome parecido.

2.2 Pastas e nomes obrigatórios

  • Pasta do CLIP Vision: ComfyUI/models/clip_vision/
  • Pasta do IPAdapter: ComfyUI/models/ipadapter/ (crie manualmente)
  • Regra de nomes: o Unified Loader espera nomes oficiais; o Legacy Loader aceita nomes próprios, mas exige seleção manual

Se a pasta não existir, o node informa que não encontra o modelo. models/ipadapter/ nem sempre existe em uma instalação nova; crie-a:

mkdir -p ComfyUI/models/ipadapter

2.3 Erros frequentes de combinação

  1. Combinar ip-adapter_sdxl com vit-h: ip-adapter_sdxl sem sufixo vit-h usa bigG. O encoder errado pode causar erro ou distorcer muito a imagem.
  2. Instalar ip-adapter-plus_sd15 sem CLIP Vision: o modelo IPAdapter está presente, mas falta o encoder. O node pode carregar, embora a referência não apareça no resultado.
  3. Renomear o arquivo e quebrar a detecção do Unified Loader: se ip-adapter-plus_sd15.safetensors virar my_ipadapter.safetensors, o Unified Loader não o reconhece. Restaure o nome oficial ou use o Legacy Loader.

2.4 Lista de verificação

Quando surgir um erro, confira nesta ordem:

  1. Abra ComfyUI/models/clip_vision/ e confirme que o CLIP Vision necessário existe com o nome correto
  2. Abra ComfyUI/models/ipadapter/ e confirme que a pasta e o modelo IPAdapter existem
  3. Compare os dois arquivos com a tabela de combinações
  4. Verifique se o nome segue a convenção do Unified Loader

Combinações incorretas causam grande parte das falhas iniciais. Consultar a tabela antes do download evita a maioria.

3. Níveis de modelos IPAdapter: seleção rápida

Cada tarefa pede um nível de modelo. O modelo base tem força média, o plus é mais forte, e plus-face e full-face focam referências de rosto.

3.1 Modelos SD1.5

ModeloForçaUso recomendado
ip-adapter_sd15MédiaTransferência de estilo leve
ip-adapter-plus_sd15AltaA maioria dos casos em que o estilo deve aparecer
ip-adapter-plus-face_sd15RetratosPreservar características faciais
ip-adapter-full-face_sd15Mais alta, nem sempre melhorControle facial extremo quando plus-face não basta

O modelo plus transfere as características com mais força que o modelo base, mas também pode arrastar a composição. Se você só quer uma influência discreta, o modelo base é mais adequado.

plus-face e full-face são especializados em retratos. Comece com plus-face. full-face é mais forte, mas essa intensidade extra pode deformar o rosto em vez de melhorar.

3.2 Modelos SDXL

Os modelos SDXL da tabela usam o encoder vit-h. Não os confunda com ip-adapter_sdxl, que exige bigG.

ModeloCombinação CLIP Vision
ip-adapter_sdxl_vit-hvit-h
ip-adapter-plus_sdxl_vit-hvit-h
ip-adapter-plus-face_sdxl_vit-hvit-h

Os nomes incluem o sufixo vit-h, portanto usam vit-h. O modelo separado ip-adapter_sdxl não tem esse sufixo e usa bigG.

3.3 Modelos de extensão da comunidade

ip_plus_composition_sd15/sdxl é um modelo comunitário que transfere composição e ignora em grande parte estilo e conteúdo. Combine-o com o weight_type composition quando quiser manter o layout, mas escolher outro estilo e outro tema.

3.4 Recomendações de seleção

  • Transferir principalmente estilo: use um modelo plus para um efeito nítido
  • Gerar retratos: use plus-face para preservar o rosto
  • Aplicar estilo leve: use o modelo base para a referência não dominar
  • Transferir apenas composição: use ip_plus_composition com composition
  • Reutilizar muitas vezes a mesma referência: considere treinar um LoRA em vez de codificar a mesma imagem a cada geração

4. weight_type na prática: estilo, composição ou tema

Por padrão, o IPAdapter pode transferir estilo, composição e características do tema ao mesmo tempo. Por isso, uma referência de estilo pode arrastar o layout, ou uma referência facial pode deixar o rosto borrado. weight_type limita o que é transferido.

4.1 Opções de weight_type

weight_typeEfeitoUso recomendado
style transferTransfere principalmente estiloManter sua composição e aproveitar o estilo visual
compositionTransfere principalmente composiçãoManter o layout e escolher outro estilo e tema
precise style transferIsola melhor o estiloReduzir vazamento de composição; prefira quando possível
Padrão sem weight_type especialTransfere tudoEstilo, composição e características do tema juntas

Configure weight_type no node IPAdapter Advanced. IPAdapter Unified Loader sozinho mantém a influência completa. Para controlar o escopo, adicione o Advanced ou use os nodes IPAdapter Style & Composition.

4.2 Diferenças entre os modos

  • style transfer: concentra-se no estilo, mas ainda pode copiar parte da composição.
  • precise style transfer: separa melhor o estilo e reduz a composição indesejada. Teste primeiro.
  • composition: aproveita o layout e ignora em grande parte estilo e conteúdo. Use quando a organização espacial for mais importante.

4.3 Ajustes por objetivo

  • Apenas estilo: escolha precise style transfer ou style transfer no IPAdapter Advanced. Comece com weight 0,7–0,9.
  • Apenas composição: escolha composition, de preferência com ip_plus_composition_sd15/sdxl. Um weight de 0,9–1,0 pode funcionar, pois a composição tende a borrar menos o rosto.
  • Preservar o rosto: use plus-face com weight abaixo de 0,8. Mantenha o modo padrão ou teste style transfer; não use composition para identidade.
  • Várias referências: coloque weight 0 no ramo não usado. Defina composition para a referência de layout e precise style transfer para a de estilo, depois ajuste cada força.

4.4 Combinar weight_type e weight

Objetivoweight_typeweight inicial
Transferir estilo e definir sua composiçãoprecise style transfer0,7–0,9
Transferir composição e definir seu estilocomposition0,9–1,0
Transferir estilo e preservar o rostoPadrão + plus-face0,6–0,8
Combinar várias referênciasDefinir weight_type por ramoAjustar pelo papel; colocar ramos sem uso em 0

weight_type controla o escopo; weight, a intensidade. Se a referência arrastar a composição, mude para precise style transfer. Se o rosto borrar, reduza weight e use plus-face.

5. Desenvolver uma noção prática de weight

Qual valor usar? O padrão 1,0 costuma ser alto demais: rostos borram, a referência domina e o prompt perde força.

5.1 Valor inicial

Comece com 0,8 em vez de 1,0. Com weight=1,0, as características da referência podem ficar exageradas e encobrir o prompt de texto.

Aumentar as steps pode ajudar, por exemplo de 20 para 30, mas reduzir weight corrige o desequilíbrio de forma mais direta. Mais steps também aumentam o tempo de geração.

5.2 Faixas de weight

weightResultadoProblema frequente
1,0Transferência máximaRostos borrados, prompt enfraquecido, composição instável
0,8–0,9Transferência forteBom equilíbrio para a maioria dos fluxos
0,5–0,7Transferência médiaEstilo mais fraco, porém mais fácil de combinar
0,3–0,5Transferência leveAjuste sutil, próximo de gerar apenas com prompt

Com weight baixo demais, a referência quase não aparece. Com weight alto demais, ela domina o prompt. 0,8 é um bom ponto de partida.

5.3 Relação com as steps

weight alto → adicione steps se o rosto continuar borrado. weight baixo → menos steps podem economizar tempo.

Valores de referência:

  • weight=1,0 → pelo menos 30 steps, às vezes 40
  • weight=0,8–0,9 → 25–30 steps
  • weight=0,5–0,7 → 20–25 steps
  • weight=0,3–0,5 → cerca de 20 steps

Mais steps não garantem melhor resultado. Acima de 40, a melhoria costuma ser pequena e o tempo cresce bastante. Ajuste weight antes de continuar aumentando as steps.

5.4 Combinação com outros parâmetros

  • weight + weight_type: weight controla intensidade; weight_type, escopo. Decida primeiro se a referência deve afetar a composição e depois ajuste a força.
  • weight + CFG Scale: CFG Scale controla a influência do prompt. Com weight alto, você pode subir de 7 para 9, por exemplo, para recuperar o texto. Com weight baixo, mantenha perto de 7.
  • weight + várias referências: reduza cada valor para evitar conflitos. Duas referências em 0,5–0,6 são mais seguras que duas em 0,8–1,0.

5.5 Sequência de ajuste repetível

Um primeiro teste seguro usa weight 0,8 e 30 steps. Gere uma imagem e ajuste pelo resultado, em vez de começar em 1,0.

Sequência:

  1. Configurar weight=0,8 e steps=30 e gerar uma imagem
  2. Se a referência estiver fraca, subir weight para 0,9
  3. Se a referência estiver forte demais ou o rosto borrar, reduzir para 0,7
  4. Se a composição desviar, mudar weight_type para precise style transfer

weight é o controle principal do IPAdapter. Comece em 0,8 e faça mudanças pequenas.

6. Instalação e configuração dos nodes

6.1 Etapas de instalação

  1. Clonar o repositório: execute a partir de ComfyUI/custom_nodes/:

    git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus
  2. Criar a pasta de modelos: crie ComfyUI/models/ipadapter/ se ela não existir:

    mkdir -p ComfyUI/models/ipadapter
  3. Baixar os modelos:

    • Coloque CLIP Vision em ComfyUI/models/clip_vision/
    • Coloque IPAdapter em ComfyUI/models/ipadapter/
    • Confira a tabela da seção 2 antes do download
  4. Reiniciar o ComfyUI: depois os nodes IPAdapter aparecem na lista

A instalação adiciona:

  • IPAdapter Unified Loader
  • IPAdapter Advanced
  • IPAdapter Encoder
  • IPAdapter Style & Composition
  • IPAdapter Precise Style Transfer

6.2 Nodes principais

IPAdapter Unified Loader carrega o modelo e detecta a combinação correta quando os nomes oficiais são usados. É o melhor ponto de partida para a maioria dos fluxos.

Parâmetros:

  • ipadapter_file: seleciona IPAdapter; o nome oficial permite detecção automática
  • clip_vision: seleciona ou associa o encoder CLIP Vision
  • lora: carrega automaticamente o LoRA correspondente em modelos FaceID compatíveis

IPAdapter Advanced oferece weight_type, start_at e end_at. É o node central para controlar a influência com precisão.

Parâmetros:

  • weight: força da referência; comece em 0,8
  • weight_type: escopo, como style transfer, composition ou precise style transfer
  • start_at: ponto entre 0 e 1 em que a influência começa
  • end_at: ponto entre 0 e 1 em que ela termina

Com start_at=0,2 e end_at=0,8, o IPAdapter só atua entre 20 e 80% da amostragem. Os primeiros e últimos 20% rodam sem sua influência.

IPAdapter Encoder converte a referência na condição usada pelo IPAdapter. Em fluxos básicos, raramente exige ajuste direto.

6.3 Legacy Loader versus Unified Loader

  • Unified Loader: exige nomes oficiais e carrega automaticamente modelos compatíveis. Use na maioria dos fluxos.
  • Legacy Loader: aceita nomes próprios, mas exige seleção manual. É útil para arquivos renomeados ou testes de versões.

Mantenha os nomes oficiais e use Unified Loader quando possível. Mude para Legacy Loader em caso de nomes personalizados ou um modelo específico.

6.4 Montar o fluxo básico

Um fluxo IPAdapter básico segue esta cadeia:

Load Checkpoint → IPAdapter Unified Loader → IPAdapter Advanced → KSampler → VAE Decode → Save Image

                    Load Image (referência)

Etapas:

  1. Carregar o modelo base com Load Checkpoint
  2. Carregar IPAdapter com IPAdapter Unified Loader
  3. Carregar a referência com Load Image
  4. Aplicar a referência com IPAdapter Advanced
  5. Amostrar com KSampler
  6. Decodificar com VAE Decode
  7. Salvar com Save Image

Para instalar nodes ausentes e recuperar fluxos importados, consulte o guia de reutilização de workflows do ComfyUI.

7. Ramo FLUX IPAdapter: uma opção experimental

O FLUX IPAdapter usa nodes diferentes do SD e não carrega com o pacote do cubiq. Existem duas implementações comuns e ambas devem ser consideradas beta.

7.1 Opção XLabs-AI

  • Nodes: Flux Load IPAdapter e Apply Flux IPAdapter
  • Pasta: ComfyUI/models/xlabs/ipadapters/, não models/ipadapter/
  • Estado: beta; um bom resultado pode exigir várias gerações e ajustes de ip strength
  • Licença: os pesos seguem a licença não comercial FLUX.1 [dev]

XLabs-AI é uma das principais implementações de FLUX IPAdapter:

  1. Clonar o pacote XLabs em custom_nodes/
  2. Baixar o modelo FLUX IPAdapter em models/xlabs/ipadapters/
  3. Carregar um modelo base FLUX, não SD
  4. Usar Flux Load IPAdapter e Apply Flux IPAdapter

Parâmetro:

  • ip_strength: equivalente aproximado de weight no FLUX. Comece em 0,8–0,9, não em 1,0.
  • Gere vários resultados e ajuste o valor.

7.2 Opção Shakker-Labs

  • Node: Apply IPAdapter Flux Model
  • Parâmetros: weight, start_percent e end_percent
  • Pasta: clone o pacote em ComfyUI/custom_nodes/comfyui-ipadapter-flux/

Shakker-Labs oferece outro pacote específico para FLUX:

  1. Clonar com git clone https://github.com/Shakker-Labs/ComfyUI-IPAdapter-Flux
  2. Carregar o modelo FLUX IPAdapter
  3. Aplicar com Apply IPAdapter Flux Model

Parâmetros:

  • weight: força da referência; comece em 0,8–0,9
  • start_percent: ponto em que a influência começa
  • end_percent: ponto em que termina

7.3 Diferenças entre nodes FLUX e SD

ItemSD com cubiqFLUX com XLabs ou Shakker
Pacote de nodesComfyUI_IPAdapter_plusNodes da XLabs ou Shakker-Labs
Pasta do modelomodels/ipadapter/models/xlabs/ipadapters/
MaturidadeImplementação estável e difundidaBeta e experimental
LicençaCódigo dos nodes abertoPesos FLUX.1 [dev] não comerciais

7.4 Recomendações para FLUX IPAdapter

O ecossistema FLUX IPAdapter é mais novo e menos previsível. Teste nesta ordem:

  1. Começar pela XLabs, a rota mais comum
  2. Configurar ip_strength ou weight em 0,8–0,9, não em 1,0
  3. Gerar várias amostras e ajustar parâmetros
  4. Conferir a limitação não comercial de FLUX.1 [dev] antes do uso comercial

FLUX e SD usam pacotes, pastas e significados de parâmetros diferentes. Carregar um modelo FLUX IPAdapter nos nodes SD do cubiq causa erro ou nenhum efeito.

8. FaceID em resumo: uma opção para rostos

FaceID é um ramo do IPAdapter especializado em referências faciais. Ele exige insightface, e a maioria dos modelos FaceID também precisa de um LoRA específico em models/loras/. O Unified Loader o carrega automaticamente se a convenção de nomes for mantida.

Um guia separado deve cobrir FaceID, InstantID e ReActor em detalhes. O limite importante aqui é que FaceID adiciona dependências e um LoRA específico do modelo.

9. Dividir e combinar IPAdapter, ControlNet e LoRA

Os três métodos controlam propriedades diferentes e podem ser combinados. Ao empilhá-los, reduza cada weight para evitar conflitos.

9.1 Comparação dos três métodos

MétodoO que controlaO que exigeVantagem
IPAdapterEstilo, referência e características do temaUma imagem de referênciaTransferência imediata sem treinamento
ControlNetEstrutura, pose, linhas e profundidadeUm mapa OpenPose, Canny ou DepthControle preciso de composição e pose
LoRAEstilo, personagem e linguagem visualUm arquivo de modelo treinadoResultados estáveis na reutilização

São métodos complementares. O IPAdapter acelera testes de estilo, o ControlNet fixa estrutura e o LoRA estabiliza estilos ou personagens recorrentes.

9.2 Exemplos de combinação

Exemplo 1: estilo de referência + pose controlada

Objetivo: gerar um retrato no estilo de A Noite Estrelada com uma pose específica

  • IPAdapter: transferir estilo com weight=0,7–0,8 e weight_type=precise style transfer
  • ControlNet OpenPose: controlar pose com weight=0,8–1,0
  • Prompt de texto: descrever pessoa e fundo

Ajustes recomendados:

  • Manter IPAdapter em 0,7–0,8 para o estilo não cobrir a pose
  • Manter ControlNet em 0,8–1,0 porque a pose raramente conflita com o estilo
  • Aumentar CFG Scale para 8–9 se o prompt perder influência

Exemplo 2: estilo de referência + personagem treinado

Objetivo: gerar um personagem conhecido em um estilo visual específico

  • IPAdapter: transferir estilo com weight=0,6–0,7 e weight_type=precise style transfer
  • LoRA: carregar o personagem com weight=0,7–0,8
  • Prompt de texto: descrever cena e ação

Ajustes recomendados:

  • Manter IPAdapter em 0,6–0,7 e LoRA em 0,7–0,8; não maximizar ambos
  • Aumentar o weight do LoRA se o personagem estiver fraco
  • Aumentar o weight do IPAdapter se o estilo estiver fraco

Exemplo 3: várias referências + ControlNet

Objetivo: combinar estilo A, composição B e pose C

  • Primeiro ramo IPAdapter: estilo A com weight=0,5–0,6 e weight_type=precise style transfer
  • Segundo ramo IPAdapter: composição B com weight=0,6–0,7 e weight_type=composition
  • ControlNet OpenPose: pose C com weight=0,8–1,0

Ajustes recomendados:

  • Reduzir cada weight ao usar várias referências
  • Colocar um ramo não utilizado em weight 0
  • Ajustar por prioridade: pose, composição e estilo

9.3 Cuidados ao empilhar controles

Quando houver várias condições ativas:

  1. Reduzir cada weight: com outros controles fortes, configure IPAdapter em 0,5–0,7, não em 0,8–1,0.
  2. Ajustar por prioridade: primeiro pose do ControlNet, depois composição do IPAdapter e por fim estilo do IPAdapter.
  3. Não controlar a mesma propriedade duas vezes: dois sistemas forçando o estilo podem conflitar.
  4. Recuperar a influência do prompt quando necessário: aumente CFG Scale para 8–9 se as condições enfraquecerem o texto.

Consulte o guia de ControlNet no ComfyUI e o guia de LoRA no ComfyUI. Os valores exatos precisam ser testados com seu modelo e suas referências.

10. Lista de solução de problemas

10.1 Problemas comuns e soluções

ProblemaCausaSolução
Os nodes estão instalados, mas a geração falha ou não mudaCLIP Vision ausente, na pasta errada ou incompatívelConferir clip_vision/ e a tabela
Erro de combinaçãoIPAdapter e CLIP Vision não correspondemBaixar o CLIP Vision correto
O rosto borra com weight=1,0weight está alto demaisReduzir para 0,8–0,9 e testar cerca de 30 steps
A composição desviaO weight_type padrão transfere tudoEscolher precise style transfer no Advanced
FLUX IPAdapter não funcionaFLUX usa nodes diferentesUsar XLabs ou Shakker-Labs em vez de cubiq
Unified Loader não reconhece o arquivoO nome não segue a convençãoRestaurar o nome oficial ou selecionar no Legacy Loader
As características da referência estão fracasweight está baixo demaisAumentar para 0,8–0,9 ou usar um modelo plus
As características estão fortes demaisweight está alto demaisReduzir para 0,5–0,7
Várias referências entram em conflitoCada weight está alto demaisReduzir cada ramo para 0,5–0,6 e colocar os não usados em 0

10.2 Solução avançada de problemas

A imagem de referência é complexa demais

Problema: uma única imagem contém estilo, composição e tema muito marcantes, e as condições se misturam.

Solução:

  1. Separar as referências: uma para estilo com precise style transfer e outra para layout com composition
  2. Reduzir cada weight para 0,5–0,6
  3. Colocar ramos indesejados em weight 0

IPAdapter e vários LoRAs entram em conflito

Problema: estilo ou personagem fica instável ao empilhar IPAdapter e LoRA.

Solução:

  1. Configurar IPAdapter em 0,5–0,7 e LoRA em 0,5–0,7
  2. Não usar IPAdapter e LoRA para a mesma propriedade
  3. Ajustar por prioridade: personagem do LoRA e depois estilo do IPAdapter

FLUX continua irregular

Problema: as saídas do FLUX IPAdapter variam ou a referência às vezes não influencia.

Solução:

  1. Gerar várias amostras e ajustar ip strength ou weight
  2. Testar primeiro a XLabs
  3. Conferir se o modelo está em models/xlabs/ipadapters/

IPAdapter não corresponde ao modelo base

Problema: um IPAdapter SD1.5 é aplicado a um modelo base SDXL.

Solução:

  1. Combinar IPAdapter SD1.5 com SD1.5 e IPAdapter SDXL com SDXL
  2. Consultar o guia de seleção de modelos Stable Diffusion

As versões dos nodes são diferentes

Problema: nomes de nodes e parâmetros mudam ligeiramente entre versões.

Solução:

  1. Usar Unified Loader + IPAdapter Advanced como rota principal
  2. Conferir a versão instalada e atualizar quando necessário
  3. Seguir a documentação da versão instalada se os nomes mudarem

10.3 Ordem de verificação

Siga esta ordem:

  1. Conferir pastas: CLIP Vision e IPAdapter precisam estar no local correto
  2. Conferir a tabela: os dois modelos precisam corresponder
  3. Conferir nomes: restaurar os nomes oficiais para o Unified Loader
  4. Reduzir weight: começar em 0,8, não em 1,0
  5. Mudar weight_type: usar precise style transfer se a composição desviar
  6. Adicionar steps: testar cerca de 30 se uma referência forte ainda borrar o rosto

A maioria dos problemas iniciais vem de combinação incorreta ou weight excessivo. Confira primeiro as pastas, o encoder e o valor 0,8.

Conclusão

O IPAdapter usa uma imagem de referência como condição e transfere estilo, composição ou características do tema sem treinar um LoRA. A combinação com CLIP Vision é o ponto crítico da instalação. No ajuste, weight alto demais borra rostos e o weight_type padrão também arrasta a composição.

Uma sequência confiável:

  1. Escolher o CLIP Vision correto usando a tabela
  2. Começar weight em 0,8, não em 1,0
  3. Escolher precise style transfer quando quiser apenas estilo
  4. Reduzir cada weight ao combinar IPAdapter com ControlNet

Depois você pode testar consistência facial com FaceID, InstantID ou ReActor, ou treinar um LoRA para reutilização. Se precisar das bases, consulte o guia para começar com ComfyUI.

Montar e ajustar um fluxo básico do ComfyUI IPAdapter

Confira primeiro a combinação de modelos e as pastas; depois comece com força 0,8 e mude apenas um parâmetro por vez.

  1. 1

    Step 1: Instalar o pacote de nodes

    Clone cubiq/ComfyUI_IPAdapter_plus em ComfyUI/custom_nodes ou instale pelo ComfyUI Manager; depois reinicie o ComfyUI.
  2. 2

    Step 2: Preparar as pastas de modelos

    Confirme que ComfyUI/models/clip_vision existe e crie ComfyUI/models/ipadapter. Não misture os dois tipos de modelo na mesma pasta.
  3. 3

    Step 3: Verificar a combinação

    Use o nome do arquivo IPAdapter para descobrir se ele precisa de vit-h ou bigG e confirme se o modelo base é SD1.5, SDXL ou FLUX.
  4. 4

    Step 4: Conectar os nodes básicos

    Conecte Load Checkpoint, IPAdapter Unified Loader, IPAdapter Advanced, KSampler, VAE Decode e Save Image nessa ordem; depois ligue Load Image à entrada da referência.
  5. 5

    Step 5: Começar com valores seguros

    Gere uma imagem de referência com weight 0,8 e cerca de 30 steps. Escolha precise style transfer só para estilo ou composition só para layout.
  6. 6

    Step 6: Alterar uma variável por vez

    Ajuste weight, weight_type, start_at ou end_at separadamente. Reduza cada weight ao combinar várias referências ou ControlNet para evitar condições conflitantes.

FAQ

Qual é a diferença entre IPAdapter e ControlNet?
O IPAdapter extrai estilo, composição ou características do tema de uma imagem de referência. O ControlNet limita a imagem com pose, bordas ou profundidade. Você pode combiná-los: IPAdapter controla o estilo e ControlNet controla pose ou estrutura.
Qual CLIP Vision o ip-adapter_sdxl exige?
O ip-adapter_sdxl sem sufixo vit-h exige bigG, especificamente CLIP-ViT-bigG-14-laion2B-39B-b160k. Modelos SDXL com sufixo _vit-h usam CLIP-ViT-H-14.
Qual weight devo usar no IPAdapter?
Comece em 0,8 na maioria dos fluxos. Aumente para 0,9 se a referência estiver fraca. Reduza para 0,5–0,7 se o rosto borrar, a referência dominar o prompt ou a composição desviar; depois ajuste weight_type.
Como transferir o estilo sem copiar a composição?
Selecione precise style transfer no IPAdapter Advanced ou use o node IPAdapter Precise Style Transfer. Comece com weight entre 0,7 e 0,9.
É possível usar IPAdapter com FLUX?
Sim, mas você precisa de nodes próprios do FLUX, como Flux Load IPAdapter e Apply Flux IPAdapter da XLabs, ou Apply IPAdapter Flux Model da Shakker-Labs. Não carregue FLUX diretamente nos nodes SD do cubiq.
Por que o Unified Loader não encontra meu modelo IPAdapter?
Confira se o IPAdapter está em ComfyUI/models/ipadapter, o CLIP Vision em ComfyUI/models/clip_vision e se ambos mantêm o nome oficial. Use o Legacy Loader para selecionar arquivos com nomes personalizados.

18 min de leitura · Publicado em: 21 ago 2026 · Atualizado em: 21 ago 2026

Comentários

Entre com GitHub para comentar

Easton BlogEaston Blog