ComfyUI 인물 일관성: InstantID, FaceID, ReActor 선택법

허가받은 모델의 정면 사진 한 장으로 같은 인물이 여러 장면에 등장하는 이미지를 만들고 싶을 수 있습니다. 또는 이미 완성된 포스터에서 얼굴만 지정한 오리지널 가상 캐릭터로 바꾸려는 경우도 있습니다. 두 작업은 기술 경로가 다릅니다. 전자는 생성 중에 정체성 특징을 주입하고, 후자는 후처리 단계에서 얼굴을 교체합니다.

ComfyUI에서 자주 쓰는 세 가지 방법은 InstantID, IPAdapter FaceID, ReActor입니다. 이름은 비슷하지만 역할은 다릅니다. ComfyUI용 InstantID 노드는 SDXL을 대상으로 하고 의존성이 많습니다. FaceID는 SD1.5와 SDXL을 지원하지만 모델과 LoRA를 맞춰야 합니다. ReActor는 생성이 끝난 뒤 얼굴을 교체하며 확산 생성에는 참여하지 않습니다.

선택할 때는 먼저 요구 사항이 생성 단계에 있는지 후처리 단계에 있는지 판단합니다. 그다음 모델 의존성, 조정 방향, 자주 발생하는 오류, 자료 사용 허가의 경계를 확인합니다.

1. 세 가지 방법 비교: 생성 중 정체성 유지와 후처리 얼굴 교체

먼저 한 가지를 판단해야 합니다. 같은 인물의 여러 이미지를 처음부터 생성하려는 것인지, 이미 완성된 이미지에서 얼굴만 바꾸려는 것인지 확인합니다. 이 판단이 사용할 방법을 결정합니다.

방법	역할	적합한 상황	입력	모델 제한	의존성 복잡도
InstantID	생성 중 정체성 유지	같은 얼굴의 이미지를 처음부터 여러 장 생성	얼굴 참조 이미지 한 장	현재 ComfyUI_InstantID는 SDXL 대상	높음(InsightFace + onnxruntime + antelopev2 + ControlNet + InstantID 주 모델)
IPAdapter FaceID	생성 중 정체성 유지	같은 얼굴의 이미지를 처음부터 여러 장 생성	얼굴 참조 이미지 한 장 또는 여러 장	SD1.5 + SDXL	중간(InsightFace + FaceID 모델 + 대응 LoRA)
ReActor	후처리 얼굴 교체	기존 생성 이미지에서 얼굴만 교체	원본 이미지 + 대상 얼굴 이미지	생성 기반 모델과 무관	버전에 따라 다름(0.7 알파 새 코어는 InsightFace를 강제하지 않지만 모델과 라이선스는 확인 필요)

선택 기준

• 같은 인물의 이미지를 처음부터 여러 장 생성하려면 → InstantID 또는 FaceID
• 이미 완성된 이미지에서 얼굴만 바꾸려면 → ReActor
• 얼굴 참조 이미지가 한 장뿐이라면 → 세 방법 모두 처리할 수 있지만 생성 단계 제어에는 InstantID와 FaceID가 더 적합합니다
• 완성된 이미지의 자세와 구도를 유지하면서 얼굴을 바꾸려면 → ReActor가 더 직접적입니다

먼저 확인할 라이선스 경계

InstantID와 FaceID는 일반적으로 InsightFace로 얼굴 특징을 추출합니다. InsightFace 코드는 MIT 라이선스이지만 학습 데이터와 그 데이터로 학습한 모델은 기본적으로 비상업적 연구 용도입니다. FaceID 모델 카드도 해당 모델을 연구 용도로 제한합니다. ReActor는 SFW-friendly라고 명시하고 nudity detector를 포함하며 README에서 책임 있는 사용을 요구합니다.

상업적으로 사용하거나 공개하기 전에 초상권 허가, 모델 가중치 라이선스, 플랫폼 규칙을 각각 확인해야 합니다. 이 글은 허가받은 자료, 본인 소유 자료, 오리지널 캐릭터, 내부 테스트만 다룹니다.

2. InstantID: SDXL을 위한 생성 단계 정체성 유지

2.1 설치와 모델 경로

InstantID는 FaceID와 ReActor보다 의존성이 많습니다. 노드를 설치한 뒤에는 모델 경로 오류가 가장 자주 발생합니다.

설치 단계:

# 1. 노드 복제
cd ComfyUI/custom_nodes
git clone https://github.com/cubiq/ComfyUI_InstantID.git

# 2. 의존성 설치
pip install insightface onnxruntime onnxruntime-gpu

InsightFace 1.0의 기본 Python 패키지는 선택 사항인 C++/Cython face3d 확장을 더 이상 컴파일하지 않아 로컬 빌드 요구 사항이 줄었습니다. 이전 환경이나 오래된 튜토리얼에서 여전히 컴파일 오류가 발생하면 실제 버전을 먼저 확인하고 별도 가상 환경을 사용합니다. 현재 버전에 Visual Studio C++ Build Tools가 반드시 필요하다고 단정하지 마세요.

모델	대상 경로	출처
antelopev2	ComfyUI/models/insightface/models/antelopev2	InsightFace 모델
InstantID 주 모델	ComfyUI/models/instantid	InstantX Hugging Face
InstantID ControlNet	ComfyUI/models/controlnet	InstantX Hugging Face

ComfyUI_InstantID의 현재 README에는 이 노드가 SDXL 전용이라고 명시되어 있습니다. 워크플로가 SD1.5 기반이라면 FaceID로 전환해야 합니다.

ComfyUI_InstantID 저장소는 2025년 4월 14일부터 maintenance only 상태입니다. 중요한 수정은 병합될 수 있지만 유지관리자가 지속적인 개발을 약속하지는 않습니다. 설치 전에 현재 README를 확인하세요.

2.2 워크플로와 조정

기본 워크플로:

1. SDXL checkpoint를 불러옵니다
2. Apply InstantID 노드를 연결하고 정면 얼굴 참조 이미지 한 장을 입력합니다
3. InstantID 모델과 ControlNet 조건을 샘플링 체인에 연결합니다
4. 이미지를 생성합니다

참조 이미지 품질은 최종 유사도에 직접 영향을 줍니다. 정면이고 선명하며 가림이 없고 조명이 균일한 이미지가 대체로 안정적입니다. 측면 얼굴, 작은 얼굴, 흐린 얼굴, 심하게 가려진 얼굴은 감지에 실패하거나 유사도가 낮을 수 있습니다.

증상	조정 방향
유사도가 낮음	InstantID 모델 또는 ControlNet 가중치를 점진적으로 높입니다
과도한 채도 또는 약한 텍스트 제어	InstantID 모델 가중치를 먼저 낮추고 기준 이미지와 비교합니다
CFG가 너무 높음	노드 README에 따라 약 4-5로 낮추거나 RescaleCFG를 사용합니다

InstantID 상위 구현의 기본 경로는 여러 사람의 참조를 지원하지 않으며 가장 큰 얼굴의 키포인트만 사용합니다. ComfyUI_InstantID에는 더 복잡하고 느린 Multi-ID 예제 워크플로도 있지만 이를 단순하고 안정적인 다중 인물 경로로 보아서는 안 됩니다.

고급 노드 기능:

• Advanced InstantID: InstantID 모델과 ControlNet 가중치를 각각 조정할 수 있습니다
• Noise injection: 이미지가 과도하게 타는 현상을 줄이고 유사도를 미세 조정합니다
• image_kps 입력: 다른 이미지의 키포인트를 전달해 자세를 바꾸고 참조 이미지 자세의 영향을 줄입니다

자세를 더 정밀하게 제어하려면 ControlNet OpenPose를 함께 사용할 수 있습니다.

3. IPAdapter FaceID: SD1.5와 SDXL의 생성 단계 정체성 유지

FaceID는 IPAdapter 제품군의 얼굴 특화 방식입니다. 일반 CLIP image embedding 대신 face recognition embedding을 사용하고 LoRA를 결합해 정체성 일관성을 강화할 수 있습니다.

3.1 설치와 모델 조합

먼저 ComfyUI Python 환경에 의존성을 설치합니다.

pip install insightface

FaceID 모델은 ComfyUI/models/ipadapter에 넣고 대응하는 LoRA는 ComfyUI/models/loras에 넣습니다. Unified Loader FaceID는 공식 파일 이름으로 자동 조합하므로 이름이 틀리면 자동 로드에 실패합니다.

FaceID 모델	대응 LoRA	경로
ip-adapter-faceid_sd15.bin	ip-adapter-faceid_sd15_lora.safetensors	models/ipadapter + models/loras
ip-adapter-faceid-plusv2_sd15.bin	ip-adapter-faceid-plusv2_sd15_lora.safetensors	위와 같음
ip-adapter-faceid_sdxl.bin	ip-adapter-faceid_sdxl_lora.safetensors	위와 같음
ip-adapter-faceid-plusv2_sdxl.bin	ip-adapter-faceid-plusv2_sdxl_lora.safetensors	위와 같음

구체적인 모델 목록과 이름은 노드 업데이트에 따라 달라질 수 있습니다. 설치 전에 ComfyUI_IPAdapter_plus README를 확인하고 모델과 LoRA가 기반 모델 및 버전에 맞는지 확인하세요. LoRA가 없거나 잘못 조합되면 정체성 일관성이 크게 떨어집니다.

버전별 차이:

• PlusV2: 얼굴 ID embedding과 조절 가능한 CLIP image embedding을 함께 사용하며 face structure 가중치를 바꿀 수 있습니다
• Portrait: 인물 이미지 생성용이며 LoRA나 ControlNet이 필요하지 않고 여러 얼굴 이미지를 받아 유사도를 높일 수 있습니다
• SDXL FaceID와 PlusV2-SDXL: 모델 카드에서 experimental로 표시하므로 절대적으로 안정적인 방법으로 간주하면 안 됩니다

ComfyUI_IPAdapter_plus 저장소도 2025년 4월 14일부터 maintenance only 상태입니다.

3.2 워크플로와 조정

FaceID 가중치를 반드시 1.0에서 시작할 필요는 없습니다. 정체성 가중치가 지나치게 높으면 결과가 참조 이미지와 비슷해지는 대신 텍스트 프롬프트의 제어력이 약해질 수 있습니다.

조정 방향:

• 0.8 정도에서 기준을 만들고 유사도가 부족하면 점진적으로 높입니다
• 프롬프트에 더 충실해야 한다면 IPAdapter Advanced에서 weight type을 바꾸거나 가중치를 낮춥니다
• PlusV2에서는 face structure 관련 가중치도 별도로 조정할 수 있습니다

FaceID와 InstantID는 모두 생성 중에 정체성 조건을 제공합니다. FaceID는 SD1.5와 SDXL을 지원하지만 현재 ComfyUI_InstantID 노드는 SDXL을 대상으로 합니다. VRAM 사용량은 기반 모델, 해상도, GPU, 노드 버전에 따라 달라지므로 하나의 고정 수치로 설명하기 어렵습니다.

4. ReActor: 후처리 단계의 SFW 얼굴 교체

ReActor의 역할은 앞의 두 방법과 다릅니다. 확산 생성에는 참여하지 않고, 이미 생성했거나 기존에 있던 이미지에서 얼굴을 교체합니다.

4.1 설치와 의존성 변화

ReActor 0.7.0 알파의 새 코어는 InsightFace와 C++ Build Tools가 더 이상 필요하지 않다고 밝힙니다. 하지만 현재 README의 모델 표와 라이선스 항목에는 buffalo_l, inswapper_128.onnx 등이 여전히 포함되어 있습니다. 구체적인 설치와 사용 허가는 현재 버전을 기준으로 확인해야 합니다.

모델	현재 README 경로
buffalo_l	ComfyUI/models/insightface/models/buffalo_l
inswapper_128	ComfyUI/models/insightface
reswapper	ComfyUI/models/reswapper
hyperswap	ComfyUI/models/hyperswap
Face Restore 모델	ComfyUI/models/facerestore_models

오래된 튜토리얼은 InsightFace와 C++ Build Tools를 고정된 선행 조건으로 설명하는 경우가 많습니다. 지침이 충돌하면 먼저 ReActor 버전을 확인하고 해당 버전의 README를 따릅니다. 오래된 튜토리얼의 의존성 단계를 섞지 마세요.

ReActor에는 nudity detector가 포함되어 있습니다. README는 실제 얼굴을 사용할 때 당사자의 동의를 얻고 공개할 때 합성 콘텐츠임을 명확히 밝히도록 요구합니다. buffalo_l, inswapper_128 등 모델의 상업적 라이선스는 별도로 확인해야 합니다.

4.2 워크플로

기본 얼굴 교체 단계:

1. 처리할 이미지를 input_image에 연결하고 허가된 참조 얼굴을 source_image에 연결합니다
2. ReActorSetWeight를 보수적인 강도에서 시작합니다
3. 선택 사항: Face Similarity로 교체 후 유사도를 확인합니다
4. 선택 사항: Face Restoration으로 가장자리와 세부를 복원합니다
5. 선택 사항: face model을 저장해 나중에 같은 얼굴의 embedding을 불러옵니다

기능	설명
ReActorSetWeight	노드 단계에 따라 0%-100% 범위에서 교체 강도를 조정합니다. 너무 강하면 플라스틱 같은 얼굴이나 부자연스러운 가장자리가 생길 수 있습니다
Face Similarity	얼굴 교체 결과의 유사도를 확인합니다
Face Restoration	교체 후 가장자리와 세부를 복원합니다. 강도가 너무 높으면 플라스틱 같은 질감이 생길 수 있습니다
Face Model	얼굴 embedding을 저장하거나 불러와 같은 얼굴을 재사용합니다

ReActor는 원본 이미지의 구도, 의상, 자세를 다시 생성하지 않습니다. 완성된 이미지의 전체 내용을 유지하고 얼굴 영역만 처리하려면 InstantID나 FaceID보다 직접적입니다.

5. 참조 이미지 품질과 자주 발생하는 오류

5.1 참조 이미지 품질 점검표

참조 이미지 품질은 가중치를 계속 올리는 것보다 중요한 경우가 많습니다. 정면이고 선명하며 가림이 없고 조명이 균일한 이미지가 일반적으로 더 안정적인 결과를 냅니다. 측면 얼굴, 흐린 얼굴, 작은 얼굴, 심하게 가려진 얼굴은 가중치를 높여도 완전히 보완하기 어렵습니다.

우선순위:

1. 정면 > 측면 또는 기울어진 얼굴
2. 선명함 > 흐림
3. 가림 없음 > 안경, 마스크, 앞머리로 가려짐
4. 균일한 조명 > 강한 그림자 또는 역광

이 기준은 InstantID, FaceID, ReActor의 얼굴 참조 이미지에 모두 적용됩니다. 감지에 실패하면 먼저 얼굴을 잘라내거나 참조 이미지를 바꾸고, 모든 가중치를 최대로 올리지는 마세요.

5.2 자주 발생하는 문제 해결표

문제	가능한 원인	해결 방향
모델을 찾지 못함(antelopev2 / buffalo_l / InstantID 주 모델)	경로가 잘못되었거나 모델을 다운로드하지 않음	사용 중인 노드의 현재 README에서 models/insightface/models, models/instantid 등의 폴더를 확인합니다
감지 실패(no face detected)	측면 얼굴, 작은 얼굴, 흐림 또는 가림	정면이고 선명하며 가림이 없는 참조 이미지를 사용하고 필요하면 얼굴을 먼저 잘라냅니다
얼굴은 비슷하지만 자세나 표정이 달라짐	얼굴 조건이 일부 구조적 특징도 전달함	ControlNet으로 자세를 제어하거나 완성된 이미지에는 ReActor를 사용합니다
유사도가 낮음	FaceID 대응 LoRA 누락, 부적절한 가중치 또는 낮은 참조 품질	모델과 LoRA 조합을 확인하고 0.8 정도에서 기준을 만든 뒤 항목별로 조정합니다
가장자리가 부자연스럽거나 플라스틱처럼 보임	ReActor 얼굴 교체 또는 Face Restoration 강도가 너무 높음	교체와 복원 강도를 낮추고 대상 얼굴의 크기, 각도, 조명을 확인합니다
의존성 설치 오류	오래된 튜토리얼, 이전 노드, 현재 Python 환경을 혼용함	노드와 InsightFace 버전을 먼저 확인하고 별도 환경에서 현재 README에 따라 설치합니다

판단 순서:

• 감지 실패 → 참조 이미지 품질부터 확인합니다
• 유사도 부족 → 모델, LoRA 조합, 경로부터 확인합니다
• 자세 변화 → 생성 중 정체성 주입과 후처리 얼굴 교체를 구분한 뒤 ControlNet을 추가하거나 방법을 바꿉니다

6. ControlNet, Kontext, LoRA 조합의 경계

얼굴을 고정해도 자세, 신체, 의상, 구도가 고정되는 것은 아닙니다. InstantID와 FaceID가 정체성 조건을 주입할 때 참조 이미지의 자세, 표정, 머리 모양도 결과에 영향을 줄 수 있습니다.

권장 조합:

• InstantID 또는 FaceID + ControlNet OpenPose → 얼굴 조건은 정체성을, ControlNet은 신체와 자세를 담당합니다
• FaceID + 일반 IPAdapter → FaceID는 얼굴을 고정하고 일반 IPAdapter는 스타일이나 구도를 제어합니다. 두 경로 모두 보수적인 값에서 시작합니다
• ReActor + 고해상도 복원 → 대상 이미지를 먼저 생성하고 얼굴을 교체한 뒤 필요할 때만 face restore 또는 부분 inpaint를 사용합니다
• Kontext → 같은 입력 이미지의 배경, 의상, 장면을 바꾸는 데 적합하지만 얼굴 정체성 고정 전용 방법은 아닙니다
• LoRA → 오리지널 캐릭터나 브랜드 가상 인물을 장기간 재사용할 때 적합하며 데이터세트와 학습 과정이 필요합니다

자세를 정확히 맞춰야 한다면 ControlNet OpenPose에 목표 자세 이미지를 전달하고 InstantID나 FaceID는 얼굴을, ControlNet은 신체와 자세를 담당하게 합니다. 완성된 이미지의 구도를 유지하면서 얼굴만 바꾸려면 ReActor가 더 직접적입니다.

관련 글:

• ComfyUI ControlNet 활용: OpenPose, Canny, Depth로 구도와 자세 제어하기
• ComfyUI 워크플로 재사용: 사용자 정의 노드, 모델 경로, 누락 노드 해결
• ComfyUI LoRA 활용: 로드, 가중치, 다중 LoRA, 캐릭터 일관성

7. 법적 책임과 라이선스 경계

라이선스와 자료 출처는 반드시 지켜야 할 경계입니다. 기술적으로 실행된다고 해서 자료, 모델, 공개 방식까지 허가된 것은 아닙니다.

InsightFace 코드와 모델 라이선스를 구분합니다

InsightFace 코드는 MIT 라이선스를 사용하므로 학술 및 상업적 사용이 가능합니다. 하지만 학습 데이터와 그 데이터로 학습한 사전 학습 모델은 기본적으로 비상업적 연구 용도입니다. InsightFace의 현재 README는 inswapper 제품군과 오픈소스 얼굴 인식 모델에 서로 다른 라이선스 연락처도 제공합니다.

FaceID 모델 카드도 InsightFace 사전 학습 모델에 의존하므로 IP-Adapter-FaceID가 연구 전용이라고 명시합니다. 노드 코드 라이선스를 모델 가중치의 상업적 사용 허가로 해석하면 안 됩니다.

ReActor 사용 책임과 공개

ReActor의 현재 버전은 SFW-friendly라고 명시하고 nudity detector를 포함합니다. README는 현지 법률을 준수하고 실제 얼굴을 사용할 때 동의를 얻으며, 공개 콘텐츠가 얼굴 교체 또는 AI 합성을 거쳤다는 사실을 명확히 밝히도록 요구합니다.

자료 출처 제한

이 글은 다음 상황만 다룹니다.

• 초상과 사용 허가를 받은 모델 사진
• 직접 촬영했고 처리할 권리가 있는 개인 자료
• 실제 인물을 나타내지 않는 오리지널 가상 캐릭터
• 외부에 공개하지 않는 규정 준수 내부 테스트

상업적으로 사용하거나 공개하기 전에 초상권 허가, 모델 라이선스 범위, 플랫폼 규칙을 각각 확인해야 합니다. 하나라도 확인할 수 없다면 공개하거나 상업적으로 사용하지 마세요.

요약과 다음 단계

핵심 판단은 간단합니다.

• 생성 중 정체성 유지 → InstantID(현재 ComfyUI 노드는 SDXL 대상) 또는 FaceID(SD1.5 + SDXL)
• 후처리 얼굴 교체 → ReActor
• 무작정 가중치를 높이기 전에 참조 이미지 품질, 모델 경로, 버전 조합을 확인합니다
• 코드 라이선스와 사전 학습 모델의 상업적 사용 허가는 다르며 실제 얼굴에는 초상권 허가도 필요합니다

InstantID는 SDXL 워크플로에 적합하고 의존성이 많지만 얼굴 정체성과 키포인트 조건을 따로 제어할 수 있습니다. FaceID는 더 많은 기반 모델을 지원하지만 모델과 LoRA를 정확히 맞춰야 합니다. ReActor는 확산 생성에 참여하지 않으며 기존 이미지의 얼굴을 처리할 때 적합합니다.

다음 글도 참고할 수 있습니다.

• 자세가 달라지거나 엄격한 구도가 필요하다면 → ComfyUI ControlNet 활용
• 오리지널 캐릭터를 장기간 안정적으로 재사용하려면 → ComfyUI LoRA 활용
• 얼굴 교체 후 확대하거나 일부 영역을 복원하려면 → ComfyUI 업스케일과 인페인팅
• 노드나 모델 경로 오류가 반복된다면 → ComfyUI 워크플로 재사용