한 줄 요약

영상 모델의 쓰임새가 "영상을 새로 만든다"에서 "이미 찍은 영상을 고친다"로 넓어지고 있습니다. 리라이팅, 배경 교체, 알파 매트, 컴포지팅까지, 이번 주에 나온 사례들을 현업 기준으로 정리했습니다.

1. 왜 지금 후반작업인가

MiniMax H3는 텍스트·이미지·영상·오디오를 한 번에 입력받는 범용 영상 모델입니다. fal 소개 페이지 기준으로 최대 15초, 2K, 네이티브 스테레오 오디오를 지원하고, 상품 교체·간판 문구 수정·낮밤 라이팅 변경·오브젝트 추가/제거 같은 부분 편집을 쓸 수 있다고 안내합니다. 편집하지 않은 부분은 안정적으로 유지하는 것이 목표라고 합니다. 프롬프트 작성법은 fal의 H3 프롬프팅 가이드에 영상 예시 44개와 함께 정리돼 있습니다.

그리고 H3는 오픈 웨이트로 공개됐습니다. 그래서 fal 같은 서비스가 라이팅 스튜디오를 붙이고(H3 Max 소개), 커뮤니티가 인페인팅 블록과 LoRA를 만들기 시작했습니다. 아래 사례는 모두 그 흐름 위에 있습니다.

라이선스 주의: fal 페이지는 "오픈 웨이트"라고만 안내하고 구체적인 라이선스 조항은 적지 않았습니다. 가중치를 직접 받아 상업 작업에 쓰려면 모델 카드의 라이선스를 먼저 확인하세요. fal API로 만든 결과물은 상업 프로젝트에 쓸 수 있다고 안내합니다(fal 이용약관 기준).

2. fal H3 Max Relight — 촬영된 영상의 조명만 다시 짠다

fal이 공식 X 계정으로 공개한 기능입니다. 기존 영상을 올리면 내장 라이팅 스튜디오에서 색상, 조명 궤도, 강도, 부드러움을 설계하고, 피사체·모션·카메라 움직임·오디오는 유지한 채 전 프레임을 리라이팅한다고 설명합니다. 전후 비교 데모 영상이 함께 올라와 있습니다.

• 쓸모: 촬영본이나 AI 생성본의 조명이 마음에 안 들 때 재생성 없이 조명만 수정

• 주의: "H3 Max가 종합 품질에서 선두"라는 문구는 fal의 주장입니다. 제 쪽에서 비교 검증한 것은 아닙니다.

• 주의: Relight 전용 소개 페이지는 찾지 못했습니다. 공개 링크는 위 X 게시물이 유일합니다.

  

3. 배경 교체 — 그린스크린 없이

Hugging Face의 Linoy Tsaban이 두 모델을 조합한 워크플로우를 공개했습니다.

1. LTX-2.5 Alpha Gen IC-LoRA가 일반 RGB 영상에서 알파 매트를 뽑습니다. 그린스크린, 마스크, 프롬프트가 필요 없고, 머리카락·연기·유리·물 같은 반투명 요소도 처리한다고 소개합니다. 브라우저에서 바로 써볼 수 있는 데모 Space도 있습니다.

2. MiniMax H3 인페인팅이 매트로 분리한 영역에 새 배경을 생성합니다. 마스크 드롭 노브로 플리커를 줄입니다.

H3 인페인팅은 diffusers-modular 커뮤니티가 Modular Diffusers 블록으로 공개했고(Apache-2.0), 원본 영상과 프레임별 마스크를 주면 마스크 영역만 다시 그리고 원래 사운드트랙은 그대로 보존합니다. 한 번에 5~15초 분량이라 긴 영상은 나눠서 돌려야 합니다. Linoy Tsaban은 후속 게시물에서 머리카락 디테일 수준의 매트 정밀도와 H3 네이티브 인페인팅 성능을 칭찬했습니다.

쓰기 전에 알아둘 것

• Alpha Gen LoRA는 접근 제한(gated) 모델입니다. Hugging Face에서 로그인하고 연락처 공유에 동의해야 받을 수 있습니다.

• 라이선스는 LTX-2.x 커뮤니티 라이선스입니다. 상업 이용 조건은 직접 읽어보세요.

• 모델 카드 기준으로 풀HD 145프레임은 H100/B200급 GPU가 필요하다고 합니다. 로컬 소비자 GPU로는 해상도를 낮춰야 합니다.

• ComfyUI에서는 ComfyUI-LTXVideo를 통해 쓸 수 있고, LoRA는 models/loras에 넣고 IC-LoRA 영상→영상 워크플로우에서 프롬프트를 비워 강도 1.0으로 돌립니다.

  

4. Nuke + ComfyUI — 컴포지터가 쓰는 방식

컴포지터 Mario Falco가 LinkedIn에서 내부 구조를 공개하고, nuke-comfyui-bridge라는 GitHub 리포지토리로 풀었습니다. Nuke 패널에서 플레이트를 ComfyUI로 보내면 프레임마다 멀티레이어 EXR이 돌아옵니다. 레이어는 카메라 공간 노멀(N), 메트릭 뎁스(depth.Z), 포지션(P), 알파(A)입니다. 인물은 Sapiens2로 세그멘테이션하고, 배경은 MoGe로 형태를 유지하며, RAFT 옵티컬 플로우로 플리커를 줄이는 구성입니다.

코드는 MIT이고, 제 쪽에서는 리포지토리 README만 읽었습니다. 직접 돌려본 것은 아닙니다.

현업에서 중요한 부분

• 작성자 테스트 환경: Windows, RTX 3090(24GB), ComfyUI 0.38, 시스템 RAM 128GB. 24GB 카드에 맞추려면 int8 모델이 필요하다고 합니다.

• 커스텀 노드: ComfyUI-KJNodes, ComfyUI-Sapiens2-Easy, ComfyUI-Video-Depth-Anything

• 상업 작업 주의: Video Depth Anything(Large, metric Large)은 CC-BY-NC-4.0(비상업)입니다. 클라이언트 작업에 쓰려면 이 구간을 대체해야 합니다.

• LTX 계열 저장소는 Hugging Face에서 접근 승인이 필요합니다.

5. Comfy Agent 실전 테스트 — 에이전트에게 컴포지팅을 맡기면

Comfy Agent는 캔버스 위에서 워크플로우를 계획하고, 만들고, 고쳐주는 ComfyUI 공식 에이전트입니다. 공식 블로그 기준으로 현재 베타이고 Comfy Cloud 사용자에게 열려 있으며, 이미 가진 Comfy 크레딧으로 쓰는 방식입니다.

컴포지터 Mustafa Hassan이 실제 과제인 안경 렌즈 반사 제거로 테스트한 기록이 흥미롭습니다.

• 기존 Bernini-R 워크플로우에서 Agent가 그래프를 점검하고 프롬프트와 설정을 조정한 첫 실행 결과가 가장 좋았고, 추가 최적화는 개선으로 이어지지 않았습니다.

• 빈 그래프에서 처음부터 시키자 Agent가 SAM3와 Wan 2.1 VACE를 골라 세그멘테이션+인페인팅 워크플로우를 스스로 만들었지만, 결과는 프로덕션 수준이 아니라고 평가했습니다.

• 전체 실험에 Comfy Cloud 크레딧을 약 2,000개 썼다고 밝혔습니다.

제가 읽은 교훈은 이렇습니다. 잘 만들어진 기존 워크플로우를 점검·튜닝하는 데는 에이전트가 효과적이지만, 빈 캔버스에서 프로덕션 품질을 기대하기는 아직 이릅니다. 그리고 에이전트가 시도를 반복할수록 크레딧이 빠르게 나갑니다. 크레딧 상한을 정해두고 쓰세요.

6. 정리

사례하는 일접근 방법먼저 확인할 것H3 Max Relight (fal)영상 리라이팅fal 서비스요금, 성능은 벤더 주장LTX Alpha Gen + H3 인페인팅배경 교체HF 모델 / ComfyUIgated 승인, LTX 커뮤니티 라이선스, 고사양 GPUnuke-comfyui-bridgeNuke용 EXR 패스 생성로컬 ComfyUI + Nuke비상업 라이선스 모델 포함, RAM/VRAMComfy Agent워크플로우 점검·구축Comfy Cloud베타, 크레딧 소모

공통점은 하나입니다. 생성 모델이 "처음부터 그리는 도구"에서 "내 영상의 일부만 바꾸는 도구"로 쓰이기 시작했습니다. 그만큼 입력 영상, 마스크, 알파 같은 기본기가 결과를 좌우합니다.