제어 가능한 비디오 생성은 텍스트 프롬프트나 주로 픽셀 움직임을 제약하는 모션 제어 입력으로 정밀한 다중 객체 상호작용을 지정하기 어렵기 때문에 여전히 도전적인 과제이다. 실제로 궤적 기반 제어는 사용자가 여러 객체에 대한 정확한 궤적을 그려야 하는 경우가 많으며, 이는 장면 복잡도에 따라 확장성이 떨어지고 가림(occlusion)이나 겹침(overlap) 상황에서 모호해진다. 유연하면서도 정밀한 다중 주체 제어를 가능하게 하기 위해, 구조화된 상호작용 그래프를 통한 대화형 제어를 지원하는 그래프 조건 이미지-투-비디오 생성 모델 GraphVid를 제안한다. 또한 상호작용 인식 비디오 생성 모델의 학습을 가능하게 하기 위해 구조화된 관계 주석이 포함된 대규모 상호작용 중심 비디오 데이터셋 GraphVid-Bench를 구축한다. 이전 모션 제어 방법들보다 훨씬 적은 학습 데이터와 더 적은 학습 가능 파라미터를 사용함에도 GraphVid는 강력한 제어 가능성과 비디오 품질을 제공한다. Motion-I2V와 비교하면 GraphVid는 FID를 최대 39.9%, FVD를 37.6% 낮추면서 PSNR(9.87=>15.98)과 SSIM(0.38=>0.61)을 개선한다. 우리 결과는 구조화된 의미론적 인터페이스가 제어 가능한 비디오 생성을 위한 강력한 패러다임이 될 수 있는 잠재력을 보여준다.
자연어는 여전히 사람들이 대규모 언어 모델(LLM)과 상호작용하는 주된 방식이다. 그러나 사용자는 프롬프팅을 통해 주관적 선호(예: 어조, 스타일, 강조)를 정확하게 표현하고 제어하는 데 종종 어려움을 겪는다. 우리는 제어 가능한 LLM 생성을 위한 새로운 대화형 프롬프팅 기법인 Malleable Prompting을 제안한다. 이 기법은 자연어 프롬프트 속 선호 표현을 GUI 위젯(예: 슬라이더, 드롭다운, 토글)으로 구체화하여, 사용자가 이를 직접 설정해 생성을 유도할 수 있게 하며, 각 제어가 출력에 미치는 영향을 시각화하여 반복 간 귀속과 비교를 지원한다. 이 상호작용을 가능하게 하기 위해, 우리는 선호 표현과 해당 위젯 값에 따라 생성 중 토큰 확률 분포를 조절하는 LLM 디코딩 알고리즘을 도입한다. 사용자 연구를 통해, Malleable Prompting이 참가자가 목표 선호를 더 정확하게 달성하도록 돕고, 자연어 프롬프팅만 사용할 때보다 더 제어 가능하고 투명하다고 인식된다는 것을 보여준다.
가상 피팅(VTO)은 의류를 대상 인물에게 사실적으로 전이하는 데 있어 상당한 발전을 이루었다. 그러나 대부분의 시스템은 의류를 어떻게 착용할지—크기(여유 있게 또는 딱 맞게), 스타일(예: 집어 넣거나 빼거나, 열거나 닫거나), 신체 위의 공간적 배치—에 대한 사용자 제어를 거의 제공하지 않는다. 우리는 두 가지 상호 보완적인 기여로 이 간극을 해소한다. 첫째, VIP-SAM을 통해 시각적 인스턴스 프롬프트 세그멘테이션(Visual-Instance-Prompt Segmentation)을 정의하고 해결한다: 의류의 플랫레이 이미지가 주어졌을 때, 해당 의류를 착용한 사람의 사진에서 그 특정 인스턴스를 세그멘테이션한다. 이는 일반적으로 연구되는 카테고리 수준 세그멘테이션과 구별되는 인스턴스 수준의 태스크이다. 둘째, 피팅을 이미지 편집 문제로 재구성하고 스타일, 크기, 신체 위의 공간적 배치를 포함한 의류 레이아웃에 대한 픽셀 수준의 제어로 세그멘테이션 마스크를 추가하는 제어 가능한 VTO 프레임워크인 CtrlVTON을 소개한다. VIP-SAM과 CtrlVTON은 각자의 태스크에서 최첨단 결과를 달성한다. 특히 CtrlVTON은 의류 충실도에서 가장 강력한 독점 편집 시스템과 동등한 성능을 보이면서, 사용자가 제공한 레이아웃을 훨씬 더 충실하게 따르는 이미지를 생성한다.
대규모 언어 모델(LLM) 기반 창작 글쓰기 보조 시스템이 표면적 교정과 무분별한 플롯 확장 사이에서 진동하는 이진 실패 문제를 해결하기 위해, 스토리와 담론의 서사학적 구분에 기반한 3단계 파이프라인 프레임워크 Loom을 제안한다. Loom은 지각 할당(Perception Quota), 의미 생성(Meaning Making), 서사 렌더링(Narrative Rendering) 레이어를 순차적으로 적용하여 원본 사건 구조를 보존하면서도 묘사 강도와 서사적 의도를 정밀하게 제어함으로써 기존 최신 기준선 대비 사실적 무결성과 묘사 강도 모두에서 최고 품질 점수를 달성했다.
자율주행 테스트를 위한 제어 가능한 교통 시뮬레이션에서 기존 방식의 대규모 재학습 문제를 해결하기 위해, 항등 초기화된 FiLM 레이어를 활용해 사전학습된 diffusion 및 자기회귀 교통 모델에 스케치·잠재 행동 코드·텍스트 등 멀티모달 제어를 경량으로 추가하는 ECoSim 프레임워크를 제안한다. Waymo Open Sim Agents Challenge 평가에서 쌍 제어 데이터의 1% 미만만으로도 제어 오차를 최대 83% 감소시키고 문맥 인식 조건 전이를 통해 반사실적 시나리오 및 롱테일 합성을 달성했다.
시각 조건 기반 제어 생성의 dual-branch 패러다임에서 메인 네트워크는 무조건 score, 사이드 네트워크는 likelihood score 역할을 한다는 관점으로 LISA(Likelihood Score Alignment)를 제안하고, 사이드 네트워크 중간 특징을 근사 likelihood score와 정렬하는 정규화 손실을 확산 학습과 함께 최적화한다. 다양한 이미지·비디오 태스크와 diffusion/flow 모델에서 학습 수렴을 가속하고 합성 품질을 개선하며, 추가 학습 비용은 거의 없고 추론 비용은 들지 않는다.
자아 중심(egocentric) 손-물체 상호작용 영상 생성에서 2D 궤적·암묵적 포즈가 가려짐 상황의 동작 불일치와 환각을 유발하는 한계를, 희소 3D 손 관절을 명시적 제어 신호로 쓰고 가림 인식 특징 추출·3D 기하 임베딩 주입으로 완화한다. 자동 주석으로 100만 개 클립을 구축한 뒤 실험에서 최신 기준선을 넘어 사실적인 손-물체 상호작용 영상을 생성했다.
확산(diffusion) 및 flow 기반 생성 모델은 강력한 이미지를 생성하지만, 제어 가능성은 여전히 대부분 종단점(endpoint) 중심에 머물러 있습니다. 사용자는 조건을 지정하고 최종 출력을 받을 뿐, 중간 생성 동역학은 숨겨진 채로 남습니다. 최근 방법들은 샘플 품질 향상을 위해 생성 순서와 과정 분해를 활용하기 시작했지만, 여전히 중간 상태를 상호작용 대상이 아닌 내부 연산으로 취급합니다. 저희는 Trajectory Forcing(TF)를 제안합니다. 이는 생성 경로를 명시적이고, 의미적으로 구조화되며, 편집 가능하게 만드는 궤적 중심 프레임워크입니다. TF는 합성을 의미적으로 구조화된 단계의 시퀀스로 구성하며, 전역 레이아웃에서 객체-, 부분-, 세부 수준 표현으로 진행합니다. 각 단계는 다음 단계가 시작되기 전에 검사, 평가 및 국소 편집이 가능한 디코딩 가능한 잠재 상태(latent state)를 생성합니다. 이 경로를 구현하기 위해, DINOv2와 같은 사전학습된 시각 표현을 클러스터링하여 거친-세밀(coarse-to-fine) 교사 계층을 도출하고, 각 수준에서 계층 조건화된 one-step flow-matching 모델을 학습합니다. 또한 FID와 같은 종단점 품질 지표를 넘어 구조적 일관성과 국소 제어 가능성을 측정하는 궤적 인식(trajectory-aware) 지표를 도입합니다. 실험 결과, TF는 경쟁력 있는 샘플 품질을 달성하는 동시에 일관된 중간 상태를 드러내고, 의미적 수준 전반에 걸쳐 국소화된 편집을 지원함을 보여줍니다. 최종 이미지에서 생성 경로 자체로 초점을 전환함으로써, TF는 제어 가능하고 궤적 인식 이미지 합성을 향한 길을 엽니다.
비디오 월드 모델은 제어 가능한 카메라 및 객체 움직임 아래 관측된 세계를 보존하면서도 환경 상태가 변하도록 허용하는 방향으로 발전하고 있다. 그러나 이러한 제어는 여전히 분리되어 있으며, 날씨 생성은 일반적으로 미래 구조를 이미 지정하는 소스 비디오 또는 재구성된 장면에 의존한다. 우리는 첫 프레임 고정(first-frame-anchored) source-to-state 설정을 연구한다. 여기서 모델은 단일 이미지에서 시작하여 명시적인 카메라 및 객체 제어와 선택적 날씨 지시를 따른 뒤, 소스 세계를 보존하거나 대상 날씨 상태로 전이하는 비디오를 생성한다. 이러한 과제를 해결하기 위해, 먼저 HoloStateData를 구축한다. 이는 다양한 비디오를 카메라, 객체, 날씨 지도를 위한 통합 제어 샘플로 변환하는 상태 비디오 데이터셋이다. 둘째, 단일 이미지로부터 장면을 공동 제어하는 통합 제어 가능 비디오 월드 모델인 Holo-World를 제안한다. Unified Scene Adapter는 세계 보존과 날씨 전이를 서로 다른 매개변수 부분공간으로 인수분해하며, 렌더링된 배경, 기하학 버퍼, 객체 제어를 사용하여 제어된 장면 구조를 유지하면서 날씨 의존적 외관과 입자 효과를 모델링한다. 또한 Scene-Weather Decomposed CFG는 장면과 날씨 잔차를 별도로 유도하여, 전체 조건을 과도하게 증폭하지 않으면서 대상 날씨 효과를 강화한다. 정량적 및 정성적 실험은 Holo-World가 일관된 장면 구조와 함께 정밀한 카메라 및 객체 제어를 유지하면서 장면을 다양한 대상 날씨 상태로 전이하며, 날씨 상태 생성에서 비디오-대-비디오 날씨 편집 기준선들을 능가함을 보여준다. 프로젝트 페이지는 \url{https://xiangchenyin.github.io/Holo-World/}에서 확인할 수 있다.