인간-객체 상호작용 생성 모델은 기존 데이터의 한계에 직면해 있습니다. 일상적인 활동에는 여러 객체가 관여하지만, 다중 객체 캡처는 조합적 비용이 매우 크기 때문에 대부분의 캡처 데이터셋은 한 번에 하나의 객체만 기록합니다. 본 연구의 핵심 관찰은 상호작용이 국소적(local)이어서, 단일 객체 캡처 데이터에도 다중 객체 활동의 구성 요소들이 이미 포함되어 있다는 점입니다. 본 연구는 이를 합성합니다. 접촉 일관성을 유지하는 단일 상호작용 클립을 손의 균형을 맞추기 위해 대칭 변환하고 다른 신체로 전이하며, 언어 모델과 기하학적 검증을 통해 의미론적 및 물리적으로 타당한 쌍만을 허용합니다. 따라서 데이터셋은 녹화 시간이 아닌 클립 수에 따라 조합적으로 증가합니다. COSMI 데이터셋은 최대 5개 객체를 포함하는 22.2만 개의 시퀀스와 275시간 분량을 보유하고 있으며, 이는 기존 최대 규모의 다중 객체 캡처 대비 약 30배에 달하고 다른 데이터셋이나 손-객체 기록을 추가하여 확장할 수 있습니다. 본 연구는 이 데이터를 바탕으로 데이터 구축 방식을 따르는 텍스트-상호작용 확산 트랜스포머(diffusion transformer)인 COSMI 기법을 학습합니다. 가중치를 공유하는 객체 슬롯은 가변적인 수의 객체를 생성하며, 이는 객체를 움직이는 신체 부위를 기준으로 예측됩니다. 미확인 객체 및 미확인 상호작용 조합을 포함한 벤치마크에서, 해당 데이터셋으로 학습된 모델은 미확인 조합에 대해서도 일반화 성능을 보입니다. COSMI는 텍스트 정렬 및 접촉 정확도에서 베이스라인을 능가하며, 미확인 객체에서 그 마진이 가장 크게 나타납니다. 코드, 모델, 데이터셋 파이프라인은 프로젝트 페이지(https://ptrvilya.github.io/cosmi)에 공개될 예정입니다.
1인칭(egocentric) 비디오는 임바디드 모델(embodied model)의 주요 지도 신호원이 되었으며, 그 가치는 카메라 움직임과 손의 가려짐으로 인해 추정이 까다로운 월드 좌표계(world coordinates)에서의 손 움직임 복원에 달려 있습니다. 기존의 재구성 파이프라인은 일반적으로 손과 장면 추정을 분리하고, 상호작용 속성을 별도의 태스크 특화 모델에 맡기며, 비디오당 여러 모델을 실행합니다. 이로 인해 기존 재구성 모델 중 이러한 속성을 직접 추정하는 모델은 없었으며, 처리율(throughput)은 대규모 어노테이션에서 실질적인 제약이 되었습니다. 이에 본 연구에서는 장면과 공유되는 미터법 단위(metric scale)로 월드 좌표계 손 형상을 추정하고, 가시성, 접촉, 거리를 포함한 점별 상호작용 속성을 예측하는 통합 엔드투엔드 모델인 EgoFound3R을 제안합니다. 이 모델은 세 가지 설계를 통합합니다. (i) 사전학습된 기하학적 사전 지식을 월드 좌표계 손 재구성으로 전이하는 구조화된 손 프롬프트, (ii) 손 형상과 상호작용 속성을 디코딩하는 명시적 손 표현, (iii) 추론 비용을 낮추는 매개변수 공유 멀티레이트(multi-rate) 설계입니다. 이러한 설계가 결합되어 한 번의 패스로 손 형상과 점별 속성을 동시에 예측합니다. OakInk-v2, TACO, HOI4D 벤치마크에서 EgoFound3R은 기존 방법 대비 관절당 평균 위치 오차(MPJPE)를 각각 43.2%, 22.4%, 11.6% 줄였으며, 동일한 패스 내에서 형상과 함께 점별 접촉 및 거리를 예측하는 동시에 약 6배 더 높은 처리율을 달성했습니다.
사람-객체 상호작용(HOI) 검출은 상호작용하는 사람-객체 쌍을 그라운딩(grounding)하고 이들을 연결하는 동사를 인식해야 하며, 종종 심각한 롱테일(long-tail) 감독 하에서 수행된다. 최근 방법들은 더 강한 검출기와 비전-언어 사전지식으로 정확도를 높이지만, 많은 방법이 여전히 검출기 위에 무거운 트랜스포머 인코더, 복잡한 디노이징 스케줄, 또는 사후(post-hoc) 의미적 보정을 쌓아 올린다. 본 논문은 핵심 설계 원칙인 블렌딩에서 이름을 따온 효율적 HOI 검출기 \textbf{HOIBlender}를 제안한다. 검출기로 그라운딩된 시각 토큰, 공간적 주체-객체 추론, BLIP-2 의미 사전지식을 하나의 경량 디코딩 파이프라인 안에서 블렌딩한다. HOIBlender는 DINOv2 백본을 갖춘 RF-DETR/LW-DETR 스타일 기반 위에 구축되며, 다중 스케일 프로젝터에서 top-$K$ 이미지 조건부 토큰을 주체 및 객체 후보로 직접 선택하여, 이전 HOI 방법들이 유지하던 전용 인코더 단계를 제거한다. 이중 단계 디코더는 먼저 사람-객체 기하를 안정화한 뒤, 점진적 BLIP-2 사전지식 융합을 통해 동사 및 HOI 분류를 수행하며, 롱테일 카테고리를 위해 분류기 가중치는 BLIP-2 텍스트 임베딩(embedding)으로 초기화한다. 그룹 쿼리(grouped-query) 학습은 추론(inference) 비용을 늘리지 않으면서 최적화(optimization)를 더 풍부하게 한다. 세 가지 모델 규모(Nano, Small, 2XL)에 걸쳐 HOIBlender는 HICO-DET에서 SOV-STG-VLA 및 Hybrid-SOV-VLA를 일관되게 능가하며, 경쟁력 있는 지연(latency)과 매개변수 예산을 유지하면서 단 $9$회 학습 epoch만으로 Default Full mAP $44.49$에 도달한다. 이러한 결과는 경량 검출, 구조화된 공간-의미 디코딩, 깊이 통합된 비전-언어 사전지식을 단일의 효율적 HOI 파이프라인으로 블렌딩할 수 있음을 보여준다.
최근 비디오 확산 모델의 발전으로 단일 피사체 애니메이션을 넘어 상호작용 논리에 대한 세밀한 제어를 요구하는 인간-객체 상호작용(HOI) 비디오 생성에 대한 관심이 높아지고 있다. 그러나 기존 HOI 방법은 명시적 모션 제어에 크게 의존하여, 다양한 객체와 상호작용에 대한 확장성과 일반화를 제한한다. 본 연구에서는 AgentHOI를 제안한다. 이는 생성 전 사고(thinking-before-generation) 프레임워크를 따르는 텍스트 기반 HOI 비디오 생성 방법으로, 지각, 상호작용, 모션 계획에 걸친 멀티 에이전트 추론을 통해 고수준 텍스트 의도와 물리적 실행 사이의 간극을 메운다. 생성된 상호작용 계획을 바탕으로 텍스트 기반 모션 이해를 더욱 강화한다. 암시적 텍스트-모션 정렬 전략을 도입하여 텍스트-모션 사전 지식을 비디오 확산 모델에 지식 증류함으로써, 추론 시 명시적 모션 입력 없이도 견고한 HOI 합성을 가능하게 한다. 실험 결과, AgentHOI는 착용 및 탑승과 같은 도전적인 객체 중심 시나리오에서 상호작용 자연스러움, 객체 외형 보존, 복잡한 텍스트 지시 준수를 크게 향상시킨다. 코드는 https://github.com/bone-11/agenthoi 에서 제공된다.
본 연구는 상반신 인터랙티브 생성을 위한 실시간 인간 중심 월드 모델을 제안한다. 이 모델은 사람을 중심으로 한 일관된 국소 세계 동역학을 합성하는 것을 목표로 하며, 조율된 신체·손·얼굴 움직임이 제어 가능한 인간-객체 이산 상호작용과 함께 공동적으로 진화한다. 이를 위해 연속적 인간 상태와 이산 상호작용 상태라는 두 보완적 구성 요소를 갖춘 연속-이산 공동 제어 방식을 채택한다. 연속적 인간 상태 제어를 위해 다중 스케일 모션 인코딩에 기반한 통합 암시적 표현을 도입한다. 상반신, 손, 얼굴의 모션 잠재 변수를 공유 잠재 공간에 융합하며, 이 다중 스케일 설계는 서로 다른 공간 스케일 전반의 표현력을 향상시키고, 세밀한 인간 동역학을 더 효과적으로 포착하며, 명시적 리타게팅(retargeting) 없이 직접 제어를 가능하게 한다. 이산 객체 상호작용 상태 제어를 위해 객체 접촉을 소수의 언어 인코딩 이산 상호작용 상태로 표현한다. 여기서 텍스트는 개방형 생성 프롬프트가 아니라 \emph{no contact} 또는 \emph{grasp}와 같은 명시적 상호작용 상태 명령으로 작용한다. 또한 이러한 이산 상호작용 상태를 감독하기 위해 인간-객체 상호작용 데이터용 전용 렌더링 파이프라인을 구축한다. 연속적 암시적 인간 상태 제어와 이산 상호작용 상태 제어를 결합함으로써, 모델은 인근 장면 상태의 제어 가능한 변화를 포함하여 사람이 국소 환경에서 어떻게 움직이고 상호작용하는지를 정밀하게 모델링할 수 있다. 마지막으로 효율적인 스트리밍 실시간 추론을 위해 모델을 증류(distillation)하여 두 대의 H100 GPU에서 25 FPS를 달성한다. 실험 결과, 세밀한 모션 충실도 향상, 더 현실적인 손-객체 조율, 효과적인 실시간 상호작용을 보여 주며, 모션 재현을 넘어 실시간 인간 중심 월드 모델링을 향한 실용적 진전을 이룬다.
인간-객체 상호작용(HOI) 비디오 생성의 핵심 한계—구체적으로 정제된 모션 데이터에 대한 의존, 새로운 객체/시나리오에 대한 제한된 일반화, 제한된 접근성—를 해결하기 위해, 약하게 조건화된 멀티모달 기반 프레임워크인 HunyuanVideo-HOMA를 제안한다. HunyuanVideo-HOMA는 희소하고 분리된(decoupled) 모션 가이던스를 통해 제어 가능성을 향상시키고 정밀한 입력에 대한 의존성을 줄인다. 외형(appearance) 및 모션 신호를 멀티모달 확산 트랜스포머(MMDiT)의 이중 입력 공간에 인코딩하고, 공유 컨텍스트 공간 내에서 이를 융합하여 시간적으로 일관되고 물리적으로 타당한 상호작용을 합성한다. 학습을 최적화하기 위해, 사전학습된 MMDiT 가중치로 초기화된 매개변수 공간 HOI 어댑터—기존 지식을 보존하면서 효율적인 적응을 가능하게 함—와 해부학적으로 정확한 오디오 기반 입술 동기화를 위한 얼굴 크로스-어텐션 어댑터를 통합한다. 광범위한 실험은 약한 감독(weak supervision) 하에서 상호작용 자연스러움과 일반화에서 최첨단(state-of-the-art) 성능을 확인한다. 마지막으로, HunyuanVideo-HOMA는 사용자 친화적인 데모 인터페이스와 함께 텍스트 조건 생성 및 대화형 객체 조작에서 다양성을 보여준다. 프로젝트 페이지는 https://bone-11.github.io/homa-page/ 에 있다.
기존 인간-객체 상호작용(HOI) 비디오 생성 방법은 대부분 복잡한 구동 조건 하에서의 오프라인 단편 비디오 생성에 한정되어 있어, 실시간 대화형 애플리케이션에 부적합하다. 우리는 장시간 HOI 비디오 생성을 위한 저지연 스트리밍 프레임워크인 StreamHOI를 제안한다. 고도로 조건화된 HOI 파이프라인을 스트리밍 시스템으로 변환하는 대신, 이미지-투-비디오 스트리밍 생성기가 제한된 지연 시간 하에서 상호작용을 보존하기 위해 과거 메모리를 어떻게 구성해야 하는지 연구한다. 표준 sink-local 메모리 설계가 스트리밍 HOI 생성에서 트레이드오프에 직면하며, 서로 다른 트랜스포머 블록이 HOI 영역과 주변 영역에 대해 서로 다른 과거 메모리 선호도를 보인다는 것을 발견한다. 메모리 구성을 블록 동작과 일치시키기 위해, StreamHOI는 오프라인 HOI 인식 블록 프로파일링을 수행하고 바이어스 기반 메모리 특화 학습을 적용하여 생성기를 블록별 메모리 레이아웃에 적응시킨다. 또한 초기 상호작용 상태에 대한 장거리 접근을 강화하기 위해 메모리 거리 스케일링 모듈을 도입한다. 장시간 비디오 베이스라인과 최근 HOI 생성 방법 모두와의 광범위한 비교를 통해, StreamHOI가 강한 상호작용 타당성, 객체 충실도, 인간 품질 및 효율성을 달성하며, 0.75초의 첫 청크 지연 시간으로 17.6 FPS에 도달함을 보여준다.
SparseCtrl-HOI는 라이브 스트리밍 이커머스를 위한 인간-객체 상호작용(HOI) 비디오 생성에서, 프레임 단위 밀집 가이던스 대신 소수의 키프레임만으로 제어하는 희소 시간적 제어 프레임워크를 제안한다. TiRoPE 메커니즘으로 키프레임을 지정된 타임스탬프에 고정하고, 멀티모달 대규모 언어 모델(MLLM) 기반 Motion Prior Injection Module로 중간 프레임의 자연스러운 동작 전환을 합성하며, 고품질 데이터셋 SparseHOI-5K를 함께 공개한다.
현실적인 인간-물체 상호작용(HOI) 합성은 체화된 아바타와 기능적인 가상 환경을 만드는 데 핵심적이다. 그러나 현재 데이터 기반 접근법은 주로 모션 캡처(motion capture) 데이터셋에 의존하며, 이는 확장에 비용이 크고 기능적 다양성이 제한적이다. 이러한 데이터셋으로 학습된 모델은 보이지 않은 객체에 일반화하지 못하고 긴 시간 구간(long horizon)에 걸쳐 물리적 일관성을 유지하지 못한다. 본 논문에서는 HOI 생성의 데이터 부족 병목을 극복하기 위해 물리 시뮬레이터를 활용하는 새로운 프레임워크를 제안한다. 구체적으로, 물리 시뮬레이터에서 강화학습으로 학습된 정책을 활용해 과제 지향적 데이터 생성을 수행하고, 증강된 데이터셋 위에서 생성 모델을 학습하여 일반화 가능한 HOI 생성을 달성하는 확장 가능한 파이프라인 Policy-as-Data를 제안한다. 합성 데이터를 원활히 활용하기 위해, 물리 시뮬레이터에서 사용되는 단순화된 모델과 생성 학습에 필요한 표준 파라미터 신체 모델 간의 표현 차이를 연결하는 coarse-to-fine 리타게팅(retargeting) 과정을 도입한다. 포괄적 실험을 통해 검증한 결과, 제안 방법은 보이지 않은 객체에 대한 향상된 일반화와 장기간 생성 능력을 보여 주며, 더 큰 동적 다양성과 물리적 타당성을 나타낸다.
현재 이미지 편집 방법은 정적 속성에서는 뛰어나지만 복잡한 인간-객체 상호작용(HOI)에서는 실패하며, 이는 HOI를 정적 속성과 혼동하는 기존 벤치마크가 다루지 못한 중요한 과제이다. 기존 벤치마크는 동적 상호작용의 유효성과 얽힌 인간-객체 쌍의 보존을 동시에 평가할 수 없는 전역 지표에 의존한다. 따라서 우리는 먼저 세 단계의 점진적 인지 수준을 갖춘 포괄적 벤치마크 HOI-Edit을 제안하며, 그라운딩된 인간-객체 쌍이 포함된 이미지에 대해 사고(thinking) 후 VLM Q&A를 수행함으로써 인스턴스 수준의 상호작용을 신뢰성 있게 평가하는 자동화 지표 HOI-Eval을 제공한다. 이 과제의 본질이 동적 관계의 재구성에 있음을 고려하여, 우리는 이미지-비디오(I2V) 모델을 벤치마크에 적용했고, 시간적 생성 능력 덕분에 동적 편집에 본질적으로 적합함을 확인했다. 중요한 점은, 우수한 성능을 넘어 이 능력이 "실패 과정의 재현(replay of the failure process)"을 제공하여 오류가 왜 발생하는지에 대한 독특한 진단 가능성을 제공한다는 것이다. 이에 따라 우리는 I2V 모델의 생성을 반복적으로 정제된 프롬프트를 통해 제약하여 생성된 비디오가 목표 HOI를 더 정확하게 표현하도록 하는 새로운 에이전틱 자기 수정 프레임워크 SCPE(Self-Correcting Process Editing)를 제안한다. 이러한 비디오에서 추출한 프레임이 최종 편집 결과이다. HOI-Edit에서 SCPE는 Nano Banana와 같은 최신(SOTA) 편집 모델과 상호작용 측면에서 경쟁력 있는 성능을 달성한다. 코드는 https://github.com/oceanflowlab/HOI-Edit 에서 제공된다.
협업형 인간-객체 상호작용은 참여자와 공유 객체 간의 상호 예측과 지속적인 조정을 요구하는 역동적이고 복잡한 움직임을 보입니다. 이러한 협업형 다중 인간-객체 상호작용(MHOI) 시나리오를 모델링하려면 고품질 데이터 획득이 기초 단계로 필수적이지만, 인간-인간 및 인간-객체 상호작용이 동시에 발생하는 MHOI의 내재된 복잡성으로 인해 이는 어려운 과제입니다. 이러한 복잡성은 손과 객체 간의 접촉 정렬 불일치, 캡처된 시퀀스의 모션 지터(jitter) 및 시간적 불일치, 그리고 손가락 수준의 관절 세부 정보 누락 또는 불완전함과 같은 여러 아티팩트(artifacts)가 특징인 노이즈가 섞인 MHOI 캡처 데이터로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 노이즈가 섞인 MHOI 데이터를 향상시키기 위한 2단계 프레임워크인 MOCHI를 제시합니다. 우리의 접근 방식은 먼저 노이즈가 섞인 신체 입력을 통해 최적화를 수행하여 물리적으로 타당한 손 그립(grasp)을 생성함으로써, 신체 자세와 의미적으로 일치하는 그립을 만들어내고, 이러한 최적화된 그립을 완전한 손-객체 상호작용 시퀀스로 확장합니다. 결과적으로, 모든 참여자의 전신 모션은 단일 인간 모션 사전(priors)을 사용하는 디퓨전 기반 노이즈 최적화 프레임워크를 통해 정제됩니다. 최적화 과정에서, 우리는 이러한 단일 인간 사전 내에 인간-객체 및 인간-인간 상호작용 정보를 인코딩하기 위한 최적화 목적 함수(objectives)를 도입합니다. 실험 결과는 기존 캡처 방법으로 획득되었거나 생성 모델에 의해 합성된 다양한 MHOI 데이터에 걸쳐 우리 파이프라인의 효과성을 입증합니다. 우리는 또한 참여자 수와 상호작용 유형의 변화에 따른 시스템의 견고성(robustness)을 보여주며, 키프레임 기반 MHOI 생성 및 다양한 객체 형상(geometries)을 통한 데이터 증강을 포함한 다양한 응용 사례를 시연합니다.