arXiv:2610.03252v1 cs.CV

COSMI: 다중 객체 상호작용의 구성적 합성

COSMI: COmpositional Synthesis of Multi-object Interactions

Daniel Eskandar, Ilya A. Petrov, Gerard Pons-Moll

제출 2026-10-02

한국어 초록

인간-객체 상호작용 생성 모델은 기존 데이터의 한계에 직면해 있습니다. 일상적인 활동에는 여러 객체가 관여하지만, 다중 객체 캡처는 조합적 비용이 매우 크기 때문에 대부분의 캡처 데이터셋은 한 번에 하나의 객체만 기록합니다. 본 연구의 핵심 관찰은 상호작용이 국소적(local)이어서, 단일 객체 캡처 데이터에도 다중 객체 활동의 구성 요소들이 이미 포함되어 있다는 점입니다. 본 연구는 이를 합성합니다. 접촉 일관성을 유지하는 단일 상호작용 클립을 손의 균형을 맞추기 위해 대칭 변환하고 다른 신체로 전이하며, 언어 모델과 기하학적 검증을 통해 의미론적 및 물리적으로 타당한 쌍만을 허용합니다. 따라서 데이터셋은 녹화 시간이 아닌 클립 수에 따라 조합적으로 증가합니다. COSMI 데이터셋은 최대 5개 객체를 포함하는 22.2만 개의 시퀀스와 275시간 분량을 보유하고 있으며, 이는 기존 최대 규모의 다중 객체 캡처 대비 약 30배에 달하고 다른 데이터셋이나 손-객체 기록을 추가하여 확장할 수 있습니다. 본 연구는 이 데이터를 바탕으로 데이터 구축 방식을 따르는 텍스트-상호작용 확산 트랜스포머(diffusion transformer)인 COSMI 기법을 학습합니다. 가중치를 공유하는 객체 슬롯은 가변적인 수의 객체를 생성하며, 이는 객체를 움직이는 신체 부위를 기준으로 예측됩니다. 미확인 객체 및 미확인 상호작용 조합을 포함한 벤치마크에서, 해당 데이터셋으로 학습된 모델은 미확인 조합에 대해서도 일반화 성능을 보입니다. COSMI는 텍스트 정렬 및 접촉 정확도에서 베이스라인을 능가하며, 미확인 객체에서 그 마진이 가장 크게 나타납니다. 코드, 모델, 데이터셋 파이프라인은 프로젝트 페이지(https://ptrvilya.github.io/cosmi)에 공개될 예정입니다.

원문 초록

Generative models of human-object interaction are bounded by the data that exists: everyday activities involve several objects, but most captured datasets record one at a time, as multi-object capture is combinatorially expensive. Our observation is that interactions are local, so single-object captures already contain the parts of multi-object activities. We compose them: contact-consistent clips of single interactions, mirrored to balance the hands, transfer between bodies, and a language model and geometric checks admit only the pairings that are plausible, semantically and physically. Therefore, the dataset grows combinatorially with the clips rather than recording time. The COSMI dataset holds 222k sequences and 275 hours with up to five objects, nearly thirty times the largest multi-object capture, and can be extended by adding datasets or even hand-object recordings. On this data we train the COSMI method, a text-to-interaction diffusion transformer that follows how the data is built: weight-shared object slots generate a variable number of objects, predicted relative to the body parts that move them. On a benchmark with an unseen object and unseen interaction combinations, models trained on the dataset generalize to the unseen combinations. COSMI outperforms baselines in text alignment and contact accuracy, where its margin is largest on the unseen object. Code, models, and the dataset pipeline will be released on the project page: https://ptrvilya.github.io/cosmi.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03252v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.18243v1cs.CV공통 태그 Motion Synthesis, human-object interaction

MOCHI: 협업형 인간-객체 상호작용의 모션 향상

MOCHI: Motion Enhancement of Collaborative Human-object Interactions

협업형 인간-객체 상호작용은 참여자와 공유 객체 간의 상호 예측과 지속적인 조정을 요구하는 역동적이고 복잡한 움직임을 보입니다. 이러한 협업형 다중 인간-객체 상호작용(MHOI) 시나리오를 모델링하려면 고품질 데이터 획득이 기초 단계로 필수적이지만, 인간-인간 및 인간-객체 상호작용이 동시에 발생하는 MHOI의 내재된 복잡성으로 인해 이는 어려운 과제입니다. 이러한 복잡성은 손과 객체 간의 접촉 정렬 불일치, 캡처된 시퀀스의 모션 지터(jitter) 및 시간적 불일치, 그리고 손가락 수준의 관절 세부 정보 누락 또는 불완전함과 같은 여러 아티팩트(artifacts)가 특징인 노이즈가 섞인 MHOI 캡처 데이터로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 노이즈가 섞인 MHOI 데이터를 향상시키기 위한 2단계 프레임워크인 MOCHI를 제시합니다. 우리의 접근 방식은 먼저 노이즈가 섞인 신체 입력을 통해 최적화를 수행하여 물리적으로 타당한 손 그립(grasp)을 생성함으로써, 신체 자세와 의미적으로 일치하는 그립을 만들어내고, 이러한 최적화된 그립을 완전한 손-객체 상호작용 시퀀스로 확장합니다. 결과적으로, 모든 참여자의 전신 모션은 단일 인간 모션 사전(priors)을 사용하는 디퓨전 기반 노이즈 최적화 프레임워크를 통해 정제됩니다. 최적화 과정에서, 우리는 이러한 단일 인간 사전 내에 인간-객체 및 인간-인간 상호작용 정보를 인코딩하기 위한 최적화 목적 함수(objectives)를 도입합니다. 실험 결과는 기존 캡처 방법으로 획득되었거나 생성 모델에 의해 합성된 다양한 MHOI 데이터에 걸쳐 우리 파이프라인의 효과성을 입증합니다. 우리는 또한 참여자 수와 상호작용 유형의 변화에 따른 시스템의 견고성(robustness)을 보여주며, 키프레임 기반 MHOI 생성 및 다양한 객체 형상(geometries)을 통한 데이터 증강을 포함한 다양한 응용 사례를 시연합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.