PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01092v1cs.CV

Ego2Act: 1인칭 비디오 생성에서의 목표 지향적 조작 평가

Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation

비디오 생성 모델은 체화된 계획 수립(embodied planning) 및 학습을 위한 월드 시뮬레이터로서 점점 더 많이 연구되고 있습니다. 이를 효과적으로 수행하려면 이러한 모델은 시각적으로 매력적인 프레임을 생성할 뿐만 아니라, 목표 지향적 행동을 실행할 때 환경이 어떻게 동적으로 변화하는지 예측해야 합니다. 이러한 역량을 평가하는 것은 매우 중요하지만, 기존 벤치마크는 주로 단일 단기 행동이나 단계별 지침에 초점을 맞추고 있습니다. 이로 인해 다단계 물리적 추론, 특히 여러 실제 조작을 수행하여 고수준 목표를 달성하기 위해 올바른 실행을 시뮬레이션하는 계획이 필요한 1인칭(egocentric) 비디오 생성 분야에서는 충분히 탐구되지 못한 채로 남아 있습니다. 본 연구에서는 일상적 환경, 다양한 물체 복잡도(clutter), 다단계 복잡성을 아우르는 110개 실제 과제의 2,640개 비디오로 구성된 목표 지향적 벤치마크인 Ego2Act를 소개합니다. 초기 장면 이미지와 고수준 목표가 주어졌을 때, Ego2Act는 비디오 생성 모델이 과제를 수행하기 위해 손이 물체를 조작하는 사실적인 1인칭 비디오를 생성할 수 있는지 평가합니다. 확장 가능한 평가를 지원하기 위해, 관련 베이스라인에 비해 작업 완료도 및 물리적 타당성 평가에서 인간의 판단과 더 높은 일치도를 달성하는 무참조(reference-free) 평가 파이프라인인 Ego2ActJudge도 함께 소개합니다. 연구 결과, 모델이 생성한 시뮬레이션은 단계를 건너뛰거나 부분적으로만 실행하여 이후 단계에서 의존적인 상태가 누락되는 경우가 많았고, 이는 목표 미달성으로 이어지는 것으로 나타났습니다. 나아가 모델들은 복잡한 물체 조작 및 영속적인 월드 모델링 과정에서 세밀한 물리적 동역학을 재현하는 데 지속적으로 실패했습니다. Ego2Act가 비디오 모델을 물리적으로 타당하며 목표 지향적인 시뮬레이션으로 발전시키기 위한 엄밀한 테스트베드를 제공하기를 기대합니다.

arXiv:2606.27826v1cs.AI

NormAct: 체화 계획에서 숨겨진 사회적 규범 준수를 평가하는 벤치마크

NormAct: A Benchmark for Hidden Social Norm Compliance in Embodied Planning

다중모달 대규모 언어 모델(MLLM)은 자기중심(egocentric) 환경에서 체화 계획자로 점점 더 배포되고 있으며, 여기서 과제 성공은 지시된 목표 달성뿐만 아니라 사회적으로 적절한 방식으로 행동하는 것도 요구된다. 명시적 목표가 특정 행동을 최적으로 만들 수 있는 반면, 암묵적 사회적 규범은 종종 숨겨진 제약을 부과한다. 기존 평가는 일반적으로 명시적 목표 달성이나 직접적인 규범 지식에 초점을 맞추며, 계획자가 행동 시퀀스 내에서 이러한 숨겨진 제약을 추론하고 적용할 수 있는지는 거의 평가하지 않는다. 우리는 체화된 사회적 규범 상호작용을 위한 벤치마크인 NormAct를 제안하며, 이는 계획을 목표 달성(Goal Achievement), 규범 준수(Norm Compliance), 전체 과제 성공(Task Success) 측면에서 평가한다. NormAct는 일반적인 과제 안에 숨겨진 규범을 고유하게 내장하여, 모델이 명시적 지시 없이 이를 실현할 수 있는지 시험한다. 최신 MLLM(GPT-5.4, Claude Opus 4.7, Gemini 3 Pro)을 사용한 실험은 상당한 격차를 보여준다: 모델은 67.3%의 경우에서 명시적 목표를 달성하지만, 숨겨진 규범을 준수하는 경우는 26.4%에 불과하다. 단서 조건(cue-condition) 실험은 이 격차가 일반적 사회 지식의 부족에서 기인한 것이 아니라, 문맥에서 관련 규범을 활성화하고 그라운딩(grounding)하는 데 어려움이 있기 때문임을 나타낸다. 이를 해결하기 위해, 우리는 계획 전에 장면 관련 규범을 추론하는 문맥 조건 단서 생성기인 NormPerceptor를 제안하며, 이는 과제 성공률을 24.2%에서 46.7%로 높인다. 우리 결과는 체화 에이전트가 숨겨진 규범을 선제적으로 탐지하고, 시각적 증거에 그라운딩하며, 이를 행동 계획 제약으로 통합할 수 있게 하는 것의 중요성을 강조한다. 우리 벤치마크는 https://huggingface.co/datasets/Caleb196x/NormAct 에서 공개적으로 이용할 수 있다.

arXiv:2606.12402v1cs.RO

DIRECT: 임베디드 플래너에서 테스트 타임 컴퓨트를 언제 어디서 할당해야 하는가?

DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners?

비전-언어 모델(VLM) 기반 임베디드 플래너에서 테스트 타임 컴퓨트를 단순히 확장하는 것의 비효율성을 해결하기 위해, 멀티모달 장면 컨텍스트를 활용해 연산량을 동적으로 할당하는 라우팅 프레임워크인 DIRECT를 제안한다. 실제 로봇 팔 실험에서 이 방법은 더 강력한 모델과 대등한 성공률을 최대 65% 낮은 지연 시간으로 달성하여 효율적인 추론을 가능하게 했다.