arXiv:2609.24487v1 cs.CV

AgentSTAR: 단안 영상으로부터의 에이전트 기반 형상 추적 및 재구성

AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos

Kirill Mazur, Nikita Karaev, Matthew Chang, Jitendra Malik, Nur Muhammad "Mahi'' Shafiullah

제출 2026-09-22

한국어 초록

본 연구에서는 에이전트 기반 분석-합성(agentic analysis-by-synthesis) 방식을 통해 영상으로부터 형상을 재구성하고 추적하는 방법을 제안한다. 조밀한 픽셀 대응관계를 먼저 추정한 뒤 이를 바탕으로 물체의 움직임을 복원하는 기존 방법들과 달리, 본 방법은 기하학적 구조와 운동학적 구조를 포함한 구조화된 3D 물체 모델을 추론하고, 이 모델을 사용하여 시간에 따른 물체의 추적(track) 추정치를 최적화한다. 최적화 루프에서 비전-언어 모델(VLM) 에이전트는 렌더링-비교(render-and-compare) 루프를 통해 형상 또는 일반화된 자세(pose)를 반복적으로 정제하며, 개략적 시각적 추론(coarse visual reasoning)과 수치적 자세 최적화를 결합하여 정밀한 상태 추정을 수행한다. 이러한 구조화된 정식화(formulation) 덕분에 본 방법은 픽셀 매칭 목적함수에 의존하지 않고도 큰 움직임, 관절 운동(articulation), 심한 가림(occlusion)을 거치며 추적할 수 있다. 정량적으로, ARCTIC 데이터셋에서 본 방법은 관절형 물체(articulated object)에 대한 최신 3D 포인트 추적(point-tracking) 베이스라인들을 크게 능가하며, HOT3D에서는 평가된 모든 강체(rigid-object) 추적 베이스라인을 능가한다.

원문 초록

In this work, we present a method for shape reconstruction and tracking from video via agentic analysis-by-synthesis. Unlike prior methods which first estimate dense pixel correspondences and then recover object motion from them, our method infers a structured 3D object model, including its geometry and kinematic structure, and uses this model to optimise object track estimates over time. In our optimisation loop, a Vision-Language Model (VLM) agent iteratively refines shape or generalised pose through a render-and-compare loop, combining coarse visual reasoning with numerical pose optimisation for precise state estimation. This structured formulation enables our method to track through large motion, articulation, and severe occlusion without relying on pixel-matching objectives. Quantitatively, on ARCTIC, our method substantially outperforms state-of-the-art 3D point-tracking baselines for articulated objects, and on HOT3D it outperforms all evaluated rigid-object tracking baselines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24487v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03716v1cs.CV공통 태그 Pose Estimation, Object Tracking, 3D Reconstruction, articulated objects

MoSE3: 모든 픽셀에서 월드 공간 SE(3) 학습하기

MoSE3: Learning World-Space SE(3) at Every Pixel

밀집 3D 포인트 트래킹(Dense 3D point tracking)은 동적 장면의 모션을 모델링하는 주요 패러다임이었으나, 포인트 트랙은 픽셀당 3자유도(3-DoF) 이동 궤적에 불과하여 픽셀의 이동 위치만을 포착할 뿐 해당 부위의 회전이나 어떤 픽셀들이 하나의 강체로 함께 움직이는지는 포착하지 못합니다. 본 논문에서는 단안 RGB 비디오로부터 밀집 SE(3) 모션을 예측하여 월드 공간의 모든 픽셀에서 완전한 6자유도(6-DoF) 강체 변환을 생성하는 최초의 피드포워드 모델인 MoSE3를 제안합니다. 픽셀별 SE(3) 모션은 회전, 이동 및 그룹화를 한 번에 제공하여 장면의 움직임에 대한 더욱 풍부한 시각을 제공합니다. SE(3)를 직접 예측하는 것은 어렵습니다. 회전은 유클리드 회귀에 적합하지 않은 곡면 다양체(curved manifold)에 놓여 있으며, SE(3) 어노테이션을 획득하기가 특히 까다롭기 때문입니다. 이러한 문제를 해결하기 위해 MoSE3는 함께 학습되는 두 가지 중간 매개체인 3D 포인트 트랙과 강체 임베딩(rigidity embedding)을 통해 픽셀별 SE(3)를 예측하며, 각 소프트 강체 클러스터 내에서 변환을 미분 가능하게 피팅하여 SE(3)를 복원함으로써 엔드투엔드 예측 및 지도를 가능하게 합니다. 데이터 격차를 해소하기 위해, 풍부한 물리적 상호작용을 갖는 관절체(articulated object)에 대한 밀집 SE(3) 및 강체 라벨을 포함하는 대규모 합성 데이터셋인 Art-Kubric을 소개합니다. MoSE3는 강체 및 관절체 벤치마크 모두에서 픽셀, 파트 및 객체 수준의 최첨단(state-of-the-art) SE(3) 추정 성능을 달성하고 3개 데이터셋에 걸쳐 최고 수준의 평균 3D 포인트 트래킹 정확도를 달성하는 동시에, 합성 모션 데이터로만 학습되었음에도 실제 비디오에 대해 뛰어난 일반화 성능을 보입니다.

arXiv:2609.27675v1cs.CV공통 태그 Object Tracking, 3D Reconstruction, Video Understanding, articulated objects

Track2Art: 2D 점 추적기 기반 모션 중심 관절 구조 객체 모델 복원

Track2Art: Motion-Centric Articulated Object Model Recovery from 2D Point Trackers

관절 구조 객체를 이해하는 것은 로봇 상호작용의 기본이며, 정확한 강체 부품 발견과 이들의 운동학적 관계 복원이 필요하다. 기존 접근법은 종종 관절 구조를 재구성된 기하의 부산물로 다루거나, 인스턴스별 최적화를 통해 이를 복원한다. 우리는 대신 관절 구조가 지속적인 움직임에서 직접 관측 가능하다는 가설에 기반한다. 동일한 강체 부품 위의 점들은 일관되게 움직이고, 부품 간 상대 운동은 운동학적 제약을 드러낸다. 우리는 RGB-D 상호작용 영상에서 구조화된 관절 객체를 복원하기 위한 모션 중심 프레임워크인 Track2Art를 제시한다. Track2Art은 추적된 이미지 점을 지속적인 3D 궤적으로 승격(lift)하고, 사전학습된 추적 특징, 시각 디스크립터, 명시적 궤적 기하를 결합한다. 이 표현들은 가변 개수의 강체 부품 가설로 그룹화되며, 이후 회전 등변(rotation-equivariant) 학습-해석적 추론을 통해 방향성 있는 운동학적 관계, 관절 유형, 관절 기하를 복원하는 데 사용된다. 정렬된 20개 객체 PartNet-Mobility 벤치마크에서 Track2Art는 0.695 Point IoU와 0.410 end-to-end J@20를 달성하며, ground-truth 부품 수나 테스트 시점 최적화 모두 필요하지 않다.

arXiv:2609.24492v2cs.CV공통 태그 Pose Estimation, Object Tracking, Video Understanding

롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템

Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System

롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.

arXiv:2610.03691v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Video Understanding

FlowHMR: 비디오로부터 물리적으로 타당한 모션 캡처

FlowHMR: Physically Plausible Motion Capture from Video

본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.

arXiv:2609.13504v3cs.CV공통 태그 Pose Estimation, 3D Reconstruction

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.