arXiv:2206.09106

Embodied Scene-aware Human Pose Estimation

Zhengyi Luo, Shun Iwase, Ye Yuan, Kris Kitani

제출 2022-06-18

원문 초록

We propose embodied scene-aware human pose estimation where we estimate 3D poses based on a simulated agent's proprioception and scene awareness, along with external third-person observations. Unlike prior methods that often resort to multistage optimization, non-causal inference, and complex contact modeling to estimate human pose and human scene interactions, our method is one-stage, causal, and recovers global 3D human poses in a simulated environment. Since 2D third-person observations are coupled with the camera pose, we propose to disentangle the camera pose and use a multi-step projection gradient defined in the global coordinate frame as the movement cue for our embodied agent. Leveraging a physics simulation and prescanned scenes (e.g., 3D mesh), we simulate our agent in everyday environments (library, office, bedroom, etc.) and equip our agent with environmental sensors to intelligently navigate and interact with the geometries of the scene. Our method also relies only on 2D keypoints and can be trained on synthetic datasets derived from popular human motion databases. To evaluate, we use the popular H36M and PROX datasets and achieve high quality pose estimation on the challenging PROX dataset without ever using PROX motion sequences for training. Code and videos are available on the project page.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13472v2cs.RO공통 태그 Pose Estimation, Navigate

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

arXiv:2610.02943v1cs.CV공통 태그 Pose Estimation, 3D Human Pose Estimation

피험자 수준 프라이버시를 고려한 기구학 유도 다중 모달 3D 인간 자세 추정

Kinematics-Induced Multimodal 3D Human Pose Estimation with Subject-Level Privacy

다중 모달 3D 인간 자세 추정(3D Human Pose Estimation, 3D HPE)은 RGB, LiDAR, mmWave 레이더의 상호 보완적인 정보를 결합하지만, 동일한 개인으로부터 얻은 상관된 관측치로 학습된 모델은 레코드 수준 분석에서는 간과되는 프라이버시 위험을 초래합니다. 본 논문에서는 기구학 유도(kinematics-induced) 센서 융합을 피험자 수준(subject-level) 프라이버시 감사 및 프라이버시 보존 학습과 결합한 다중 모달 3D HPE를 위한 통합 프레임워크를 제시합니다. 첫째, 제안하는 다중 모달 모델은 모달리티별 관절 표현을 정렬하고 골격 구조를 주입하며 상호 보완적인 센서 단서를 적응적으로 통합하여 정확한 자세 예측을 수행합니다. 둘째, 개별 공격 점수 결과가 멤버십 결과에 대한 추론을 어떻게 변화시키는지 특성화하는 경험적 점별 최대 누출(pointwise maximal leakage) 분석을 보완하여, 3D HPE를 위한 블랙박스 피험자 멤버십 추론 공격(membership inference attack)을 정식화합니다. 셋째, 행동 및 시간적 범위를 보장하는 모집단 가중 피험자 내 샘플링 전략인 행동-시간 계층화(Action Temporal Stratification)를 통해 사용자 수준 차분 프라이버시(differential privacy)를 구현합니다. 세 가지의 다양한 실험 프로토콜에 걸쳐 MM-Fi 데이터셋에서 본 프레임워크를 평가합니다. 소스 코드는 논문 채택 시 공개될 예정입니다.

arXiv:2609.27353v1cs.CL공통 태그 Causal Inference, Navigate

행동을 유발하는 가이드: 멀티모달 웹 에이전트의 가이드-행동 상호 강화에 관한 오프라인 연구

Guides That Cause Actions: An Offline Study of Guide-Action Mutual Reinforcement in Multimodal Web Agents

웹 에이전트(Web agent)는 주로 라이브 환경에서 평가되는데, 실행 간에 환경 상태와 판정 모델이 드리프트(drift)하여 동일한 체크포인트가 동일한 점수를 재현하기 어렵기 때문에 학습(training) 현상에 대한 통제된 연구가 사실상 불가능합니다. 본 논문에서는 성공적인 WebArena 궤적에서 파생된 541개 태스크와 5,293개 스텝으로 구성된 오프라인 벤치마크인 WebMRE를 제시합니다. 이 벤치마크는 완전히 검증된 테스트 라벨과 환경 없이도 모든 실행에서 체크포인트를 동일하게 평가하는 결정론적 프로토콜을 갖추고 있습니다. 각 스텝은 인간 지향적인 가이드 문장과 그라운딩된(grounded) 행동을 결합하여, 웹 에이전트에서 이 둘 사이의 상호 강화(mutual reinforcement) 효과에 대한 최초의 연구를 가능하게 합니다. 세 개의 시드에 걸쳐 평균을 냈을 때, 이 효과는 두 모델 모두에서 두 디코딩 순서 모두에 걸쳐 유지되며 스케일링에 따라 증가합니다. 즉, 가이드를 공동 디코딩하면 행동 전용 기준선 대비 요소 선택 점수가 Qwen3.5-4B의 경우 0.9 및 0.2 포인트 상승하고, Qwen3.5-9B의 경우 1.7 및 2.2 포인트 상승합니다. 매개 분석(mediation analysis)에 따르면 가이드는 단순한 설명이 아닌 인과적 경로임이 밝혀졌습니다. 정답 가이드를 디코딩 접두 문맥(prefix)으로 강제하면 행동 정확도가 .422에서 .684로 상승하는 반면, 다른 스텝의 가이드를 주면 .055로 급락하며, 타깃을 변경한 패러프레이즈(paraphrase)도 이득의 절반을 회복하므로 이 경로가 라벨 문자열뿐만 아니라 인스트럭션의 의미를 전달함을 보여줍니다. 동일한 경로를 통해 재생 가능한 프로토콜에서만 계산 가능한 오프라인 보상(reward)이 생성되지만, 강력한 체크포인트로부터 이를 최적화하는 것은 아직 이득을 가져오지 못합니다. 본 연구에서 파인튜닝된 모델은 모든 오프라인 지표에서 제로샷(zero-shot)으로 실행된 GPT-5.5, Claude Opus 4.8 및 Gemini 3.5 Flash를 능가합니다.

arXiv:2609.23423v1cs.RO공통 태그 Pose Estimation, Navigate

RiverVLN: 무인 수상정을 위한 위상 기반 시간적 비전-언어 항법

RiverVLN: Phase-Grounded Temporal Vision--Language Navigation for Unmanned Surface Vehicles

비전-언어 항법(VLN)은 주로 실내 및 지상 로봇을 위해 발전해 왔으며, 여기서는 언어를 종종 정적인 목표로 다룰 수 있고 동작은 이산적이거나 거의 순간적인 행동으로 근사된다. 이러한 가정은 무인 수상정(USV)에서는 성립하지 않는다. 강 항해는 관성과 제한된 기동성 하에서 연속적인 운동을 요구하고, 장기 지시는 희소하고 시각적으로 모호한 해상 랜드마크를 통해 실행되어야 한다. 본 논문은 우리가 아는 한 연속적인 강 항행 하의 장기 USV VLN을 위해 설계된 최초의 벤치마크인 RiverVLN과, USV를 위한 위상 기반 시간적 항법 프레임워크 PGT-NAV를 제안한다. PGT-NAV는 전체 지시를 동작에 직접 매핑하는 대신, 이를 시각적으로 검증 가능한 의미적 위상(phase)의 순서화된 시퀀스로 변환하고, 그라운딩된 시각 및 운동 증거를 통해 활성 위상을 온라인으로 유지한다. 이 명시적 의미적 진행 상태는 시각-운동 이력 및 위상별 그라운딩과 융합되어 여섯 개의 국소 SE(2) 자세 증분을 예측한다. 결과 궤적은 predict-execute-re-observe 루프에서 실행되며, 선박은 W3를 향해 항행하고 위상과 그라운딩을 갱신한 뒤, 맵 기반 안전 층을 통해 재계획한다. 실험 결과 PGT-NAV는 GNM 스타일 및 ViNT 스타일 베이스라인 대비 재귀적 위치 및 방향 드리프트를 상당히 줄였으며, Unity-ROS 폐루프 항법에서 평균 성공률 0.79를 달성했다. 보지 못한 다리 개방 시험과 실세계 USV 실험은 위상 기반 표현이 통제된 평가에서 실제 USV 배치로 전이됨을 추가로 보여준다.

arXiv:2609.24576v1cs.RO공통 태그 Causal Inference, Navigate

VLM 기반 비전-언어 내비게이션 모델은 무엇에 의존하는가: 정책 행동의 해석과 조종

What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior

현대의 비전-언어 내비게이션(VLN) 모델은 내비게이션 행동을 예측하기 위해 대부분 사전학습된 대규모 비전-언어 모델(VLM)에 의존한다. 이러한 언어 지시와 시각적 관측의 융합은 멀티모달 추론을 가능하게 하지만, 정보가 모달리티 간에 어떻게 라우팅되는지 또는 어떤 메커니즘이 내비게이션 결정을 이끄는지를 불분명하게 만든다. 따라서 VLN 모델이 관련된 의미론적 단서에 예측의 근거를 두는지, 혹은 과업 진행 상황을 추적할 수 있는지는 여전히 명확하지 않다. 본 연구에서는 VLN 모델의 해석 가능성과 조종 가능성을 연구한다. 우리는 시각적 관측, 지시문, 그리고 시각적 기억이 내비게이션 결정에 어떻게 인과적으로 영향을 미치는지를 측정하는 개입 기반 지표를 사용한다. 우리의 결과는 이러한 내비게이션 정책이 모든 입력 모달리티에 민감하며 단일 모달리티에만 의존하지 않음을 보여준다. 나아가 우리는 이러한 에이전트(agent)가 내비게이션 진행 상황을 인코딩하고 VLM 백본으로부터 의미론적 구조를 유지함으로써, 내부 활성화(activation)를 통한 개념 수준의 조종을 가능하게 함을 보인다. 마지막으로, 우리는 추상적 행동에 대한 활성화 벡터를 추출하여 이를 분포 외(out-of-distribution) 실제 환경 시나리오에 제로샷(zero-shot)으로 전이함으로써, 추가적인 미세조정 없이 성능을 향상시킨다.

arXiv:2607.22732v1cs.AI공통 태그 Causal Inference, Navigate

LLM 게임 에이전트의 공간 추론: 인과적 컨텍스트와 다단계 계획의 영향

Spatial Reasoning in LLM Game Agents: Impact of Causal Context and Multi-Step Planning

대규모 언어 모델(LLM) 기반 게임 에이전트는 종종 더 복잡한 과제에서 낮은 성능을 보인다. 본 연구는 이러한 실패가 제한된 공간적 추론과 연관되는지 검토하고, 인과적 프롬프트 증강과 다단계 계획이 응답 지연(latency)을 관리하면서 승률을 개선할 수 있는지 평가한다. 오픈소스 Qwen3 모델 계열을 사용하여 다양한 모델 규모, 추론 모드, 계획 지평(planning horizon)에 걸쳐 실험을 수행한다. 또한 공간 내비게이션을 분리하기 위해 5개 난이도 수준을 갖춘 3개의 맞춤형 게임으로 구성된 집중형 GVGAI 벤치마크를 도입한다. 평가는 두 가지 패러다임을 따른다: 에이전트가 정확한 좌표를 찾는 능력을 시험하는 초기 ``위치 지정 실험(positioning experiment)''과 게임 플레이 성공에 대한 연구. 결과는 사고(thinking) 모드가 활성화된 더 큰 모델이 자신의 위치를 더 정확하게 식별하지만, 좌표 일치에서의 전반적인 성능은 더 작은 모델에서 여전히 제한적임을 보여준다. 승률은 게임 레벨과 레이아웃 복잡도가 증가함에 따라 감소하며, 이는 벤치마크의 난이도 스케일링을 검증한다. 프롬프트에 인과적 컨텍스트를 통합하면 에이전트의 성공률이 향상되는 경향이 있으며, 특히 더 큰 모델에서 그렇다. 사고 모드와 더 긴 계획 지평을 활성화하면 성능이 크게 향상되지만, 다단계 계획은 평균 단계당 응답 시간을 추가로 줄여 추론 깊이와 실행 속도 사이의 실용적인 절충을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.