PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02403v2cs.RO

ACID: 월드 모델 기반 플래닝을 위한 역동역학을 통한 행동 일관성

ACID: Action Consistency via Inverse Dynamics for Planning with World Models

행동 조건부 월드 모델(action-conditioned world model)을 사용한 의사결정 시점 플래닝(decision-time planning)은 체화된 제어(embodied control) 분야에서 널리 쓰이는 패러다임이 되었습니다. 그러나 표준 플래닝 비용은 예측된 종단 상태가 목표에 얼마나 가까운지만으로 후보를 평가하므로, 중간 전이(intermediate transition)의 실현 가능성을 확인하지 않은 채로 둡니다. 즉, 예측된 궤적은 그럴듯해 보이지만 실제 환경 롤아웃은 이로부터 벗어날 수 있습니다. 본 논문에서는 순환 행동 일관성(cycle action consistency)을 도입한 의사결정 시점 플래닝 프레임워크인 ACID를 제안합니다. 이는 역동역학 모델(inverse dynamics model)을 통해 예측된 전이로부터 역방향으로 추론된 행동이 원래 조건으로 부여되었던 행동을 복원해야 한다는 원리입니다. 우리는 척도 불변(scale-invariant) 적응형 가중치를 통해 이러한 단계별 잔차를 플래닝 비용에 반영합니다. 시뮬레이션 환경에서의 물체 조작 및 다관절 제어, 시각적 내비게이션, 실제 로봇 조작을 아우르는 8가지 과제와 4가지 행동 조건부 월드 모델 전반에서, ACID는 플래닝 성능을 일관되게 향상시키며 훨씬 적은 플래닝 연산량으로도 기준선의 정확도에 도달합니다.

arXiv:2609.23881v1cs.CV

MotionJEPA: 잠재 공간에서 시각적 변화를 포착하여 시간적 특징 붕괴 방지하기

MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space

Joint Embedding Predictive Architecture(JEPA)는 시각적 재구성(visual reconstruction) 없이 과제 무관(task-agnostic) 잠재 월드 모델을 학습(training)하기 위한 유망한 패러다임입니다. 그러나 표준 JEPA 학습은 느린 특징(slow feature)에 대한 강한 귀납적 바이어스(inductive bias)를 보여, 특징 억제와 잠재 표현(latent representation)의 붕괴를 초래합니다. 역동역학(inverse dynamics)은 시간적 붕괴 방지(temporal anti-collapse)를 제공하지만, 행동 레이블(action label)에 의존하며 레이블이 없는 일반적인 역동학을 임베딩(embedding)하도록 유도하는 효과는 미미합니다. 본 논문에서는 픽셀 재구성 손실(pixel reconstruction loss) 없이 시간적 차영상 임베딩을 예측하는 역동역학 스타일 모듈을 기반으로 하여 정적 및 동적 특징 학습의 균형을 맞추는 새로운 정규화(regularization) 기법인 Difference Image and Single image embedding Regularization(DISReg)을 소개합니다. DISReg는 이미지 임베딩의 분포를 형성하고 느린 특징을 유도하는 정적 항과, 임베딩에 직접 정규화를 적용하는 방식과 달리 이미지 임베딩의 형태나 분포에 제약을 가하지 않고 동적 특징이 존재하도록 유도하기만 하는 동적 항으로 구성됩니다. 이 정규화 기법을 표준 JEPA에 통합하여 새로운 아키텍처인 MotionJEPA를 구축합니다. 잠재 프로빙(latent probing)을 통해 MotionJEPA가 다른 방식들보다 더 완전한 표현을 생성함을 입증하며, 궤적 분석(trajectory analysis)을 통해 곡률(curvature)이 낮은 기하학적으로 단순한 잠재 임베딩을 유지함을 보여줍니다. 나아가 4개의 환경에서 MotionJEPA가 정적 배경 방해 요소(static-background distractors)가 존재하는 상황에서도 다운스트림 플래닝(planning) 성공률을 향상시킴을 보입니다.

arXiv:2607.14200v1cs.LG

스트리밍 비디오 게임에서 강건하고 효율적인 모방 학습을 위한 증강

Augmentations for Robust and Efficient Imitation Learning in Streamed Video Games

모방 학습은 인간 시연으로부터 시각적 관측을 행동에 매핑하는 정책을 학습함으로써, 복잡한 3D 환경에서 게임 플레이 에이전트를 확장할 수 있는 매력적인 방법이다. 그러나 이러한 시연은 수집 비용이 높고, 현대 게임 플레이는 종종 스트리밍을 통해 이루어지는데, 네트워크 지연과 압축이 시공간적으로 상관된 시각적 아티팩트를 유발하여 테스트 시점에 공분산 이동(covariance shift)을 일으킬 수 있다. 이러한 과제를 해결하기 위해, 저대역폭 네트워크 연결 하의 스트리밍 중 흔히 발생하는 네 가지 유형의 아티팩트—픽셀화된 블록 및 스크럽, 전역 블러, 고스팅—을 모방하는 스트리밍 증강을 제안한다. 우리는 학습된 잠재 공간에서 미래 상태 조건화와 역동역학 정책을 결합하는 예측적 역동역학 모델(PIDM) 위에 접근법을 구현하고, 현대 3D 비디오 게임의 세 가지 과제에서 증강의 영향을 평가한다. 안정적인 스트리밍 조건에서, 시공간 증강으로 학습된 에이전트는 동일한 데이터 예산 하에서 증강 없이 학습된 에이전트 대비 평가 성능이 최대 41% 더 높다. 네트워크 지연이 도입되면, 증강으로 학습된 에이전트는 성능이 7.45%만 저하되는 반면, 원본 데이터만으로 학습된 에이전트는 원래 성능의 49.82%에 그친다. 이러한 결과는 스트리밍 환경에 맞춘 시공간 증강이 강건하고 효율적인 게임 플레이 에이전트를 학습하기 위한 단순하면서도 강력한 도구임을 분명히 보여준다.

arXiv:2607.13703v1cs.LG

데이터 기반 UAV 제어를 위한 조건부 가역 신경망: 2차원 개념 검증

Conditional Invertible Neural Networks for Data-Driven UAV Control: A 2-D Proof of Concept

우리는 멀티로터 제어를 위한 확률적 역동역학(inverse-dynamics) 모델로서 조건부 가역 신경망(conditional invertible neural networks, cINN)을 조사한다. 평면 X8 공축(coaxial) 멀티콥터에 대해, 유리-이차(rational-quadratic) 스플라인 결합(rational-quadratic spline coupling)과 가역 선형 혼합(invertible linear mixing)을 사용하여 점진적 비선형 동적 역행(incremental nonlinear dynamic inversion, INDI) 교사로부터 $p(u \mid s_t, c_t)$를 학습한다. 개루프 재현에서는 $R^2 = 0.944$, 평균 CRPS 0.0915, 로그 확률 오차 상관 $ρ= -0.60$에 이른다. 15개의 폐루프 시나리오에서 위치 RMSE는 INDI와 일치한다(9.7 vs. 9.5 m), 47%가 추적을 허용 가능한 수준으로 수행하며, 실패는 공격적인 스텝 하에서의 자세 발산과 고주파 참조 하에서의 위상 지연으로 구분되어 명령 대역폭과 데이터 커버리지를 지배적 실패 메커니즘으로 분리한다.

arXiv:2602.02762v2cs.LG

On the Sample Efficiency of Inverse Dynamics Models for Semi-Supervised Imitation Learning

반지도 모방 학습(SSIL) 환경에서 역방향 동역학 모델(IDM)이 행동 복제(BC) 대비 우수한 샘플 효율성을 보이는 이유를 이론적으로 분석하며, 이는 IDM의 가설 클래스 복잡도가 낮고 전문가 정책보다 확률적 불확실성이 작기 때문임을 통계적 학습 이론과 실험으로 규명한다. 이러한 인사이트를 바탕으로 잠재 행동 정책 학습 알고리즘인 LAPO의 개선 버전(LAPO+)을 제안하고 Procgen, Push-T, LIBERO 벤치마크에서 우수한 성능을 검증한다.

arXiv:2511.19326v2cs.CV

MonoMSK: Monocular 3D Musculoskeletal Dynamics Estimation

단안(monocular) 영상에서 생체역학적으로 정확한 3D 인체 동작을 복원하기 위해, MonoMSK는 트랜스포머 기반 역기구학/역동역학 모듈과 ODE 기반 미분가능 순방향 역학 시뮬레이션을 결합한 하이브리드 프레임워크를 제안한다. BML-MoVi, BEDLAM, OpenCap 벤치마크에서 기존 최고 성능 방법 대비 운동학(kinematics) 정확도를 크게 향상시키고, 단안 영상으로부터 관절 토크와 지면반력(ground-reaction force) 등 동역학(kinetics) 추정을 최초로 가능하게 했다.