PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01581v1cs.AI

자율주행을 위한 생성형 시나리오 모델의 물리적 일관성 및 타당성 평가

Evaluating Physical Consistency and Plausibility in Generative Scenario Models for Autonomous Driving

자율주행 분야에서 시나리오 생성을 위해 생성형 인공지능(AI) 모델이 점차 널리 활용되고 있습니다. 이러한 모델들은 현실적으로 보이는 시나리오를 생성할 수 있지만, 학습된 표현의 투명성이 제한적인 경우가 많으며 실제 차량 동역학과의 일관성도 부족합니다. 이러한 공식적 보장의 부재는 안전이 중요한 검증(validation) 및 인증 워크플로우에서의 활용을 제한합니다. 이를 해결하기 위해, 본 연구에서는 5개 층(layer)에 걸쳐 모델을 평가함으로써 기존 방식을 보완하는 계층형 평가 프로토콜을 제안합니다. 첫 네 개의 층은 기구학적 정렬, 통계적 기준선(baseline) 비교, 잠재 공간 제어 가능성, 활성화 분석을 통해 내부 표현과 네트워크 층을 검사합니다. 다섯 번째 층은 횡방향 저크(jerk) 임계값과 같은 차량 동역학 제약조건에 맞춰 모델 출력을 평가합니다. 본 연구는 변이형 오토인코더(VAE) 기반 시나리오 생성기에서 해당 프로토콜을 실증합니다. 표준 출력 수준 지표와 시각화에서는 생성된 시나리오가 현실적인 것으로 나타나지만, 제안하는 프로토콜은 모델의 잠재 공간이 기구학적 특징과 정렬되는 정도와 시각적으로 타당한 궤적이 차량 동역학 제약조건을 만족하는지에 대해 더 깊은 통찰을 제공합니다. 나아가 추가적인 생성형 모델들에도 프로토콜을 적용하여 VAE 구조를 넘어선 확장 적용 가능성을 입증합니다.

arXiv:2606.28128v1cs.CV

PhysisForcing: 로봇 조작을 위한 물리 강화 세계 시뮬레이터

PhysisForcing: Physics Reinforced World Simulator for Robotic Manipulation

비디오 생성 모델은 임베디드 세계 시뮬레이션을 위한 유망한 패러다임으로 떠올랐다. 하지만 일반 도메인 비디오 생성기와 로봇 특화 데이터로 파인튜닝된 모델 모두 여전히 불연속적인 동작 궤적과 일관되지 않은 로봇-객체 상호작용을 포함한 물리적으로 비현실적인 조작을 생성할 수 있으며, 이는 세계 시뮬레이터로서의 신뢰성을 제한한다. 광범위한 실험을 통해, 이러한 물리적 불안정성은 주로 두 가지 요인에서 비롯됨을 발견했다: 움직이는 객체의 변형과 상호작용하는 개체 간의 비현실적인 시공간적 상관관계, 특히 접촉 중에 나타난다. 이 관찰에 기반하여, 픽셀 수준 및 의미 수준 특징의 공동 최적화를 통해 물리적으로 정보가 풍부한 영역에 감독을 집중하여 물리적 일관성을 강화하는 확장 가능한 학습 프레임워크 PhysisForcing을 제안한다. 이 프레임워크는 참조 점 궤적을 사용하여 DiT 특징에 감독하는 픽셀 수준 궤적 정렬 손실과, 고정된 비디오 이해 인코더에서 추출한 영역 간 관계와 DiT 특징을 정렬하는 의미 수준 관계 정렬 손실로 구성된다. R-Bench, PAI-Bench, EZS-Bench에서의 광범위한 실험은 PhysisForcing이 강력한 베이스라인 대비 임베디드 비디오 생성을 지속적으로 개선함을 보여주며, R-Bench에서 Wan2.2-I2V-A14B 및 Cosmos3-Nano 베이스 모델을 각각 22.3% 및 9.2% (바닐라 파인튜닝 대비 7.1% 및 3.7%) 개선하고, Cosmos3-Nano 변형이 전체 최고 점수를 달성한다. 생성을 넘어서, WorldArena action-planner 프로토콜 하의 세계 모델으로서 폐루프(closed-loop) 성공률을 16.0%에서 24.0%로 높이고 하향식 정책(policy) 성공을 더 개선하여, 물리적으로 정렬된 비디오 모델이 로봇 조작을 위한 더 강한 표현(representation)을 산출함을 시사한다.

arXiv:2606.22363v1cs.AI

월드 모델 기반 비디오 생성에서 물리적 일관성의 참조 없는 평가

Reference-Free Assessment of Physical Consistency in World Model-based Video Generation

생성된 비디오의 물리적 일관성을 평가하기 위한 참조 없는 측도를 제안하며, 충실도 평가를 위해 상대적·절대적 접근을 결합한다. WorldGym이나 WorldEval 같은 도구는 비디오 생성을 통해 로봇 시뮬레이션을 가능하게 하지만, 물리적 충실도 격차로 인해 이러한 환경이 비전-언어-행동(VLA) 모델의 실세계 태스크 성공률을 정확히 재현하지 못하는 경우가 많다. 비용이 많이 드는 인간 투표(Elo)나 이용 불가능한 정답(ground-truth) 참조(FVD)를 요구하는 기존 평가 방법과 달리, 본 접근법은 WorldScore에서 영감을 받아 DROID-SLAM과 SEA-RAFT를 활용하여 물리적 불일치를 정량화한다. 상대적 일관성 평가를 사용해 필터링한 비디오는 태스크 성공률이 8% 이상 개선되어, 시뮬레이션-현실(sim-to-real) 격차를 효과적으로 줄인다. 또한 절대적 평가는 시공간(spatio-temporal) 국소화를 가능하게 하여, 물리적 아티팩트가 언제 어디서 발생하는지 시각화할 수 있다.

arXiv:2606.06361v2cs.CV

2단계의 물리학: 시각적 정제가 모션 사전을 지우기 전에 잠금하기

Physics in 2-Steps: Locking Motion Priors Before Visual Refinement Erases Them

이미지-비디오 변환 디퓨전 모델은 입력 이미지를 활용하여 시각적으로 놀라운 콘텐츠를 생성하지만, 종종 물리 법칙을 위반하는 모션을 생성합니다. 우리는 놀라운 사실을 발견했습니다: 동일한 모델에서 2단계 생성은 종종 50단계 출력보다 더 나은 물리적 일관성을 보입니다. 스펙트럼 분석을 통해 우리는 이것이 노이즈 제거(denoising) 중 위상(phase) 침식 때문임을 추적했습니다. 위상은 2단계에서 50단계로 갈 때 약 18% 감소하여 현저히 저하되는 반면, 크기(magnitude)는 상대적으로 안정적으로 유지됩니다. 이러한 통찰을 바탕으로, 우리는 노이즈 제거 궤적 전체에 걸쳐 소수 단계 추론(few-step inference)의 유효한 모션 사전(motion priors)을 보존하는 학습 불필요한(training-free) 프레임워크인 PhaseLock을 제안합니다. 물리적 일관성을 위해 전체 단계 추론(full-step inference)에 의존하는 대신, PhaseLock은 단 2단계에서 모션 사전을 추출하고 Latent Delta Guidance를 통해 고충실도 생성에 이를 적용합니다. 우리의 접근 방식은 위상 저하를 효과적으로 완화하여, 다양한 모델에서 물리적 일관성을 평균 6.2점 향상시키면서도 시각적 충실도를 대부분 유지합니다. 이는 무시할 수 있는 오버헤드(시간 $1.06\times$, 메모리 $1.02\times$)와 비싼 외부 가이던스 방법(시간 $\sim5\times$)에 대한 의존도 감소를 달성했습니다. 프로젝트 페이지: https://dnwjddl.github.io/phaselock