접촉이 많은 조작 작업의 실패는 로봇이 이미 접촉을 개시한 뒤에야 감지되는 경우가 많다. 이는 손목 카메라 구성에서 특히 큰 제약이 된다. 그리퍼와 물체를 가까이서 보는 시점은 접촉을 관측하는 데 도움이 되지만, 기존 감지기가 반응하기 전에 잘못된 접근으로 인해 물체를 밀거나, 놓치거나, 미끄러뜨리거나, 흐트러뜨릴 수 있다. 본 논문에서는 청크 단위 시각운동 정책을 위한 접촉 전 실행 모니터인 ContactGuard를 제안한다. ContactGuard는 정책이 계획한 행동 청크가 주어지면 그 단기 결과를 잠재 시각 공간에서 예측하고, 예측된 미래 잠재 표현이 실패 가능성이 높음을 나타내면 실행을 중단한다. 이 잠재 월드 모델은 레이블이 없는 로봇 궤적으로 학습되어, 계획된 행동에 따른 간결한 다중 시점 시각 임베딩을 예측하므로 픽셀 수준의 비디오 예측을 피한다. 이후 접촉 전 클립으로 구성된 소규모 레이블 집합으로 경량 실패 프로브를 학습한다. 배포 시 ContactGuard는 임박한 접촉 이벤트 직전에 예측의 기준점을 두고, 정책 자체의 행동에 따라 모델을 앞으로 전개하여 예측된 접촉 후 잠재 표현을 검증한다. 실제 환경의 접촉이 많은 조작 작업 전반에서 ContactGuard는 현재 상태 기반 방식이나 직접 예측 방식에 비해 행동 조건부 잠재 예측의 이점을 일관되게 보인다. 반사실적 행동 섭동 실험은 실패 점수가 제안된 구체적 행동에 따라 반응함을 추가로 보여 준다. 우리는 동일한 고정 모니터를 시각운동 정책과 함께 온라인으로 배포하며, 이때 기반 정책을 수정하지 않고도 접촉 전 중단 신호를 제공한다.
Preference learning is a powerful tool for reward learning, but treats the teacher as a passive oracle that answers queries driven by the learner. This learner-guided query selection ignores the teacher's knowledge of the solution. We reverse the typical preference query selection method by having the teacher create ordered preference pairs, since a teacher who knows the target can choose more informative pairs than a learner choosing its own queries. Exploiting this advantage requires the teacher to model what the learner knows, and that model goes stale when the learner's belief changes in ways the teacher cannot see, as when several teachers each teach without knowing what the others taught. We call this teacher-model drift. In this work, we use second-order Theory-of-Mind (ToM-2) to have the learner create understanding statements that correct the teacher's model of the learner's knowledge. In simulation, we show that a learner with a perfect teacher, one with perfect knowledge of the learner, needs about half as many rounds as learner-guided querying to learn the reward. Yet when teacher-model drift is induced by alternating between four co-teachers, the advantage erodes. We tested two types of understanding statement generation: the learner's mean belief and ToM-2 drift minimization. ToM-2 statements reduced the drift and recovered more of the lost advantage than mean statements. In a within-subjects study (n = 101) with a simulated ideal co-teacher, ToM-2 statements raised the learner's final alignment with the true reward above both uninformed and mean-informed teaching; on the regret participants removed in their own rounds, they outperformed uninformed teaching but not mean statements.
학습 기반 제어의 최근 발전으로 다양한 분야의 복잡한 제어 문제를 해결하는 데 인상적인 성과가 가능해졌다. 그러나 학습 기반 제어는 안전성 보장을 실현하지 못할 수 있으므로, 우수한 성능을 유지하면서 안전성과 강건성을 높이는 것이 매우 중요하다. 차량 운동 및 동역학 제어를 예로 들면, 막대한 파라미터 보정 노력이 필요하다는 전통적 방법의 문제점을 극복하고, 상태 기반 차량 제어 과제에서 기존 연구보다 안정성과 민첩성 측면에서 더 나은 성능과 효율을 학습 기반 제어로 달성하기 위해, 본 연구의 방법은 물리 기반 예측 안전 필터로 강화된 커리큘럼 학습 제어기를 개발하는 것을 목표로 한다. 검증은 Python-CarSim 플랫폼에서 수행되었으며, 다양한 기동에서 더 나은 개선과 확장성을 보여 준다.
우리가 살아가는 물리 세계에서 공간과 시간은 본질적으로 연속적이다. 그러나 월드 모델링을 위한 기존 기계학습 패러다임은 대체로 이산 시간 예측에 국한되어 있어, 물리 세계의 동역학을 포착하는 데 상당한 비효율을 보인다. 본 논문은 물리적 시간에서 작동하는 연속 잠재 속도장을 학습하는 새로운 접근법인 Physical-Time Flow(PT-Flow)를 제안한다. 핵심적으로, 순차 데이터의 근본 동역학은 잘 구조화된 표현 공간에 내재된 상미분방정식(ODE)으로 매개변수화된다. 이 패러다임에서 미래 예측은 압축된 잠재 공간에서 ODE 솔버를 통한 시간 적분으로 재구성될 수 있다. PT-Flow를 기반으로 효율적이면서도 범용적인 연속 시간 잠재 월드 모델인 ODEWorld를 구축한다. ODEWorld는 시변 특징을 추출하고 동역학 표현 공간과 잠재 속도장 모두에 ODE 성질을 부과함으로써, 잠재 월드 모델 문헌에서 오랫동안 문제로 남아 있던 표현 붕괴 문제를 효과적으로 해결한다. 이로써 장기 예측 이후에도 고품질 이미지 복원이 가능하다. 또한 연속적 특성 덕분에 임의의 시간 해상도와 심지어 역방향 예측까지 가능하며, 이는 대부분의 이산 시간 모델에서는 불가능하다. 마지막으로 ODEWorld는 풍부한 계획 지향적 정보를 제공하여 하위 정책 학습을 돕는다. 종합적인 실험 결과, ODEWorld는 계획에 유리한 동역학 추상화와 시각적 사실성을 성공적으로 조화시켰으며, 비디오 생성과 로봇 제어 모두에서 뛰어난 성능을 보인다. 프로젝트 페이지: https://dstate.github.io/odeworld_website/.
시각적 평면도 위치 추정(FLoc, Visual Floorplan Localization)은 1인칭(egocentric) 이미지와 미니멀한 구조적 지도를 매칭하여 실내 위치를 파악하는 유망한 솔루션으로 부상했습니다. 그러나 모달리티 간 정보 비대칭성과 반복적인 실내 구조로 인해, 시각적으로 동일한 관측치가 공간적으로 분리된 여러 위치에 매핑되는 다봉 포즈 분포(multimodal pose distribution) 문제가 시각적 FLoc에 근본적인 어려움을 초래합니다. 기존의 광선 매칭(ray-matching) 기반 방식들은 희소한 기하학적 또는 의미론적 광선을 명시적으로 예측하여 이를 해결하고자 했으나, 이는 본질적으로 정보 손실을 유발하고 추론 과정에서의 완전 탐색 매칭뿐만 아니라 리소스 소모가 큰 전처리를 요구합니다. 본 논문에서는 이러한 중간 광선 매칭 패러다임을 우회하고 불확실성에서 결정론으로 나아가는 점진적 세분화(coarse-to-fine) 기반 시각적 FLoc 프레임워크를 제안합니다. 대략적인(coarse) 단계에서는 이미지 조건부 포즈 확산 모델(pose diffusion model)을 설계하여 연속적인 다봉 포즈 분포를 매개변수화하고, 확률적으로 초기화된 포즈 파티클을 뚜렷한 후보 모드로 효과적으로 유도합니다. 정제(refinement) 단계에서는 구조적 모호성이 대부분 제거된 후보 중심 평면도 크롭(crop)으로부터 경계가 정해진 서브미터 단위의 포즈 잔차를 예측하는 국소 정제기(localized refiner)를 제안합니다. 본 방법은 오프라인 지도 전처리나 테스트 시점의 룩업 테이블(lookup table) 없이도 전역 다중 가설 추적과 국소적인 서브미터 정제 간의 균형을 효과적으로 유지합니다. S3D (full) 및 ZInD 벤치마크에 대한 종합적인 실험 결과는 본 접근 방식이 최첨단(SOTA) 수준의 정확도와 강건성을 달성함을 입증합니다.
현재 월드 모델은 단일 추상화 수준에서 동작하며, 대부분은 지각적 충실도(perceptual fidelity)를 우선시하는 한편 실제 세계 하위 태스크에 필요한 공간적 추론과 의미적 이해가 부족하다. 우리는 서로 다른 시간적·추상화 스케일에서 동작하는 두 수준에 걸쳐 미래 예측을 분해하는 계층적 주행 월드 모델을 제안한다: 확장된 시간적 지평에 걸쳐 거친 장면 구조를 예측하는 고수준 예측기와, 고수준 출력을 조건으로 상세한 예측을 생성하는 저수준 생성기. 이 분해는 높은 지각적 충실도를 달성하는 동시에 강력한 공간적·의미적 표현을 포착한다. 또한 diffusion forcing 목적 함수로 사전학습하면 표준 teacher forcing 목적 함수보다 훨씬 더 풍부한 내부 표현을 얻을 수 있음을 보이며, teacher forcing—깨끗한 컨텍스트에서 다음 프레임만 예측하는 방식—은 더 안정적인 자기회귀(autoregressive) 롤아웃을 생성한다. 따라서 diffusion forcing으로 모델을 사전학습하고 teacher forcing으로 파인튜닝하는 범용 2단계 학습 패러다임을 도입하여, 전자의 표현적 이점과 후자의 롤아웃 안정성을 결합한다. 우리 접근법은 장기 생성 충실도, 반사실(counterfactual) 시나리오에서 평가한 조향 반응성, 내부 표현 품질을 포함하여 확립된 벤치마크에서 표준 주행 월드 모델 평가 전반에 걸쳐 최첨단(state-of-the-art) 결과를 달성한다. 코드, 데모, 체크포인트 및 정성적 결과가 있는 프로젝트 페이지: https://lmb-freiburg.github.io/orbis2.github.io/
이동형 에이전트는 미지의 환경을 지도화하고 작업을 자율적으로 계획하기 위해 효율적인 탐사 전략을 필요로 한다. 기존 방법은 점유 지도를 생성하고 미탐사 영역을 방문하는 순서를 최적화하는 데 의존한다. 그러나 신뢰할 수 있는 자세 및 깊이 추정을 위해 추가 센서 장비가 필요할 뿐만 아니라, 점유 지도 기반 탐사 정책은 환경의 통행 가능성 제약을 종종 간과한다. 이러한 한계를 해결하기 위해 본 논문은 단안 이미지 데이터만으로 사전 학습된 확산 정책을 유도하는 시각적 호기심 모듈(Visual Curiosity Module, VCM)을 활용하는 탐사 프레임워크 VANDERER를 제안한다. 이 호기심 모듈은 내비게이션 월드 모델을 통해 제안된 행동의 결과를 예측하고, 호기심 비용을 통해 이를 평가한다. 이후 이 비용은 확산 과정이 탐사를 최대화하는 행동을 생성하도록 유도한다. 다양한 시뮬레이션 환경에서 평가한 결과, VANDERER는 기존 기준 방법들을 능가하며 Frontier Search 대비 $2.3\times$의 탐사 효율을 달성한다. 본 연구 결과는 실외 환경에서 시각적 호기심과 기하학적 호기심 사이에 상관관계가 있음을 보여 주며, VANDERER가 이 관계를 활용하여 단순한 로봇 구성만으로도 효율적인 탐사를 수행할 수 있음을 입증한다.
분산형 다중 로봇 모션 플래닝에서는 각 로봇이 전역 센싱이나 신뢰할 수 있는 통신 없이 지역 관측만으로 충돌 없는 궤적을 생성해야 한다. 그러나 고전적 방식이든 학습 기반이든 대부분의 기존 플래너는 지역 관측의 정적 스냅샷으로부터 궤적을 생성하므로, 이웃 로봇의 미래 행동을 예측하는 능력이 제한된다. 이러한 한계는 로봇 수가 증가하고 환경이 더 복잡해질수록 치명적이다. 계획 결정을 개선하기 위해 미래 상태 추정을 사용하는 월드 모델에서 착안하여, 본 논문은 이웃 로봇의 미래 궤적을 시뮬레이션하여 각 로봇 자신의 계획을 안내하는, 제약 인식 확산 모델(CADM) 기반의 분산형 프레임워크인 Simulation-Informed Diffusion(SID)을 제안한다. SID는 먼저 CADM을 사용하여 현재 관측된 상태로부터 이웃 로봇의 미래 궤적을 시뮬레이션하고, 동일한 CADM을 사용하여 이러한 시뮬레이션에서 얻은 정보를 바탕으로 안전 제약 하에서 각 로봇 자신의 궤적을 계획한다. 특히 이웃에 대한 정확한 시뮬레이션 덕분에, 혼잡도가 높은 시나리오에서 필요한 경우에만 협조를 개시하는 최소한의 통신 방식이 가능하다. 다양한 환경에서의 실험 결과, SID는 계획 효과성과 제약 만족도 측면에서 기준 방법들을 일관되게 능가하며, 로봇 108대와 장애물 160개의 시나리오까지 확장된다.
반사실적 장애물 삽입은 대표적인 주행 VLA에서 맹목적 계획이 나타남을 드러낸다. 차량이 바로 앞에 나타나도 이들의 궤적은 대체로 변하지 않는다. 경험적으로 보정된 편향-분산 분석은 에고 상태로 예측 가능한 학습 예제가 에고 상태와 명령을 통한 지름길을 허용하는 방식을 규명한다. 우리는 현재 및 예측된 미래 시각 상태에 궤적 디코딩을 고정하는, 역운동학에서 착안한 아키텍처로 이 실패를 해결한다. 첫째, LLM이 미래의 시각 장면을 예측하도록 요구하는 다음 시각 상태 예측 목적함수는 조밀한 시각적 지도를 제공하고 지름길 경로를 억제한다. 둘째, 현재와 미래의 시각 상태만을 입력으로 받는 별도의 역운동학 네트워크(교차 어텐션 기반 조건부 디퓨전 모델)는 궤적 디코딩 시 에고 상태와 텍스트 지름길에 대한 의존을 억제하도록 설계되었다. 우리의 0.5B 모델은 LiDAR나 BEV 인코더 없이 카메라만으로 NAVSIM-v1, NAVSIM-v2, nuScenes에서 최고 수준의 궤적 계획 성능을 달성한다. 대응하는 OpenDriveVLA* 기준선과 비교하면 NAVSIM PDMS와 EPDMS를 각각 19.0점, 20.4점 향상시킨다. 통제된 소거 실험과 개입 분석은 시각 특징의 활용이 개선되었음을 뒷받침하며, 미래 상태 예측이 위험 요소에 특화된 반응을 더 선명하게 한다.
변형 가능 물체를 위한 세계 모델은 기하와 외관뿐 아니라 근본적인 물리 동역학, 상호작용 그라운딩, 재료 거동까지 복원해야 한다. 변형 가능한 선형, 평면, 부피형 물체는 고차원 변형, 잡음이 있는 상호작용, 복잡한 재료 반응 하에서 변화하기 때문에 실제 비디오로부터 이러한 모델을 학습하는 것은 어렵다. 모델은 시각적 관측으로부터 물리적 상태를 추론하고, 새로운 상호작용 하에서 이를 전개하며, 그 결과 동역학을 높은 시각적 충실도로 렌더링해야 한다. 이에 본 논문은 실제 상호작용 비디오를 통합된 동역학-외관 프레임워크 내에서 변형 가능 물체의 온라인 상호작용 모델로 변환하는, 비디오 기반 상호작용형 물리-신경 세계 모델인 DeformMaster를 제시한다. DeformMaster는 구조화된 물리 전개를 유지하면서 신경 잔차로 모델링되지 않은 효과를 보상하고, 희소한 손 동작을 손-연속체 상호작용을 위한 분산된 순응형 액추에이터로 그라운딩하며, 공간적으로 변하는 구성 전문가로 재료 반응을 표현하고, 예측된 물리적 전개로부터 고충실도 4D 외관을 구동한다. 실제 변형 가능 물체 시퀀스에 대한 실험에서 DeformMaster는 미래 동역학을 전개하고 동적 외관을 렌더링하는 능력을 보였으며, 최신 베이스라인을 능가하는 동시에 새로운 동작 전개, 재료 매개변수 변화, 동적 새로운 시점 합성을 지원하였다. 코드와 비디오 데모는 프로젝트 페이지 https://can-lee.github.io/deformmaster-web/ 에서 확인할 수 있다.
우리는 고정된 레이블 메모리 예산 하에서 랜드마크 기반 A* 휴리스틱을 질의 수요에 맞게 조정하는 구조적 허용 압축기(Architecturally Admissible Compressor, AAC)를 소개한다. AAC는 ALT(A*, Landmarks, and Triangle inequality) 선택에 대한 두 가지 연속 완화를 제공한다. 정확한 랜드마크 거리가 주어지면 모든 매개변수 값은 최단 경로 거리의 하한을 정의한다. 두 완화 모두 선택된 레이블만으로 ALT를 배포한다. 행 확률적 완화는 랜드마크 거리의 볼록 결합을 취한다. 우리는 허용성을 보존하는 최대 선형 클래스를 규명하고, 완화된 문제와 이산 문제의 최적해가 일치함을 증명한다. 분수 완화는 부분집합 휴리스틱을 혼합하며, 정확한 경사를 갖는 연속 탐욕 알고리즘(AAC-CG)과 미분 가능한 선택을 위한 엔트로피 정규화 오라클을 지원한다. 기대 휴리스틱 값에 대해, 유한 단계, 오라클 오차, 유한 표본 항을 포함하는 근사 보장을 증명한다. 극한의 $1-1/e$ 계수는 P${=}$NP가 아닌 한 임의로 주어진 풀과 질의 분포에 대해 최적이다. 레이블 메모리가 같을 때, AAC-CG는 여섯 개의 도로망과 두 개의 합성 그래프에 걸친 그래프와 메모리 예산의 모든 $19$개 시험 조합에서 최원점 ALT(FPS-ALT)에 비해 A* 확장 횟수를 $1.9$-$22.7$% 줄인다. 각 조합은 $500$개 질의의 시험 분할 하나를 사용하며, 거리가 대칭인 경우 모든 방법이 거리 표를 공유한다. 정석 탐욕 알고리즘 역시 $19$개 그래프-예산 쌍 모두에서 FPS-ALT보다 적은 노드를 확장한다. AAC-CG는 이 쌍들에 대해 평균했을 때 시험 질의에서 정석 탐욕 알고리즘의 평균 휴리스틱 값의 $99.6$%를 달성한다. AAC는 허용성을 훈련 성공 여부와 무관하게 만들며, 그 분석과 실험은 선택 품질과 탐색 효율을 구분한다.
확산형 직접 비행시간(direct time-of-flight) LiDAR는 넓은 순간 시야에 걸쳐 광자 반환을 집계하여 형성된 픽셀별 깊이 히스토그램을 보고하며, 이는 표준 LiDAR-RGB 보정의 기반이 되는 단일 광선 가정을 위반한다. 본 논문에서는 각 확산형 LiDAR 픽셀에 대해 동일 위치에 배치된 RGB 이미지 평면에서의 풋프린트(유효 지지 영역)와 상대적 공간 감도를 추정하는 간단한 공간 보정 절차를 제시한다. 배경 제거와 함께 스캔된 재귀반사 패치를 사용하여, 교차 모달 정렬 및 융합을 위한 명시적인 LiDAR-RGB 대응을 제공하는 픽셀별 응답 맵을 복원한다. 본 방법을 ams OSRAM TMF8828에서 시연한다.
장기 환경 모니터링에는 구조적 변화의 탐지와 생태계 건강 평가를 위해, 수개월 또는 수년 간격으로 반복된 현장 방문에 걸쳐 3D 모델을 재구성하고 정렬하는 능력이 필요하다. 그러나 기존의 SfM(Structure-from-Motion) 파이프라인은 일반적으로 제한된 기간 내에 촬영된 영상을 위해 설계되었기 때문에, 시각적·구조적 변화가 큰 반복적 산호초 조사와 같은 장기 모니터링 시나리오에서는 실패한다. 본 논문에서는 현재 접근법의 주된 한계가 큰 시간적 외관 변화 하에서 시각적 대응 관계를 유지하지 못하는 데 있음을 보인다. 우리는 공동 SfM 재구성 내에서 세션 간 대응 관계를 강제함으로써 이 한계를 해결한다. 제안한 접근법은 수작업 특징과 학습된 시각 특징을 결합하여 큰 시간적 간격에 걸친 대응 관계를 수립하며, 표준 SfM이 세션을 연결하지 못하는 경우에도 수년 간격으로 촬영된 영상으로부터 하나의 일관된 3D 모델을 재구성할 수 있게 한다. 대규모 데이터셋에서의 확장성을 확보하고 정렬의 강건성을 더욱 높이기 위해, 비용이 큰 학습 기반 특징 매칭을 시각적 장소 인식으로 식별한 소수의 세션 간 이미지 쌍 후보로 제한하며, 이는 계산 비용을 줄이면서 세션 간 대응 관계 수립의 신뢰성을 높인다. 실제로 상당한 변화를 보이는 장기 수중 데이터셋에서 본 방법을 평가하였으며, 기존 방법이 세션을 연결하지 못하거나 대략적으로만 정렬하는 경우에도 세션 전반에 걸쳐 일관된 공동 재구성이 이루어짐을 보였다.
상호 적응은 인간-AI 팀워크의 핵심 과제이다. 인간은 AI 에이전트의 행동에 따라 자신의 전략을 자연스럽게 조정하기 때문이다. 기존 접근법은 훈련 파트너를 다양화하여 인간의 행동을 근사하려 하지만, 이러한 파트너는 대개 정적이어서 인간 팀원의 적응적 특성을 포착하지 못한다. 표준적인 다중 에이전트 환경에서 에이전트를 함께 훈련하면, 에이전트는 함께 훈련된 파트너에게만 통하는 불투명한 협력 전략으로 수렴하는 경우가 많아 일반화 성능이 떨어진다. 적응적인 인간 행동을 모델링하기 위해 본 논문은 인간-AI 팀워크를 상호작용적 부분 관측 마르코프 결정 과정(Interactive Partially Observable Markov Decision Process, I-POMDP)으로 정식화한다. 또한 각 수준의 에이전트를 하위 수준의 적응적 에이전트와 맞서 훈련함으로써 유한 수준 I-POMDP의 해를 학습하는 중첩 학습 체계인 NestRL을 제안한다. 이 방식은 에이전트가 적응적 행동을 접하도록 하면서도 불투명한 협력 전략이 나타나는 것을 방지한다. 본 논문은 NestRL 에이전트가 파트너 특화 전략으로의 수렴을 피함을 보이는 이론적 분석을 제시하고, Overcooked 도메인에서 최신 기준 모델과 비교하여 이를 실험적으로 검증한다. NestRL은 보지 못한 적응적 에이전트와 실제 인간 팀원 모두에 대해 더 높은 과업 성능을 달성하며, 상호작용이 진행되는 동안 훨씬 더 큰 적응성을 보인다.
시각-언어 내비게이션은 왜 상세하고 장황한 언어 지시에 묶여야 하는가? 이러한 세부 사항은 의사결정을 쉽게 해 주지만, 실세계에서의 내비게이션 목표와는 근본적으로 상충한다. 이상적으로 에이전트는 단순하고 상위 수준의 의도만으로 미지의 환경을 탐색하는 자율성을 갖추어야 한다. 이를 실현하는 데에는 에이전트가 조밀한 단계별 안내 없이 멀리 있고 보이지 않는 목표를 찾아야 하는 시야 너머 내비게이션(BVN)이라는 어려운 과제가 따른다. 기존의 대규모 언어 모델(LLM) 기반 방법은 조밀한 지시를 따르는 데는 능숙하지만, 단기 지평 지도에 의존하기 때문에 근시안적 행동을 보이는 경우가 많다. 그렇다고 지도 지평을 단순히 늘리면 LLM 학습이 불안정해진다. 본 연구는 비디오 생성 모델이 언어 지시에 정렬하기 위해 장기 지평 지도의 이점을 본질적으로 얻는다는 점을 확인하였고, 이로 인해 BVN 과제에 특히 적합하다고 본다. 이러한 통찰을 바탕으로 이 분야에 비디오 생성 모델을 처음으로 도입할 것을 제안한다. 그러나 수십 초 분량의 비디오를 생성하는 데 따르는 과도한 지연 시간은 실세계 배치를 비현실적으로 만든다. 이 간극을 메우기 위해, 20초 지평에 걸친 생성된 희소 미래로 유도되어 1초 미만의 궤적 추론을 달성하는 SparseVideoNav를 제안한다. 이는 최적화되지 않은 대응 모델 대비 27배의 속도 향상을 가져온다. 광범위한 실세계 제로샷 실험을 통해 SparseVideoNav가 BVN 과제에서 최신 LLM 기반 기준선 대비 2.5배의 성공률을 달성하며, 까다로운 야간 장면에서 이러한 능력을 처음으로 실현했음을 확인하였다.
As on-orbit operations grow, so does the need for precise navigation around unknown resident space objects (RSOs), such as spacecraft, debris, and asteroids. Simultaneous Localization and Mapping (SLAM) algorithms are often studied for mapping an RSO and estimating the inspector's relative pose, but conventional cameras struggle during eclipse, while lidar, though illumination-robust, has higher SWaP. Thermal-infrared cameras track targets through difficult lighting but lack the resolution and feature-richness of visible cameras. Images of a target satellite in low Earth orbit are simulated in both visible and thermal bands, and fused at the pixel level to combine each sensor's strengths for front-end tracking. Thermal imagery is further exploited by a novel silhouette-based visual place recognition (VPR) method that detects loop closures without training, runs entirely on CPU, and outperforms all baselines. Integrated SLAM performance is compared using visible, thermal-infrared, and fused imagery across lighting conditions, trajectories, and place recognition methods; using fused imagery for front-end tracking and our thermal-silhouette place recognition method performs best. The results show that visible and thermal modalities each provide unique information that is exploited differently at various stages of navigation. These low-SWaP sensors could ultimately enable reliable proximity operations on smaller, lower-cost spacecraft.
포장에서 재배되는 작물의 신뢰할 수 있는 3D 재구성은 얇고 서로 겹치는 구조, 바람에 의한 잎의 움직임, 변화하는 조명 때문에 어려움을 겪는다. 그럼에도 종단적(longitudinal) 포장 데이터셋과 표준화된 새로운 시점 합성(NVS) 벤치마크는 여전히 부족하다. 우리는 로봇 기반 데이터 획득, 데이터셋 구축, NVS 평가, 농업 장면 재구성을 아우르는 통합 프레임워크를 제시한다. AgriChrobot은 웹 기반 원격 조작과 작물 이랑을 따른 반복적인 다시점 촬영을 가능하게 한다. 이 플랫폼을 사용하여 약 한 달에 걸쳐 수집된 종단 카놀라 데이터셋 AgriChrono를 소개하며, 이는 160회의 녹화 세션, 4개의 RGB 스트림, 2개의 깊이 맵, 추정된 카메라 포즈로 구성된다. 하루 중 네 시간대와 세 개의 획득 날짜에 걸친 7개의 NVS 시나리오를 정의하고, NeRF 및 가우시안 스플래팅 기반의 15개 방법을 벤치마크한다. 전체 이미지 지표에 더해, 수동으로 주석을 단 카놀라 영역 내에서 그래디언트 및 에지 기반 지표를 사용해 미세 디테일 재구성을 평가한다. 결과는 전체 이미지 점수가 높다고 해서 얇고 겹치는 작물 구조의 충실한 재구성이 보장되지는 않음을 보여준다. 이러한 격차를 해결하기 위해 우리는 AgriSplat을 제안한다. 이 방법은 초기화 시 가시성 필터링을 완화하고, 기여도 기반 가지치기와 기존 그래디언트 통계로 순위를 매긴 임계값 미만 후보에 대한 예산 기반 재투자를 통해 모델 용량을 재할당한다. 재할당 이후에는 비대칭 방향성 지도가 기준 이미지 그래디언트 방향을 따른 대비 부족에 페널티를 부여한다. Octree-GS와 비교하여 AgriSplat은 7개 시나리오 전반에서 작물 영역 평균 그래디언트 에너지 비율을 0.506에서 0.847로, 에지 F-score를 0.712에서 0.797로 향상시키며, 전체 이미지 PSNR, SSIM, LPIPS 또한 개선한다. 이러한 기여는 포장 조건에서의 체계적인 작물 재구성을 위한 데이터셋, 벤치마크, 방법을 제공한다.
본 연구는 추적자와 회피자를 강화학습(RL)으로 훈련하는 일대일(1v1) 쿼드로터 추적-회피 문제를 다룬다. 직접적인 적대적 RL은 훈련 중 상대 정책이 변하기 때문에 비정상성, 망각, 전략 순환이 발생하여 불안정한 경향이 있다. 이에 Policy-Space Response Oracles(PSRO)에서 착안한 비동기 다단계 개체군 기반 훈련(Asynchronous Multi-Stage Population-Based training)을 제안한다. Proximal Policy Optimization(PPO)은 각 단계 동안 고정된 이전 학습 상대에 대한 대응 정책을 훈련한다. 균등 변형인 AMSPB-U는 상대를 동일한 확률로 표집하는 반면, AMSPB-P는 하드 우선순위 가상 자기 대전(PFSP)과 균등 탐색을 결합하여 현재 어려운 상대를 강조한다. 학습된 상대에 대한 교차 평가에서 두 변형 모두 최신 상대 훈련에 비해 추적-회피 균형을 개선한다. AMSPB-P는 이전 전략에 대한 대응 능력을 유지하면서 가장 높은 점수를 기록한다. 다양한 시작 위치와 더 큰 경기장에서의 재훈련 이후에도 두 개체군 변형 모두 최신 상대 훈련보다 두 역할 전반에서 더 높은 평균 성공률을 유지한다. 크기 10 cm, 무게 약 40 g의 Crazyflie 브러시리스 쿼드로터 두 대를 이용한 하드웨어 실험에서는 42회의 비행에 걸쳐 기준 제어기 및 학습된 적대자를 상대로 제로샷 시뮬레이션-실제 전이를 입증한다. 기록된 비행에는 회피자가 최고 속도 3.31 m/s와 가속도 17.95 m/s^2의 견고한 수치에 도달한 상태에서의 포획이 포함되며, 추적자의 비행 속도는 최대 4.87 m/s에 이른다.
오버스티어는 차량의 뒷바퀴가 접지력을 잃어 의도하지 않은 과도한 요 회전을 유발하는 현상으로, 중대한 안전 문제를 야기한다. 오버스티어를 제어하지 못하면 심각한 교통사고로 이어지는 경우가 많다. 최근 자율주행 연구는 안정화 기동을 통해 오버스티어를 다루려 했으나, 대부분 전문가가 정의한 궤적에 의존하거나 장애물이 없는 환경을 가정하여 실제 적용성이 제한된다. 본 논문은 오버스티어 제어와 충돌 회피를 동시에 해결하는 새로운 종단간(E2E) 자율주행 접근법을 제안한다. 모방 학습(IL), 강화학습(RL), 하이브리드 학습(HL)을 포함한 기존 E2E 기법은 일반적으로 거의 최적에 가까운 시연이나 방대한 경험을 필요로 한다. 그러나 숙련된 인간 운전자조차 오버스티어 상황에서 완벽한 시연을 제공하기 어렵고, 높은 전이 분산은 충분한 데이터의 축적을 방해한다. 이에 본 연구는 미숙한 시연 데이터로부터 효과적으로 학습하고 새로운 조건에 빠르게 적응하는 새로운 HL 알고리즘인 Q-Compared Soft Actor-Critic(QC-SAC)을 제시한다. QC-SAC를 평가하기 위해, 실제 운전자 훈련에서 착안한 벤치마크를 도입한다. 이 벤치마크에서 차량은 미끄러운 노면에서 갑작스러운 오버스티어를 겪으며 전방에 무작위로 배치된 장애물을 피해야 한다. 실험 결과 QC-SAC는 거의 최적에 가까운 주행 정책을 달성하여 최신 IL, RL, HL 기준 모델을 크게 능가한다. 물리적 조향 하드웨어를 사용한 하드웨어 인 더 루프 시뮬레이션(HILS) 검증은 QC-SAC가 소프트웨어 전용 시뮬레이션을 넘어 작동할 수 있음을 추가로 보여 주며, 실제 차량 구현을 향한 중간 단계의 검증을 제공한다. 우리가 아는 한, 본 연구는 오버스티어 상태에서 장애물을 동시에 회피하면서 차량의 안전한 자율 제어를 달성한 최초의 연구이다.
3D 지각과 추론을 포괄하는 공간 지능은 인공지능의 필수적인 다음 개척 분야이다. 공간 과제를 위해 밀집 Transformer에 의존하는 현재의 3D 시각-언어 모델(VLM)을 확장하는 것은 과도한 계산 비용을 초래한다. 본 논문에서는 새로운 라우팅 커리큘럼으로 안정적으로 육성되는, 모달리티 및 공간 맥락 인식 확률적 라우팅 기법을 갖춘 효율적인 전문가 혼합(mixture-of-experts) 아키텍처를 활용하는 3D VLM인 3D-MoE를 제안한다. 3D-MoE를 임바디드 AI로 매끄럽게 확장하기 위해, 확산 기반 행동 헤드인 Pose-DiT를 통합하여 3D-MoE를 3D 시각-언어-행동(VLA) 모델로 변환한다. Pose-DiT는 정류 흐름(rectified flow) 프레임워크를 채택하여 단일 샘플링 단계에서 정밀한 6D 자세 행동을 생성한다. 광범위한 실험을 통해 3D-MoE가 활성화되는 파라미터 수를 크게 줄이면서도 다양한 3D 시각-언어 벤치마크에서 우수한 성능을 달성하고, 로봇 조작 과제에서 더 높은 성공률을 보이는 동시에 실시간 추론을 가능하게 함을 입증한다. 코드는 https://github.com/yueen-ma/3D-MoE 에서 공개되어 있다.