본 보고서는 Shahid Beheshti 대학교 로보틱스 및 지능형 자동화 연구실에서 개발한 Auriga Robotics의 1:10 스케일 자율주행 차량의 설계와 구현을 제시한다. 이 플랫폼은 맞춤형 기계 섀시, ESP32 마이크로컨트롤러 기반의 분산 임베디드 시스템, 그리고 고수준 인지와 제어를 위한 Jetson Orin NX 모듈을 통합한다. 임베디드 계층은 센서 인터페이스, 실시간 데이터 수집, 액추에이터 제어를 관리하고, Jetson은 딥러닝 기반의 차선, 표지판, 신호등 검출을 통한 환경 인지와 의사결정 및 궤적 제어를 담당한다. 시스템 통신은 구조화된 UART 링크로 이루어져 인지 및 제어 하위 시스템 간의 동기화된 동작을 보장한다. 차량의 소프트웨어 스택은 ROS, 모듈식 펌웨어 설계, 그리고 Stanley, PID, Pure Pursuit의 여러 제어 알고리즘을 포함하여 구조화된 주행 시나리오에서 안정적인 자율 주행을 달성한다. 전체 시스템은 도심과 유사한 환경에서 견고한 성능과 신뢰성을 보이며, 향후 자율주행 연구를 위한 모듈식 연구 플랫폼으로 활용된다.
LocateAnything과 VFlash와 같은 단일 패스 프리미티브 디코더는 기하학적 프리미티브의 양자화된 좌표 토큰을 모두 한 번의 순전파로 예측하여 빠른 System-1 시각 계획을 가능하게 한다. 본 연구는 이러한 디코더를 System-1 세계 모델, 즉 후보 푸시 동작을 예측된 결과에 따라 순위 매기는 빠른 행동 조건부 예측기로 사용할 때 무엇이 중요한지를 연구한다. ManiSkill3 PushT-v1(512개의 홀드아웃 테스트 패밀리, 8,192회 롤아웃)과 lerobot/pusht의 인간 시연(2,384개의 테스트 윈도)에서, 대응되는 체크포인트, 계층적 부트스트랩 신뢰구간, Holm 보정을 사용하여 디코더, 학습 손실, 강체 투영, 좌표 프레임을 비교한다. 비슷한 크기의 두 요인이 결과를 좌우한다. 첫째, 입력과 출력을 객체 초기 자세의 SE(2) 프레임으로 표현하면 다섯 가지 디코더 모두에서 의사결정 후회(decision regret)가 1.9~2.2배 감소하며, 128개 패밀리로 학습한 객체 프레임 모델은 512개 패밀리로 학습한 월드 프레임 모델과 동등한 성능을 보인다. 둘째, 단일 패스 디코딩이 반복적 디코딩보다 우수하다. 객체 프레임에서 단일 패스 헤드는 결정당 1.6~1.8 ms에서 0.020~0.021의 후회를 달성한 반면, 10단계 DDIM 확산은 10.3 ms에서 0.046, KV 캐시를 사용한 자기회귀는 12.9 ms에서 0.059를 기록했다. 단일 패스 헤드 간의 선택은 후회에 측정 가능한 영향을 주지 않으며, 프레임 효과가 디코더 간 편차를 능가한다는 사전 등록 가설은 지지되지 않는다. 종단 간 2D Kabsch 투영을 결합한 소프트 토큰 기댓값 방식은 가장 낮은 궤적 오차(ManiSkill3에서 11.35 px, lerobot/pusht에서 3.78 px)와 정확한 강체 일관성을 달성하며, 4단계부터 50단계까지 모든 DDIM 단계 예산에서 확산보다 낮은 후회를 3~29배 낮은 지연 시간으로 달성한다.
비전-언어-행동(VLA) 정책은 적대적 시각 교란에 취약한 반면, 방어는 흔히 태스크별 적대적 미세 조정을 요구한다. 본 연구는 소스 조작 태스크에서 학습된 강건성이 대상 측 적대적 학습 없이도 독립적으로 특화된 대상 정책을 보호할 수 있는지를 조사한다. 먼저 단 한 번의 소스 방어 업데이트만으로도 홀드아웃 태스크에서 강건성이 향상됨을 보이며, 이로써 다중 소스 집계와 무관하게 교차 태스크 방어 재사용이 성립함을 확립한다. 소스 업데이트를 결합하기 위해, 평균의 방향은 유지하되 소스 업데이트 노름을 이용해 크기를 보정하는 Source-Norm Transferable Robustness Vector(SN-TRV)를 도입한다. 결과로 얻은 업데이트는 대상 적대적 데이터, 대상 측 그래디언트 최적화, 추가 추론 모듈 없이 대상 시각 인코더에 적용된다. 세 가지 VLA 백본, 고정 공격과 적응형 공격, 서로 다른 소스 방어 방식에 걸친 평가에서 단순 평균 대비 향상된 강건성이 확인되었으며, 공격 범위 측면의 한계도 확인되었다. 실제 PiPER 로봇 실험에서 인쇄된 적대적 패치 하에서의 평균 성공률이 20.3%에서 45.8%로 증가하였다.
대규모 언어 모델과 비전-언어 모델은 자연어 지시와 시각 관측으로부터의 로봇 행동 계획을 크게 발전시켰다. 그러나 작업에 필요한 안전 제약이 주변 장면에 따라 달라지며 지시문에 명시되지 않을 수 있기 때문에, 탁상 환경에서의 안전한 조작은 여전히 어려운 과제이다. 우리는 재사용 가능한 텍스트 안전 규칙을 저장하는 명시적 제약 공간(Constraint Space)에 기반한 안전 인지 행동 계획 프레임워크를 제안한다. 의미적 유사도만으로 규칙을 검색하는 대신, 제약 선택을 작업 및 환경 조건부 적용 가능성 학습으로 정식화한다. 경량의 쿼리 조건부 이중 타워 모델이 현재 맥락에 적용 가능한 제약을 식별하고, 이는 원래의 작업 및 이미지와 함께 멀티모달 행동 계획기에 제공된다. 잘못된 제약 선택과 이전에 보지 못한 위험을 처리하기 위해, 생성된 원시 계획을 평가하고 적용 가능한 전체 제약 집합을 재구성하며 교정적 계획 피드백을 제공하는 멀티모달 안전 검사기(Safety Inspector)를 도입한다. 검증된 검사 피드백은 제약 적용 가능성의 테스트 시점 적응과 LoRA를 통한 안전 검사기의 매개변수 효율적 적응에 추가로 활용되며, 새로 식별된 제약은 제약 공간에 편입된다. 그 결과 이 프레임워크는 명시적 안전 지식 표현, 맥락 인지 제약 선택, 교정적 안전 검사, 테스트 시점 지식 적응을 안전 인지 로봇 행동 계획을 위해 통합한다.
행동 예산은 비전-언어 내비게이션(VLN)의 탐색을 어떻게 형성하며, 어떤 전문가 지도가 예산 인지 탐색을 가장 잘 가르치는가? 우리는 예산 조건부 객체 탐색, 즉 주어진 예산 내에서 요청된 범주의 서로 다른 인스턴스를 가능한 한 많이 찾는 문제를 연구하며, 발견은 카메라 시야와 근접성에 의해 기하학적으로 정의한다. 서로 다른 발견은 단일 목표 성공보다 더 조밀한 평가 신호를 제공한다. 우리는 전문가 설계를 장면 추상화의 선택으로 정식화한다. 예산으로 색인된 단일 Bellman 재귀를 전체 환경의 서로 다른 추상화에 적용하면, 아는 정보가 서로 다른 전문가가 만들어진다. 객체 수준 Bellman 전문가는 모든 목표 위치를 알고 있어 탐색이 예산 제약 경로 계획으로 환원된다. 방 수준 Bellman 전문가는 관측된 방의 연결성, 출입구 증거, 장면 간 의미적 사전 지식을 유지하지만 탐색되지 않은 방의 내용은 알지 못하므로, 학생 모델도 볼 수 없는 목표를 탐색해야 한다. 우리는 일치시킨 학습 조건에서 두 전문가를 Uni-NaVid로 증류하고, 보류된 HM3D 장면에서 greedy-frontier 지도도 함께 평가한다. 명시된 예산만 바꾸어도 학습된 궤적이 달라진다. 객체 수준 전문가의 반환값이 더 높음에도, 방 수준 지도는 시험한 모든 예산에서 평가된 VLN 중 가장 높은 평균 수집량을 달성한다. 2000 스텝에서 방 수준 지도는 도달 가능한 목표의 72.7%를 찾았으며, 이는 greedy-frontier 지도의 68.5%, 객체 수준 지도의 65.5%, 사전 학습된 VLN의 44.8%와 비교된다. 이러한 결과는 전문가 반환값의 순위가 VLN 탐색에서의 지도 품질을 반드시 예측하지는 않음을 보여 주며, 전문가의 추상화를 전문가 반환값만이 아니라 학생의 정보를 염두에 두고 선택해야 함을 시사한다.
임바디드 파운데이션 모델은 수집 비용이 큰 다양한 로봇 상호작용 데이터에 의존한다. 자기 중심 시점의 인간 영상은 이를 보완하는 경험의 원천이며, 잠재 행동 모델(LAM)은 이러한 영상을 정책 지도에 활용하는 널리 쓰이는 수단이다. 월드-행동 모델(WAM)과 비교하면 LAM은 정책 학습 및 실행 중 명시적인 픽셀 예측을 피함으로써 더 높은 학습 효율과 잠재적으로 낮은 추론 비용을 제공할 수 있다. 그러나 대부분의 기존 LAM은 영상 재구성만으로 잠재 행동을 학습하므로, 표현이 근본적인 행동이 아니라 시각적 외형에 따라 군집화될 수 있다. 그 결과 인간의 행동을 로봇의 대응 행동과 정렬하는 데 어려움을 겪는다. 이러한 간극을 메우기 위해 우리는 잠재 행동의 의미적 대응 관계를 확립하는 데 중점을 둔 SALA를 제안한다. 쌍을 이룬 데이터 없이, 짝이 없는 인간 및 로봇 클립의 언어 설명을 사용하여 의미적 유사도를 추정하고 교차 임바디먼트 대응을 지도한다. 구체적으로 이러한 유사도를 소프트 이웃 구조로 변환하여 인간 잠재 행동을 의미적으로 관련된 로봇 잠재 행동 쪽으로 유도하며, 로봇 행동 재구성은 잠재 공간을 제어에 기반하게 한다. 이렇게 얻은 공유 잠재 행동 공간은 인간 및 로봇 영상 모두로 임바디드 파운데이션 모델을 학습시키기 위한 통합된 지도 신호를 제공한다. 특히 잠재 행동 지도는 두 축에 따른 확장을 가능하게 한다. (1) 일반 인간 영상의 양을 늘려 사전 학습하면 하위 작업에서 로봇 행동 예측 오차가 일관되게 감소하고, (2) 작업별 인간 영상의 양을 늘려 후속 학습하면 실제 로봇 작업 성공률이 크게 향상된다.
로봇 에이전트는 실행 피드백으로부터 재사용 가능한 기술, 계획 절차, 복구 전략을 개선할 수 있지만, 고정된 연습 출처는 새로운 약점을 찾는 탐색을 그대로 둔다. 유용한 연습은 에이전트의 현재 능력에 달려 있으므로, 연습을 선택하는 절차 또한 수정 가능해야 한다. 우리는 고정된 파운데이션 모델을 둘러싼 커리큘럼 하니스와 실행 하니스를 함께 진화시키는 프레임워크 RoboACE(Robot Adversarial Co-Evolution)를 제시한다. 커리큘럼 하니스는 축적된 능력 증거를 활용해 유익한 과제를 제안하고, 실행 하니스는 실행 능력을 확장하는 재사용 가능한 수정으로 이에 응답한다. 번갈아 수행하는 갱신은 한쪽이 변하는 동안 다른 쪽을 고정하며, 승인된 과제는 실행 수정을 비교하기 위한 고정 스냅샷을 이룬다. 소규모의 LIBERO 연습 조건 집합에서 시작하여, 그 결과로 얻은 고정 배포는 LIBERO 계열의 네 패널 전반에서 평가된 컨트롤러와 에이전트 시스템을 능가한다. LIBERO-PRO에서는 74.0%의 성공률에 도달하여 초기 배포보다 15.0%p, VLA 컨트롤러의 직접 실행보다 13.5%p 높다. 사례 연구는 증거 기반 연습 선택, 서랍 기술의 그라운딩, 컨트롤러 개입의 변화를 기록한다.
카메라 기반 주행 모델은 조밀한 조감도(BEV) 격자를 구성하고 모든 셀에 동일한 연산을 소비하지만, 차량은 계획 구간 내에 그중 일부 셀만 통과한다. 본 논문은 해상도가 예측된 주행 경로에 적응하는 2단계 BEV인 BEVCast를 제안한다. 거친 단계에서는 4.096 m 셀의 격자로 전체 장면을 인코딩한다. 기록된 경로로 학습한 히트 헤드가 모든 거친 셀에 히트 값을 할당하고, 히트가 가장 높은 셀은 고정된 예산 내에서 1.024 m 셀로 정제된다. 나머지 셀은 거친 해상도를 유지하므로, 궤적 헤드는 전체 장면을 여전히 포괄하는 혼합 해상도 BEV를 읽으며 HD 맵이나 내비게이션 명령이 필요하지 않다. 동일한 아키텍처와 학습 레시피를 가진 1.024 m 셀의 전체 격자와 비교하여, 10% 정제 예산의 BEVCast는 BEV 쿼리의 28%를 인코딩하며 배치 크기 1에서 BEV 인코더 시간의 66%만 필요하다. nuScenes에서 평균 변위 오차는 1.149 m 대비 1.078 m이고, 주행 가능 영역 위반율은 2.29% 대비 1.46%이다. NAVSIM navtest에서 평균 변위 오차는 0.598 m 대비 0.577 m이며, 확장 예측 운전자 모델 점수는 81.28 대비 82.51이다. 기존에 발표된 플래너와 비교하면 BEVCast는 내비게이션 명령 없이 두 벤치마크에서 비슷한 오차에 도달한다. 따라서 주행 BEV의 해상도는 격자가 아니라 과제를 따를 수 있다.
대규모 언어 모델(LLM)을 이용해 다중 에이전트 팀을 조율할 때는, 특히 통신이 불안정한 경우 과제 할당을 단일 LLM 제어기에 집중시킬지 자율적인 LLM 에이전트들에 분산시킬지라는 근본적인 아키텍처 문제가 제기된다. 의도적으로 단순화한 경계 방어 시뮬레이션에서 LLM이 제어하는 침입자에 맞서, 다섯 가지 네트워크 조건에서 중앙 지휘관, 경매 기반 합의 팀, 독립 에이전트를 비교하였다. 돌파율은 합의 팀이 15%, 지휘관이 32%, 독립 에이전트가 29%였다. 폭발적 메시지 손실, 조작된 보고, 제한된 무선 범위는 지휘관의 돌파율을 10에서 18퍼센트포인트(pp) 높인 반면, 합의 팀의 돌파율은 최대 5만 변했다. 합의 팀에서 저비용 LLM에 입찰 계산에 대한 더 많은 권한을 주면 돌파율이 38 pp 상승하였다. 공역에 새와 민간 드론이 있는 경우, 각각에 대한 이미지를 입력 텍스트 상태에 추가하였다. 이들을 침입자와 구별하여 다룬 것은 준최첨단 모델뿐이었다. 기존 박제 새 드론으로 위장한 침입자는 저비용 LLM과 준최첨단 LLM 모두에서 새로 오인되어, 준최첨단 모델의 결정 중 59-61%에서 추격 대상에서 제외되었다(이전에는 1-16%). 그러나 프롬프트에 한 문장의 사전 경고를 넣자 이 비율이 0-25%로 낮아졌다. 전용 외부 충돌 해결 프로토콜을 갖춘 LLM 팀의 돌파가 가장 적다는 것을 확인하였다. 코드는 https://github.com/the-kas-lab/consensus-within-competition-between 에서 이용할 수 있다.
잠재 세계 모델은 에이전트가 잠재 공간에서 계획을 수립할 수 있게 한다. 플래너는 비용을 최소화하는 행동 시퀀스를 탐색하며, 이 비용은 흔히 예측된 최종 잠재 변수와 목표 잠재 변수 사이의 $\ell_2$ 거리로 정의된다. 그러나 잠재 변수에는 일부 잡음이 포함되어 있다. 세계 모델 학습 중 붕괴를 방지하는 정규화 항이 신호를 담지 않는 방향에서도 분산을 증가시키기 때문이다. 본 논문은 동일한 정규화 항이 잠재 공간의 잡음을 제거하는 데 필요한 구조도 제공함을 보인다. SIGReg는 매 단계에서 잠재 변수의 주변분포를 표준 가우시안으로 유도하며, 잠재 시퀀스가 가우스-마르코프 과정이라고 추가로 가정하면 전이는 선형이고 그 공분산은 사상 자체에 의해 결정되어 $z' \mid z \sim N(Az,\, I - AA^\top)$가 된다. 따라서 상태 동역학 $A$를 적합하면 추가 비용 없이 공분산을 얻을 수 있으며, 그 고유기저에서 각 잠재 방향은 고유한 불확실성을 지닌다. 나아가 $A$를 정규 행렬로 제약하면 시간 단계에 관계없이 기저가 고정되므로, 하나의 고유기저로 임의의 단계 수에 걸친 불확실성을 측정할 수 있고 계획 비용을 계산하기 위한 안정적인 기저로도 쓸 수 있다. 이후 $\ell_2$ 비용을 상태 동역학이 가장 낮은 불확실성으로 전달하는 $k$차원 부분공간으로 제한한다. 이 보정은 사후 방식이다. 인코더, 예측기, 롤아웃, 플래너는 모두 그대로 두고 제약된 행렬 $A$ 하나만 적합한다. 여섯 개 환경에서 평가한 결과 2D 내비게이션 과제인 TwoRoom과 PointMaze에서 큰 성능 향상을 보였으며, 더 어려운 계획 설정에서 일반 $\ell_2$ 비용 대비 성공률을 최대 $+54.7$포인트 높였다. 코드는 https://github.com/yjang43/lp2 에서 공개되어 있다.
비전-언어 내비게이션(VLN)은 장기적으로 지시와 일관된 계획과, 현재 관측된 기하 구조에 근거한 단기 경로 계획을 필요로 한다. 지시된 경로를 따라 미래 관측이 어떻게 전개될지 예측하면 현재 시야를 넘어서는 예측적 안내를 얻을 수 있으며, 이는 미래 시각 상태의 표현을 학습하는 비디오-행동 모델(VAM)의 동기가 된다. 그러나 기존의 많은 VAM은 추론 시 미래 시각 예측과 행동 생성을 결합하는데, 두 작업의 시간적 요구는 서로 다르다. 지시 조건부 경로 안내는 여러 제어 단계에 걸쳐 재사용할 수 있지만, 국소 궤적은 새로운 관측에 맞추어 지속적으로 적응해야 한다. 이 간극을 메우기 위해 예측적 추론을 반응형 국소 계획과 분리하는 이중 시스템 VAM인 HAVANA를 제안한다. 느린 시스템은 관측 이력으로부터 간결한 언어 조건부 잠재 계획을 생성하고, 빠른 시스템은 최신 계획과 현재 관측을 결합하여 국소 궤적을 생성한다. 두 시스템의 비동기 실행은 반복적인 미래 예측 없이 빠른 적응을 가능하게 하며, 추론 중에는 미래 비디오가 생성되지 않는다. OmniNavBench 실험에서 기존 베이스라인보다 우수한 최고 수준의 내비게이션 성능을 보였으며, 제로샷 실환경 배포에서도 보지 못한 환경에 대한 강건한 일반화를 확인했다.
단안 이미지로부터의 카메라-로봇 자세 추정은 비전 기반 로봇 내비게이션과 제어에 중요하다. 기존의 카메라-로봇 자세 추정 방법은 시간이 많이 드는 반복적 렌더링에 의존하거나, 예측된 2D 키포인트에 기반한 PnP처럼 강건성이 제한적이거나, 단안 스케일 모호성과 복잡한 학습 구성을 겪는 3D 정합에 의존한다. 본 연구에서는 카메라-로봇 자세 추정을 위한 플로 매칭 기반 프레임워크인 CtRoFlow를 제안한다. 예측된 2D 히트맵으로부터 키포인트 중심의 다중 스케일 패치에서 위치 특징과 문맥적 표현을 함께 얻기 위해 키포인트 중심 특징 추출기(Keypoint-centered Feature Extractor, KFE)를 제안한다. 또한 키포인트 간 상관관계를 기반으로 플로 매칭을 위한 조건을 생성하는 그래프 유도 조건 생성기(Graph-guided Condition Generator, GCG)를 도입한다. 아울러 분리된 학습과 스케일 일관성을 위해 뼈 길이 손실(Bone Length Loss)과 광선 기반 손실(Ray-based Loss)을 도입하고, 관절별 가중치를 적용하여 관절마다 다른 예측 난이도를 완화한다. 제안한 방법은 여러 카메라를 사용하는 다양한 종류의 로봇에서의 자세 추정은 물론, 제로샷 교차 장면 로봇 자세 추정에서도 최신 방법들을 능가한다. 코드는 논문 채택 후 공개될 예정이다.
본 논문은 쌍을 이루는 실제 세계 실행 결과에 대해 행동 조건부 월드 모델(action-conditioned world models, ACWM)을 평가하도록 특별히 설계된 벤치마크인 WorldOracle을 소개한다. 동일한 초기 관측과 저수준 행동 시퀀스가 주어졌을 때, WorldOracle은 예측된 롤아웃이 물리적 결과와 과제 상태 전이를 포함하여 실제 세계에서 일어나는 일을 재현하는지를 묻는다. 모델은 물리 상태 정확성, 상호작용 공간 정렬, 핵심 상호작용 영역 충실도, 다중 뷰 행동 일관성이라는 상호 보완적인 네 가지 차원에서 평가된다. 이 평가를 지원하기 위해 서로 다른 상호작용 동역학과 형태(embodiment)를 아우르는 실제 세계 학습 및 평가 세트를 구축하였다. 평가 세트는 성공과 실패 실행을 모두 포함하는 긴 다중 구간 에피소드로 구성되어, 다양한 행동 결과와 행동 분포에 걸친 평가를 가능하게 한다. 대표적인 ACWM 7종에 대한 실험은 모델별로 뚜렷한 강점과 실패 양상을 드러낸다. WorldOracle은 조작(manipulation)을 위한 행동 조건부 월드 모델링을 측정하고 발전시키기 위한 체계적인 기반을 제공한다. 데이터셋, 평가 코드, 리더보드를 https://worldoracle-benchmark.github.io/ 에 공개한다.
VGGT는 시각 관측으로부터 통합된 3D 장면 기하를 복원함으로써 기하 중심 세계 모델을 위한 강력한 기반을 제공한다. 최근의 확장 연구들은 시간적 3D 예측을 가능하게 하지만, 이들의 미래 진화는 주행 의도와 행동에 대한 조건화가 여전히 약하여 행동에 따라 달라지는 대안적 미래를 모델링하는 능력이 제한된다. 본 논문은 자율주행에서 제어 가능한 3D 세계 진화를 위해 VGGT-World를 의도 조건부로 확장한 \textbf{VGGTWorld-VLA}를 제안한다. 첫째, 상호 보완적인 주행 의미와 자차 운동 표현을 미래 토큰 스트림에 주입하는 행동-의미 조건화 메커니즘을 도입하여, 동일한 관측 장면에 대해 서로 다른 자차 행동에 따라 상이한 미래 기하를 예측할 수 있도록 한다. 둘째, 과거 기하, VLA 의미 특징, 기동 및 궤적 표현을 미래 기하 예측의 공동 조건화에 맞게 조정하는 기하-언어-행동 브리지를 개발한다. 미래 기하 예측을 NAVSIM에서 평가하고, 의미 조건화와 행동 조건화의 기여를 살펴보는 절제 연구를 수행한다. 기준 모델과 비교하여 본 방법은 NAVSIM 움직임 부분집합에서 미래 깊이 RMSE를 13.7% 감소시키고 $\delta_1$을 4.11%p 향상시킨다. 통제된 행동 입력 개입 실험은 모델이 제공된 행동 정보를 실제로 활용함을 추가로 보여 준다. 이러한 결과는 자율주행에서 제어 가능한 VGGT 기반 세계 예측을 위한 의미 및 행동 조건화를 뒷받침한다.
교차 엔트로피 방법(CEM)은 월드 모델의 예측을 행동 시퀀스를 선택하는 데와 다음 샘플링 위치를 정하는 데 모두 사용한다. 우리는 모델이 순위를 매긴 첫 번째 엘리트 집합만을 환경이 순위를 매긴 엘리트로 대체하여 초기 업데이트의 효과를 분리한다. 이 고정 상태 개입은 Walker/Cheetah 과제-시드 단위 12개 모두에서 선택된 시퀀스의 실현된 추적 비용을 낮춘다. 이어서 모델 자체의 목적 함수 아래에서 탐색을 개선하는 방법으로, 상위 순위 후보에 대한 짧은 그래디언트 업데이트를 연구한다. 32개 과제의 고정된 TD-MPC2 체크포인트 52개에 걸쳐, 두 계획기의 초기 제안 폭을 모두 조정하여 동일한 계획 예산에서 정제를 추가 CEM 샘플링과 비교한다. 이 비교에 앞서 탐색적 모델 전용 진단을 사용해 그룹을 고정한다. 정제는 모델이 예측한 개선이 큰 체크포인트 열 개에서 평균 67.8 리턴 점수(95% CI [31.9, 103.6])의 이득을 얻고, 나머지 42개에서는 0.2([$-2.9$, 3.4])의 이득을 얻는다. 24개의 새로운 체크포인트에 대한 진단의 순위 검정은 실패하므로, 이 연관성이 예측 규칙을 입증하지는 않는다. 오프라인 분석은 일부 과제에서 국소적 이점을 보이며, 제안 재적합과 최종 선택 모두에 대해 양의 추정치를 보인다. 탐색 종료 시점의 다듬기 또한 도움이 되며, 반복적인 재적합의 필요성은 해결되지 않은 채로 남는다.
메모리에 의존하는 제어에 비선형 순환 동역학이 필요한가? 우리는 퍽 추적이 일시적으로 상실되는 상황에서의 시뮬레이션 에어하키 수비를 연구한다. DreamerV3 교사 모델은 추적 상실 시 메모리가 없는 정책보다 우수한 성능을 보이며, 추적이 실패하는 순간 교사의 순환 상태를 지우면 세이브율이 급격히 감소하므로 이 과제는 메모리를 필요로 한다. 우리는 이 교사를 64차원 상태를 갖는 간결한 순환 정책으로 증류하며, 관측 인코더와 행동 헤드는 비선형으로 유지한 채 대각 선형 순환에 선택적인 랭크-$k$ 비선형 혁신을 결합한다. 일치된 다섯 개의 시드에 걸쳐, 순수 선형 순환 모델($k=0$)은 시험한 추적 상실의 전 범위에서 GRU 기준 모델과 교사 모두와 대등한 성능을 보인다. 비선형 혁신 랭크를 높여도 측정된 이득은 없다. 이 결과는 모든 모델과 분석을 고정한 이후에야 개방한 새로운 시험 분할에서 얻은 것이다. 5\,mm의 관측 잡음 아래에서 재학습 없이도 선형 학생 모델은 GRU 기준 모델보다 더 높은 세이브율을 유지하면서 순환 파라미터와 계산량은 더 적게 사용한다. 이러한 결과는 이 메모리 의존 제어 과제에서 단순한 선형 메모리를 둘러싼 비선형 표현 학습만으로 충분할 수 있으며, 비선형 순환 동역학이 반드시 필요하지는 않음을 시사한다.
비전-언어-행동(VLA) 모델은 멀티모달 의미를 물리적 행동으로 매핑함으로써 로봇 조작에서 큰 가능성을 보여 왔다. 그러나 이 매핑은 본질적으로 거친 입자의 의미를 세밀한 시간적 실행과 정렬하는 데 어려움을 겪는다. 이로 인해 VLA 모델은 어수선한 환경에서 일반화가 제한되고 견고성이 부족하다. 이 문제를 극복하기 위해, 본 논문은 최소한의 계산 비용으로 사전 학습된 VLA 모델을 강화하는 효율적인 다중 스케일 미세 조정 프레임워크인 ActionUNet을 제안한다. ActionUNet은 먼저 시간적으로 정렬된 행동 특징 공간 안에 경량 시간적 U-Net을 구성하여 계층적 구조 사전 지식을 융합함으로써 의미와 시간적 실행 사이의 스케일 격차를 효과적으로 해소한다. 다중 스케일 모델링이 미시적 시간 연속성을 훼손하여 기계적 진동을 일으킬 수 있음을 인식하여, ActionUNet은 이어서 조건부 SIREN을 연속 행동 디코더로 사용한다. 명시적인 2차 평활성 제약을 갖춘 이 디코더는 시간적 연속성을 보장하고 고주파 동작 떨림을 줄인다. 다중 스케일 융합에서 비롯된 시간적 불연속을 평활화함으로써, 이러한 연속적 정식화는 기반 VLA 모델의 일반화와 조작 견고성을 유지하면서 기계적 실행 실패를 줄인다. RoboTwin 2.0과 LIBERO-Plus 벤치마크 및 실세계 고난도 평가에 대한 광범위한 실험은 ActionUNet이 {\pi}0.5의 성공률을 각각 절대 9.8%, 6.1%, 11.4% 향상시킴을 보여 주며, 회귀 기반 OpenVLA-OFT 백본에도 일반화되어 미세 조정 전략으로서의 효과성과 효율성을 입증한다. 코드와 구현 세부 사항은 https://github.com/Di-Zhu123/ActionUNet 에서 확인할 수 있다.
현재 자율주행용 시각-언어-행동(VLA) 모델은 주로 지각–추론–계획 계층 전반에서 순전파 추론으로 동작한다. 최신 아키텍처는 지각 모듈 내에서 시간적 순환을 유지하지만, 초기 지각은 하류의 추론과 내비게이션 목표를 반영하지 못해, 이전 결정에서 얻은 단서를 우선하지 않은 채 시각 입력을 목표와 무관하게 처리한다. 이 격차를 줄이기 위해 본 논문은 PRIME을 제안한다. PRIME은 VLA 지각 쿼리를 새로운 상황 메모리(Situational Memory)로 조건화하는 학습 기반 피드백 메커니즘이다. 교차 어텐션(cross-attention)으로 L-step 윈도우에 걸쳐 과거 지각, 추론, 내비게이션 목표, 예측 행동의 잠재 표현을 집약함으로써, PRIME은 계산 비용을 최소화한 채 의도 기반 지각 어텐션을 가능하게 하며, 기반 모델(73억 매개변수) 대비 최대 29.7M 매개변수(0.41%)만 추가한다. Bench2Drive 폐루프 벤치마크에서 PRIME은 Driving Score 82.47(ORION 대비 +4.73)과 Success Rate 60.00%(+5.38 percentage points)를 기록해 최신 수준이며, Think2Drive 시연으로 학습한 공개 VLA 중 보고된 Driving Score 최고치이다.
연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 체화 에이전트가 미지 환경에서 장기 지시를 수행하도록 요구한다. 기존 제로샷 VLN-CE 시스템은 일반적으로 기하학적 위치 추정 또는 좌표 기반 표현을 통해 공간 상태를 유지한다. 최근 기하학적 제약 내비게이션은 깊이와 전역적으로 일관된 좌표를 제거하지만, 장소 확인·진행 검증·복구를 위한 지속적인 공간 인식 유지는 여전히 어렵다. 본 논문은 시각 관측과 실행된 운동 이력으로부터 좌표 없는 공간 상태를 구성하는 제로샷 VLN-CE 에이전트인 Navi-Agent를 제안한다. Navi-Agent는 이 상태를 내비게이션 토폴로지로 구성하며, 노드는 시각적 장소를, 에지는 운동 전환을 나타낸다. 이 표현은 관측 기반 근사 자기 위치 추정, 과제 진행 검증, 시각적 재방문 기반 복구를 가능하게 한다. Navi-Agent는 지시를 하위 목표로 분해하고, 국소 시각 내비게이션을 실행하며, 구성된 공간 상태로 방문 장소를 검증함으로써 폐루프 내비게이션을 수행한다. 제로샷 VLN-CE 벤치마크와 실제 로봇 플랫폼 실험에서 Navi-Agent는 기하학적 제약 방식 중 최첨단 성능을 달성하면서, 기하학적 위치 추정에 의존하는 접근법과도 경쟁력 있는 수준을 유지함을 보인다.
대규모 언어 모델(LLM) 에이전트는 다단계 환경 상호작용을 통해 장기 지평 과제를 점점 더 많이 수행하지만, 단 한 번의 잘못된 행동만으로도 이후 상태와 관측이 바뀌어 오류가 시간에 따라 누적될 수 있다. 기존 방법은 변경된 환경 상태를 복구하지 않은 채 문맥만 고치거나, 이전 상태로 되돌리면서 유용한 경험을 버려, 실패 조건을 제거하는 것과 과거 실수를 반복하지 않는 것을 동시에 달성하기 어렵다. 우리는 신뢰할 수 있는 복구를 대신 롤백 경계 제어 문제로 보아, 언제 개입할지, 어디서 재개할지, 복구 후 어떤 정보가 남아야 하는지를 함께 결정해야 한다고 주장한다. 이 관점에 기반해, 선택한 이전 상태로 실행을 복원하면서 포기한 궤적에서 정제한 재사용 가능한 지식을 이어가 후속 결정을 이끄는 통합 복구 프레임워크인 Rollback-Induced Reflection(RIR)을 제안한다. 또한 롤백 깊이와 보존 기억에 대한 통합 연산자로 복구를 특성화하여, 상태 복원과 지식 보존에 대한 일반적 관점을 제공한다. 세 가지 장기 지평 벤치마크 실험에서 RIR은 여러 LLM 백본에서 평균 과제 성능을 일관되게 향상시키며, 구조화된 반성 기억이 유용한 경험을 보존하고 선택적 롤백이 효율적인 복구를 가능하게 함을 보여준다.