테스트 시점 스케일링은 여러 행동 후보를 뽑아 가장 좋은 것을 실행해 비전-언어-행동(VLA) 정책을 개선한다. 같은 디코더에서 후보를 다시 뽑으면 개선 폭이 빠르게 줄어든다. 후보 사이의 차이가 계획보다 잡음에서 비롯되기 때문이다. 세 가지 재표본 추출 방식 모두에서 후보를 네 개에서 여덟 개로 늘려도 CALVIN의 평균 완료 과제 수는 0.06~0.07만큼만 늘었다. 본 연구는 후보별로 계획을 달리하는 행동 헤드 PlanDiv를 제안한다. 경량 계획기가 K개의 잠재 계획 가설을 제안하고, 공유 마스크 확산 실행기가 백본을 한 번 실행한 결과로 각 계획의 행동 청크 하나를 디코딩한다. 정책은 자체 가능도가 가장 높게 평가한 청크를 실행한다. 계획 레이블이나 보상 없이 시연만으로 계획을 학습한다. 백본과 데이터, 학습 절차를 고정한 상태에서 계획을 조건으로 얻은 후보 여덟 개는 CALVIN ABC$\rightarrow$D의 다섯 과제 연쇄 성공률을 56.9%에서 69.9%로 높였다. 자기회귀 방식, 계획 없이 재표본 추출하는 방식, 같은 계획에서 재표본 추출하는 방식은 후보가 여덟 개일 때 최대 64.9%였다. 같은 계획을 사용하는 기준선은 PlanDiv 자체 체크포인트에서 계획만 고정한 모델이므로 이 격차는 표본 수가 아닌 계획의 다양성에서 비롯된다. LIBERO-Long에서 계획 네 개를 사용하면 단일 후보에서 발생한 실패의 40%를 없앴으며, 같은 수의 후보를 뽑는 재표본 추출 방식은 최대 21%를 없앴다. 실제 Franka 로봇 팔에서는 해결 방법이 여러 개인 과제에서 개선이 나타났다. 해결 방법이 하나인 과제에서는 단일 출력을 내는 OpenVLA-OFT+ 기준선과 비슷했다. 해결 방법이 두 가지인 과제 두 개에서 PlanDiv는 54회 중 51회 성공했으며, 기준선은 54회 중 40회 성공했다.
로봇이 사람의 초기화 없이 연습해도 시도할 때마다 실제 시간이 들고 구동기가 마모되며, 때로는 사람의 주의가 필요하다. 그러나 다음 연습 과제를 고르는 스케줄러는 시도에 비용이 들지 않는다고 간주한다. 본 연구는 이 비용을 측정할 수 있는 저비용 공개 시험 환경을 제시한다. 자체 제작한 SO-101 로봇 팔에서 시연으로 학습한 두 ACT 정책이 서로 초기 상태를 복원한다. 비전 기반 탐지기가 성공 여부를 판단하고, 매 시도의 시간, 관절 이동량, 사람의 개입을 기록한다. 측정한 숙련도 향상에서 물리적 비용을 뺀 값을 과제 선택의 보상으로 사용하는 비용 고려 연습 스케줄링 문제를 정식화하고, 검증에 사용할 비교 조건을 미리 명시한다. 실제 하드웨어에서 로봇 작동 시간 51분에 걸쳐 처음 두 조건을 시험했다. 고정된 재시도 제한은 실패로 낭비한 실행 시간 비율을 낮추지 못했다. 실행 가능성을 기준으로 한 규칙에서는 27%, 고정 재시도 제한에서는 36%였으나 통계적으로 유의한 차이는 없었다. 로봇 작동 시간도 절약하지 못했다. 로그에서 실패가 몰리는 징후는 없었다. 따라서 실패 직후의 재시도는 다른 시도와 성공 확률이 비슷했다. 재시도 규칙에서 사람들이 추가로 들인 시간은 대부분 규칙 자체가 아니라 로봇이 닿지 않는 곳으로 밀려난 큐브 때문이었다. 로그에서 비용 고려 규칙을 다시 실행하면 수동으로 한계를 설정하지 않고도 적절한 선택을 할 수 있었다. 시스템 구축에서 얻은 교훈도 보고한다. 그중 하나는 시연을 더 작은 작업 공간에 집중하자 해당 영역의 성공 횟수가 20회 중 8회에서 10회 중 10회로 높아진, 시연 범위의 영향이다.
교차로에서 자율주행 차량(AV)이 내린 결정은 주변의 인간 운전 차량(HDV)이 겪는 지연, 제동, 움직임의 부드러움에 영향을 준다. 주변 운전자와 조화를 이루는 행동을 학습하려면 모델이 상상한 상호작용의 결과와 실제 행동을 실행한 뒤 얻는 피드백을 연결해야 한다. 본 연구는 월드 모델에서 상상한 경험으로 정책을 개선하는 동시에, 완료된 상호작용을 사용해 가치와 정책을 직접 보정하는 월드 모델 강화학습 프레임워크를 제안한다. 자율주행 차량의 진행과 주변 인간 운전 차량의 부담 사이에서 균형을 잡는다. 상호작용을 고려한 잠재 모델이 상상 속 경험을 생성한다. 오프-정책 보정과 리플레이 갱신을 적용해 관측한 보상과 전이로 크리틱과 액터를 모두 학습한다. 신호등이 없는 교차로의 시뮬레이션에서 성공률은 100%였다. 뒤따르는 인간 운전 차량의 가속도 변동은 PIWM 대비 65.5%, DreamerV3 대비 44.0% 줄었다. 구성 요소 제거 실험에서 가치 보정은 주변 차량의 부담을 줄이고, 정책 보정은 통과 효율을 높이는 상호 보완적인 역할을 했다. 분포 밖으로 교통 조건이 바뀐 시험에서도 PIWM과 비슷한 시간에 교차로를 통과하면서 자차의 가속도 변화율과 인간 운전 차량의 가속도 변동은 더 작았다.
본 연구는 2026 NVIDIA AlpaSim E2E Driving Challenge에서 3위를 차지한 종단 간 주행 정책 Lao Siji를 제시한다. 기반 모델을 사용한 출품작 대부분보다 높은 순위를 기록했다. 범용 비전 백본에서 처음부터 학습하는 대신, 실제 운용에 쓰이는 오픈소스 레벨 2 주행 모델 openpilot을 적용 목적에 맞게 조정한다. 비전 인코더를 고정하고 자차 상태 어댑터와 경로 메모리를 사용해 정책 층을 미세조정한다. 신경망으로 재구성한 장면에서 폐루프 롤아웃을 수행한다. 일반 입력에는 없는 지도 정보를 받는 교사 모델로 횡방향 자체 보정을 감독하고, 차체 범위 손실로 도로 경계와 장애물에서 안전거리를 확보하도록 한다. 선행 차량 추종을 유지하기 위해 기본 모델의 나머지 출력을 증류한다. 구성 요소 제거 실험에서는 자체 보정 표본이 성능 개선을 이끌었으며, 교사 모델을 사용할 수 없는 경우에는 안전거리 손실이 이를 대신했다. 종방향 안전은 규칙 기반 속도 제어 계층이 활용하는 기본 모델의 선행 차량 추정치에 의존했다. 더 길게 학습하거나 사람의 주행 로그를 모방하거나 그 로그의 속도를 목표로 사용하면, 측정할 수 있는 개선이 없거나 오히려 성능이 나빠졌다. Lao Siji는 추가 학습 없이 HUGSIM과 Odyssey에서도 상위권에 들었다. 최종 학습에 GPU 한 시간만 들었으며, 배포된 기존 모델 대비 가중치 변화는 3.9%였다. 코드는 심사 후 공개할 예정이다.
에이전트 기반 내비게이션은 실행 실패와 추론 지연이 발생해도 목표를 유지하며 불완전한 근거에 맞춰 행동을 조정해야 한다. 본 연구는 목표 지향 계획, 근거 메모리, 이벤트에 따른 검증, 범위를 제한한 실행을 연결한 AgenticJevNav를 제시한다. Agent는 RGB 영상, 주행 거리 측정 정보, 메모리, 피드백을 사용해 계획한다. 목표에 대한 결정권을 유지하면서 제한된 행동 집합의 실행을 승인한다. Jev는 실행이 막히거나 실패했을 때, 또는 진전이 적은 구간이 연속으로 두 번 나타났을 때 구조화된 근거를 검토한다. 결정 적용 시에는 버전, 정보의 최신성, 중복 실행 여부를 검사한다. 단일 실행기와 RGB 영상에 독립적으로 반응하는 모듈이 이동을 제한한다. 목표가 바뀌면 다시 계획하기 전에 유효하지 않게 된 요청과 행동을 취소한다. 여섯 가지 모의 과제 계열에서 AgenticJevNav는 60회 시험에 걸쳐 성공률 73.33%를 기록했다. 이는 과거 평가 절차가 서로 다른 조건에서 집계한 Agent 단독 대조군 중 차순위 결과보다 21.67%포인트 높았다. 실제 GENISOM L1 사족 보행 로봇에 배포했을 때는 범위를 제한한 탐색의 결과 보고를 포함해 30회 시험에서 70.0%의 성공률을 달성했다. 시뮬레이션과 실제 로봇 실험은 제안 아키텍처의 효과를 보여 준다. 남은 실패 사례는 그라운딩, 접근 계획, 실행 시간의 개선 여지를 보여 준다.
동영상 월드 모델은 현재 장면에서 미래를 예측할 수 있을 것으로 기대된다. 현재 모델은 이 기대를 충족하는가? 본 연구는 반사실적 비교로 이 질문을 조사한다. 상자가 탁자 모서리에서 몇 밀리미터 안쪽에 있거나 바깥쪽에 있는 경우처럼, 현재가 조금만 달라져도 미래가 뒤바뀔 수 있다. 세계의 상태를 추적하는 모델이라면 그에 따라 예측도 바꿔야 한다. 본 연구는 모의 과제 열 개와 실제 과제 열다섯 개에서 얻은 초기 프레임 1,680장을 대상으로, 점차 엄격해지는 3단계 평가 FlipTest를 구축했다. 첫 단계의 시각적 최소 쌍은 실제 미래가 다르지만 거의 같은 프레임 두 장으로, 경계를 넘으면 예측도 바뀌는지 시험한다. 대응 대조군은 실제 미래가 달라지는 경우에만 예측이 바뀌는지 시험한다. 가장 엄격한 단계에서는 조건을 촘촘하게 변화시켜 예측이 뒤바뀌는 위치를 정확히 찾는다. 평가한 동영상 월드 모델 11종 모두 기준에 미치지 못했다. 가장 우수한 모델도 실제 장면과 모의 장면에 걸친 쌍 정확도가 평균 18.3%로 무작위 추측의 25%보다 낮았다. 모델은 실제 미래를 바꾸는 변화와 바꾸지 않는 변화에 비슷한 빈도로 예측을 뒤집었다. 조건을 촘촘히 바꾸어도 모델의 반응은 거의 일정했다. 동일한 프레임에서 비전-언어 모델은 변화에 선택적으로 반응하며 경계 근처에서 S자에 가까운 곡선을 그렸다. 이미지를 측정하는 코딩 에이전트는 실제 경계에 근접했다. 이는 결과를 결정하는 정보가 프레임 안에 있지만 동영상 모델이 이를 포착하지 못한다는 뜻이다. 따라서 월드 모델링을 순수한 동영상 예측으로 보는 접근을 재검토할 필요가 있다. 다음 프레임을 예측하려면 그럴듯한 픽셀을 그리는 데 그치지 않고, 미래의 동역학을 결정하는 인과적 상태를 식별해야 한다.
공동 임베딩 예측 아키텍처(JEPA) 월드 모델은 픽셀 대신 미래 임베딩을 예측하고 잠재 공간에서 계획한다. 두 가지 문제가 남아 있다. 2차원 영상에서는 조작에 필요한 실제 거리 정보가 암묵적으로 표현되고 외관과 뒤얽힌다. 또 이 모델은 주로 시뮬레이션에서 단기 잠재 계획의 성과로 평가받기 때문에 어떤 미래를 예상하는지 보기 어렵다. 본 연구는 깊이 카메라 한 대에서 얻은 점군을 관측하고, 점군의 잠재 공간에서 예측하고 계획하며, 동결한 잠재 표현을 입력받는 정책 헤드로 행동하는 JEPA 월드 모델 JEPA4R을 제시한다. 이를 4차원 점군 계획이라고 부른다. 가중치를 고정한 월드 모델에 디코더를 붙이면 모델이 예상하는 미래를 4차원 점군으로 볼 수 있다. 200단계에 걸친 평균 점 오차는 1.1cm 이내였다. OGBench와 CortexBench의 정책 학습 절차를 적용했을 때, JEPA4R은 OGBench의 Cube-Single, Cube-Double, Cube-Triple, Scene에서 픽셀 기반 JEPA 모델을 앞섰다. MetaWorld와 Adroit Relocate에서는 각각 98.4%와 88.0%로 1위를 차지했다. 차순위 R3M은 각각 96.0%와 65.3%였다. 디지털 트윈에서만 학습한 JEPA4R과 정책 헤드는 그리퍼를 장착한 실제 로봇 팔과 정교한 로봇 손을 장착한 로봇 팔에서 모두 제로샷으로 작동한다.
플로 매칭 기반 로봇 정책은 잡음 제거 단계마다 신경망을 한 번씩 실행해 행동 청크를 생성한다. C$^3$ache처럼 재계획 주기 사이에 계산을 공유하는 캐시는 앞선 재계획 호출에서 수행한 계산을 재사용한다. 그러나 단순히 잡음 제거 단계를 줄이는 것보다 나은지는 분명하지 않다. 본 연구는 매개변수 60억 개의 월드 행동 모델 Fast-WAM으로 LIBERO-Goal에서 두 방식을 비교한다. 체크포인트와 잡음 시드를 하나씩 고정했을 때, 캐시를 사용하지 않는 2단계 방식은 초기 상태 500개 전체에서 10단계 방식에 비해 성공률이 2%포인트 이내라는 비열등성 기준을 충족했다. PyTorch의 기본 컴파일 모드에서 RTX A6000의 재계획 호출 시간도 202ms에서 92ms로 줄었다. 따라서 캐시가 시간을 더 줄일 여지는 작다. 캐시를 써도 두 단계를 새로 계산하면, 캐시 없이 두 단계를 실행하는 방식보다 빠를 수 없다. 두 방식 모두 호출할 때마다 이미지를 인코딩하고 동영상 전문가를 실행한 뒤 두 단계를 계산해야 하기 때문이다. 두 단계 중 첫 단계를 캐시에 저장하고 네 번 호출할 때마다 갱신하면, 비용 모델상 호출 시간이 최대 11~14% 줄어든다. 캐시를 사용하는 정책은 설정 변화에도 취약하다. 성능 손실은 캐시한 단계가 차지하는 플로 경로의 비율과 함께 변했다. Fast-WAM의 현재 시간 이동 설정에서 C$^3$ache가 캐시한 여덟 단계는 경로의 44% 대신 80%를 차지했다. 캐시를 쓴 정책은 상태의 63%에서 성공했고, 캐시를 쓰지 않은 정책은 95%에서 성공했다. 호출할 때마다 잡음을 다시 표본 추출하면 경로의 60% 이상을 캐시하는 방식의 성공률이 14~40%포인트 떨어졌다. 이 결과는 단계 수를 줄인 기준선을 사용하고, 실제 배포할 샘플러와 잡음 설정에서 계산 재사용을 시험해야 함을 보여 준다. 평가 도구와 로그, 점검표를 공개한다.
효과적으로 계획하려면 과제에 관련된 기하 구조와 객체의 정체성은 보존하면서 과제를 바꾸지 않는 시각적 변이는 무시하는 표현이 필요하다. 기존 시각 일반화 평가는 여러 요인을 동시에 바꾸는 경우가 많아 실패 원인을 식별하기 어렵다. 본 연구는 절차적으로 생성한 ProcTHOR 주택에서 지시된 범주의 객체를 찾아가는 객체 목표 내비게이션(ObjectNav)을 통제 조건에서 평가한다. 학습용 주택과 평가용 주택에서 평면도, 객체 위치, 목표, 시작 상태를 같게 하고, 시각 요인은 하나씩 또는 여러 개를 조합해 바꾼다. 모델 프리 강화학습(RL), 모델 기반 강화학습, 사전학습 후 고정한 시각 표현을 사용하는 에이전트에서 외관 변화는 이동 성능을 떨어뜨렸으나, 요인마다 영향의 크기가 크게 달랐다. 표면 재질 변화가 성공률의 평균 변화 대부분을 설명했으며, 주변 물건으로 인한 복잡도와 조명의 영향은 작았다. 전체 이미지 통계의 변화량만으로는 성능을 안정적으로 예측할 수 없었다. 목표 객체의 외관만 바꿔도 이미지 수준의 변화는 작지만 종단 간 에이전트의 성능은 크게 낮아질 수 있다. 사전학습 DINOv2 이미지 인코더의 고정 특징을 바탕으로 계획하는 모델 기반 에이전트는 시각 요인을 모두 바꿨을 때 가장 높은 성공률인 0.83을 기록했으나, 여전히 표면 외관에 민감했다. 이 실험은 계획에 쓰이는 표현이 변하지 않는 과제의 공간 구조와 외관을 분리해야 함을 보여 준다.
가중치를 고정한 확산 생성 모델에서 출력의 일부 속성을 보존하면서 다른 여러 속성을 변경해야 할 때가 있다. 본 연구는 언제 유도 방식이 이런 구조화된 요청을 충실하게 실현하는지, 국소 역 보정이 변경 방향을 개선하는지 조사한다. 이점은 요청과 목표별로 남은 샘플링 과정의 야코비안 사이의 상호작용에 달려 있다. 요청을 조건으로 주는 것만으로는 충분하지 않다. 스펙트럼 조향은 요청별 코사인 개선량 예측기와 감쇠 역 보정, 유한한 크기의 편집을 위한 고정 시점 재선형화를 결합한다. 스칼라 대조군과 변화량을 같게 맞춘 대조군으로 예측한 메커니즘을 시험한다. 사후에 식별한 국소 영역의 사례 8,923건에서 예측한 개선과 실제 개선의 스피어먼 상관계수는 0.79였다. 조건수를 사용하면 -0.11이었다. 실험은 이미지, 오디오, 로봇 공학, 제어 및 계획을 아우르며 복잡한 캐릭터 동작 생성도 포함한다. 짝지은 인페인팅 사례 50건에서 도함수 계산을 위한 전체 순회 횟수를 동일하게 맞췄을 때, 네 차례 보정하면 관측하지 않은 픽셀의 PSNR이 Adam보다 3.25dB 높아졌다. 이 분석과 대조 실험은 요청에 따른 기하 구조가 방향 개선과 어떻게 연결되는지 보여 주며, 그 개선이 후속 과제 성능으로 이어지는 조건을 확인한다.
오프라인 데이터로 학습한 월드 모델은 에이전트가 환경과 추가로 상호작용하지 않고도 계획할 수 있게 한다. 그러나 월드 모델과 함께 쓰는 표본 추출 기반 계획기는 표본으로 뽑은 행동 시퀀스에 점수를 매기거나 이를 버리는 방식으로만 안전 제약을 다룬다. 본 연구는 학습한 월드 모델의 잠재 공간에서의 안전한 계획을 순차 볼록 계획(SCP)으로 정식화한다. 계획 구간의 각 단계에 학습한 이산 시간 제어 배리어 함수를 제약으로 부과한다. SCP에는 매끄러운 동역학이 필요하므로 평활화한 MaxMin 활성화와 스펙트럼 정규화를 적용한 층으로 신경망을 구성한다. 이에 따른 선형화 오차의 상한을 립시츠 상한과 평활화 폭으로 구한다. SCP는 국소 최적화 방법이므로 표본으로 뽑은 계획을 초기값으로 사용한다. 오프라인 데이터를 사용하는 Safety-Gymnasium 이동 과제 두 개의 주 비교에서, 실제 실행 시간을 같게 맞추고 표본을 128배 더 뽑은 MPPI 및 CEM보다 이 계획기의 위반이 적었다. 다만 차이는 통계적으로 유의하지 않았다. 더 긴 계획 구간에서는 누적 보상이 더 높았고, 표본 계획으로 초기화하지 않은 SCP보다 훨씬 안전했다. SCP는 립시츠 상한을 둔 모델에서 더 자주 수렴했다. 표본 추출 방식과 달리 SCP는 단계마다 현재 계획이 모델 내 계획 문제의 제약을 만족하는 1차 최적 KKT 점인지, 근방에서 제약을 만족하는 계획을 찾지 못했는지 보고한다. 구현은 https://github.com/youngers2006/scwm 에서 확인할 수 있다.
대역폭이 제한된 링크를 사용하는 감시 드론은 운용자가 필요로 하는 영상을 전송하기 어렵다. 그러나 운용자가 묻는 것은 픽셀 자체가 아닌 경우가 많다. 예를 들어 세 사람이 한곳으로 모였는지, 그 시점과 장소는 어디인지가 중요하다. 본 연구는 1Mbps부터 1kbps까지의 링크에서 어떤 정보를 어떤 순서로 보내야 하는지 조사한다. 행동 기본 요소 스트림(BPS)은 의미 정보를 먼저 보내고 픽셀을 나중에 보낸다. 기체에서 검출기와 추적기를 실행하고, 16~125바이트의 임무 카드로 선택한 여러 프레임에 걸친 이벤트를 평균 25바이트의 짧은 기록으로 만들어 위치 정보와 이미지보다 먼저 전송한다. 사전 등록한 절차와 보류 평가셋에서 지상의 언어 모델이 답할 수 있는 질문으로 성능을 측정했다. 비교 대상은 같은 모델의 비전 미세조정 버전이 읽는 H.265 영상, 지상에서 자체 인식 모듈을 적용한 H.265 영상, 양자화된 궤적 스트림, 기체에서 생성한 캡션이다. 개발 세트에서는 질문의 84%가 모여드는 행동에 관한 것이었고 대부분 한 장소를 다뤘다. 이벤트 스트림은 0.13kbps에서 질문의 74.3%에 답했다. 아무것도 받지 않은 모델은 57.4%, 영상을 읽는 모델은 100kbps에서 59.6%, 원본 프레임에서 64.7%였다. 지상에서 영상에 자체 인식 모듈을 실행하면, 영상은 스트림 전송률의 약 800배인 100kbps에서 이벤트 스트림과 비슷했고 64kbps 이하에서는 뒤처졌다. 궤적 스트림은 96배의 바이트를 쓸 때 비슷했고, 17배에서는 0.03 낮았다. 보류 데이터에서의 결과는 약했다. 주석이 있는 궤적에서 얻은 정답 이벤트를 사용하면 스트림은 100kbps의 H.265보다 0.13 앞섰다. 그러나 기체에서 인식한 이벤트를 사용하면 차이는 +0.01[−0.04, +0.06]로 뚜렷하지 않았으며, 아무것도 받지 않은 조건보다 낫지 않았다. 에뮬레이션한 링크로 이벤트 기록만 전송하면 정답률은 1Mbps에서 0.739, 0.3kbps에서도 0.724였다. 모든 프레임의 궤적을 보내는 스트림은 1kbps까지, 지상에서 인식 모듈을 적용한 영상은 약 100kbps까지 성능을 유지했다. Jetson Orin Nano에서 파이프라인을 수정하지 않고 실행하면 초당 4.5프레임을 처리했으며 대부분의 이벤트를 놓쳤다.
현대 자율주행 및 운전자 보조 시스템은 주변 환경을 인식하는 데 주로 카메라, 레이더, LiDAR를 사용한다. 그러나 카메라는 조명이 나쁠 때, LiDAR는 악천후에 한계가 있는 등 감지 방식마다 환경 제약이 다르다. 마이크 배열을 이용한 음향 감지는 자율주행의 환경 인식을 보완할 수 있으나 아직 연구가 드물다. 본 연구에서는 차량의 귀 역할을 하는 수평 마이크 배열을 설계했다. 주변에서 움직이는 차량의 상대 방향과 거리를 모두 포착하는 조감 시점(BEV) 표현에서 차량의 위치를 찾는다. 이 배열을 사용해 실제 주행 데이터셋 AcousticScenes를 수집했다. 정적 표본 2,117개와 동적 표본 2,863개에 동기화한 공간 음향 신호, LiDAR 점군, 3차원 경계 상자 주석이 들어 있다. 이 데이터셋을 바탕으로 음향 기반 BEV 객체 위치 추정을 학습하는 AcousticBEV를 제안한다. 자차 속도를 조건으로 마이크 배열의 신호에서 움직이는 교통 참여자의 BEV 중심 위치를 추정한다. 실험에서 기존 신호 처리 기준선과 다른 학습 기반 방법을 모두 앞섰으며, ‘쉬움’ 조건에서 F1 $47.7 \pm 1.2$%, ‘어려움’ 조건에서 $45.1 \pm 1.4$%를 기록했다. 저비용 차량 탑재 마이크 배열의 음향 신호로 주변 이동 차량의 방위각과 거리를 모두 추정할 수 있음을 보여 준다.
비전-언어 내비게이션 정책이 행동 시퀀스를 자기회귀적으로 생성하면, 로봇은 서로 의존하는 예측들이 이어지는 동안 기다려야 한다. 이산 행동 어휘가 작으면 짧은 구간의 모든 계획을 병렬로 채점할 수 있다. 본 연구는 한 번의 순전파로 행동 접두 시퀀스의 전체 트리를 평가하는, 별도 학습이 필요 없는 디코더 VLN-Flash를 제안한다. 분기별 어텐션과 일치시킨 토큰 위치는 정확한 산술 연산을 가정할 때 각 접두 시퀀스에 대해 기존 정책의 조건부 행동 분포를 보존한다. 깊이마다 단계별 탐욕 선택으로 얻은 접두 시퀀스와 가장 강한 대안의 점수 차이를 사용해 실행할 행동 수를 결정한다. 이어 로봇은 선택한 깊이에서 결합 점수가 가장 높은 계획을 실행하고 다음 관측을 수행한다. 입력을 같게 맞춘 조건에서 VLN-Flash의 행동 디코딩은 Uni-NaVid와 StreamVLN의 기본 자기회귀 방식보다 거의 $3\times$ 빨랐다. 기본 자기회귀 디코더와 비교해 R2R-CE 및 RxR-CE에서 성공률과 경로 길이로 가중한 성공률(SPL)을 높였으며, 성공률은 최대 2.7%포인트 개선됐다. 실제 Unitree GO2에서 이동 성공률을 높였으며, 네트워크 전송 시간을 빼고 계산한 행동 사이 평균 대기 시간은 약 160ms 줄었다.
장기 체화 과제는 최종 성공 여부만으로는 포착하기 어려운 방식으로 실패한다. HospitalBench는 NVIDIA Isaac Sim에서 병원 업무 열 가지를 수행하는 진단 벤치마크다. 각 과제는 점수를 매기지 않는 준비 단계 두 개와 평가하는 하위 과제 다섯 개가 인과적으로 이어진 하나의 연속 시뮬레이션이다. 하위 과제를 나란히 배치하는 기존 벤치마크와 달리, 한 단계에서 남긴 상태가 다음 단계에서 무엇을 해야 할지 결정한다. 물체의 자세, 선택한 항목, 한 번만 본 사실 등이 여기에 해당한다. 비전-언어 에이전트는 카메라 영상을 보고 스킬 수준의 도구를 호출한다. 모델에게도 허용된 호출만 수행하는 스크립트 로봇으로 각 업무를 해결할 수 있는지 확인한다. 각 궤적에서 연쇄가 끊긴 위치, 호출이 실패한 뒤의 에이전트 행동, 에이전트가 추정한 자기 위치가 실제 위치에서 얼마나 벗어나는지를 기록한다. 이 버전은 초기 결과만 보고한다. 계획한 60회 중 15회로, 높은 추론 노력 설정의 모델 세 종에서 T1과 T10을 두 시작 상태 각각에서 한 번씩, T3은 한 시작 상태에서 한 번씩 실행했다. 업무 열 가지 중 세 가지는 스크립트 로봇으로 해결 가능함을 입증했다. 15회 중 두 번만 하위 과제 다섯 개를 모두 통과했다. 하위 과제 1~5가 끝난 뒤에도 이어진 실행은 각각 15회, 8회, 4회, 2회, 2회였다. 실패한 호출 189건 중 168건 뒤에는 다른 호출이 이어졌으며 111건 뒤에는 실패하지 않은 호출이 이어졌다. 이는 벤치마크 전체의 결과가 아니라 초기 결과다. 장면, 과제 연쇄, 스크립트 로봇, 평가 도구, 궤적을 공개할 예정이다.
어떤 행동의 결과를 추론하려면 시스템이 어떻게 움직이는지 내부적으로 파악해야 한다. 조건이 그대로 유지되는 경우는 드물기 때문에, 적은 횟수의 상호작용만으로 이를 파악해야 할 때가 많다. 한순간의 상태가 같아 보이는 시스템도, 그 상태에 드러나지 않는 물리적 조건에 따라 같은 행동에 다르게 반응할 수 있다. 문맥 기반 모델은 최근 전이를 잠재 문맥으로 요약해 이 차이를 포착한다. 그러나 문맥이 운동 방정식을 어떻게 바꾸는지는 명시하지 않는다. 물리 정보 신경망에는 운동 방정식이 들어 있지만 하나의 시스템만 기술하므로, 시스템이 달라져도 알아차릴 수 없다. 본 연구는 두 접근법을 연결하는 물리 정보 기반 인과 추론(PICR)을 제안한다. 최근 상호작용에서 문맥만 다시 추론해 갱신한다. 이 문맥을 조건으로 받는 고정 물리 정보 신경망은 로봇의 관성과 퍼텐셜 에너지를 결정한다. 따라서 로봇은 재학습하거나 사람이 명시한 로봇 모델을 사용하지 않고도 자신의 경험으로 새로운 물리 조건에 적응한다. NVIDIA Isaac Sim의 Franka Panda 로봇 팔에서 PICR은 탑재 하중이 변하거나 처음 보는 하중이 주어져도 움직임을 예측했다. 미관측 하중에서의 오차는 기준선의 약 1.6분의 1~3.8분의 1이었으며, 다른 토크를 가정한 반사실 쿼리에도 적용할 수 있었다. 상호작용만으로 추론한 문맥은 하중의 물리적 특성을 표현하고, 그 변화를 추적하며, 로봇 팔의 반응을 결정했다. 문맥에서 얻은 중력 항과 관성 항도 각각의 라그랑지안 구성 성분 수준에서 시뮬레이터와 일치해 물리적 타당성을 보여 줬다.
Continuous Lower-Limb Joint-Angle Estimation from sEMG and IMU: The Conditional Value of Cross-Activity and Cross-Subject Data under Update-Matched Controls
착용자의 의도에 맞춰 외골격을 제어하려면 미래 정보를 쓰지 않고 관절 운동학을 연속적으로 추정해야 한다. 새 사용자를 위한 추정기를 누구의 데이터로 학습할지도 결정해야 한다. 같은 사용자의 다른 활동 기록이나 다른 사용자의 같은 활동 기록을 가져오는 효과는 흔히 데이터 양이 많은 경우와 적은 경우를 비교해 평가한다. 그러면 데이터의 정보와 데이터 추가로 늘어난 옵티마이저 갱신을 구분할 수 없고, 부정적 전이도 평균 뒤에 가려진다. 본 연구는 공개 데이터셋의 참가자 열 명 전체를 대상으로 여섯 가지 이동 활동에서 고밀도 표면 근전도(sEMG)와 관성 측정 장치(IMU)로 엉덩관절, 무릎, 발목 각도를 추정하며 이 효과를 분리한다. 소형 잔차 인과 TCN-GRU 디코더를 고정하고, 각 데이터 출처를 추가했을 때의 효과를 사용자 자신의 데이터로 같은 횟수만큼 갱신한 리플레이 대조군과 비교한다. 같은 사용자의 다른 활동 데이터는 $R^2$를 0.722에서 0.788로 높였다. 그중 +0.048은 리플레이를 넘어 데이터 정보 자체가 기여한 효과였다. 계단 내려가기 데이터는 일관되게 성능을 떨어뜨렸고, 앉았다 일어나 걷는 활동은 일관되게 개선했다. 사용자에게 대상 활동 데이터만 있을 때 다른 사용자의 같은 활동 데이터는 도움이 됐다($G_\mathrm{T} = +0.053$). 사용자 자신의 다른 활동 데이터도 있으면 이점은 절반 정도였다($G_\mathrm{W} = +0.028$). 보정 수준이 충분할 때에는 대상 활동 기록을 한두 개 얻은 뒤 다른 사용자 데이터의 가치가 급격히 낮아졌다. 두 출처의 대상별 개선 폭은 서로 상관을 보였다. 참가자를 한 명씩 제외해 학습하는 선택 게이트는 보정 데이터가 적을 때에만 다른 사용자 데이터가 주는 이점의 대부분을 회복했다. 데이터의 가치는 계층적이며, 현재 보정 상태와 전이 방향에 따라 달라진다. 핵심 병목은 테스트 레이블 없이 언제 전이할지 결정하는 데 있다.
움직임을 일으킨 힘을 역으로 구하는 문제는 해가 하나로 정해지지 않는다. 서로 다른 제어기가 같은 움직임을 재현하면서도 다른 접촉력을 만들 수 있기 때문이다. 물리 기반 동작 모방은 시뮬레이션으로 이 모호성을 해소하지만, 이득을 고정한 비례-미분(PD) 제어에 의존한다. 접촉 단계와 다리가 공중에서 흔들리는 단계는 관절 강성과 감쇠에 서로 다른 요구를 하므로, 이득을 고정하면 움직임 추적과 힘 추적 사이에 절충이 생긴다는 점을 보인다. 본 연구는 움직임과 힘 측정값으로 관절별 강성과 감쇠, 목표 위치를 조절하도록 학습하는 강화학습 정책 ImpedanceMimic을 제안한다. 추론에는 움직임만 필요하다. 참가자 129명과 활동 여섯 가지에서 ImpedanceMimic은 모든 적분 방식에서 조건을 맞춘 고정 이득 PD를 앞섰다. 직접 토크 제어기, 근육 구동 제어기, 기존 모방 제어기보다도 운동학과 힘의 충실도가 높았으며, 움직임에서 힘만 추정하는 전용 회귀 모델에 근접했다. 이득을 관성에 따라 조정한 사전값의 배수로 표현해, 한 정책이 신체 치수 정보를 명시적으로 받지 않고 사람마다 다른 생체역학 모델을 제어한다. 학습에서 보지 못한 사람과 휴머노이드 로봇에도 제로샷으로 전이했다. 학습한 임피던스는 서로 다른 신체가 공유하는 저차원 운동 상태 표현을 형성하며, 학습에서 제외한 활동에도 일반화된다. 강성은 하중에 비례하고, 감쇠는 하중이 빠지는 시점을 앞서 반영한다.
무작위 잡음을 제거하여 짧은 행동 시퀀스를 생성하는 확산 정책은 시연으로부터 로봇 기술을 학습하는 주요 방법이다. 배포 후에는 시연에 없던 제약을 마주하게 되며, 제약마다 재학습하는 것은 비현실적이다. 안전 필터는 정책의 행동을 제약을 만족하도록 편집하지만, 이 편집은 과제를 무시하고 큰 편집은 정책을 계속 진행할 수 없는 상태에 둘 수 있다. 우리는 CAST(Certified Action Selection at Test time)를 제안한다. 고정된 정책에서 몇 개의 행동 청크를 뽑아 각각을 장벽 조건으로 인증하고, 학습된 가치 앙상블이 가장 높게 평가하는 인증된 청크를 실행한다. 우리는 인증된 단계는 비평가가 무엇을 하든 안전하다는 것, 인증된 표본이 존재하는 한 실행된 청크는 실행 가능성에 조건화된 정책으로부터 $\log N$ nat 이내에 머무는 반면 안전 필터 투영은 그것에 대해 특이할 수 있다는 것, 그리고 정확한 폐루프 항등식이 순위 지정의 이득을 가용성, 분산, 비평가의 목표로 분해한다는 것을 증명한다. 다음 청크를 인증하는 것만으로는 충분하지 않다. 생성형 제어기는 지금은 안전한 행동을 가질 수 있지만 나중에는 없을 수 있다. 우리는 유한 표집 아래에서 고정된 정책의 안전한 제어 권한을 규명하며, CAST-V는 유한 표본 보장 아래 모델로 추정하거나 제어기 자체의 로그로부터 학습한(CAST-VL) 정책 조건부 생존 가능성을 통해 이를 보존한다. robomimic 조작, 평면 쿼드로터, MuJoCo 휴머노이드, 유니사이클에서 고정된 정책을 사용했을 때, CAST는 거의 모든 설정에서 출력 필터보다 과제와 제약의 공동 성공률을 높이며, 필터의 편집이 큰 곳에서는 순위 지정 전 인증이 결정적이고 생존 가능성은 1단계 인증이 볼 수 없는 막다른 길의 대부분을 제거한다. 프로젝트 페이지: https://clmoro.github.io/cast.
고정된 청크 방식 로봇 정책은 배포 시점의 추론 연산을 서로 결합된 두 가지 방식으로 사용할 수 있다. 하나는 예측된 행동 청크를 정련하기 위해 각 정책 호출 내에서 더 많은 연산을 수행하는 것이고, 다른 하나는 새로운 관측으로부터 재계획하기 위해 정책을 더 자주 호출하는 것이다. 본 연구는 모델 가중치를 갱신하지 않고 이 배분을 연구한다. 우리의 평가 절차는 명목 연산 비율과 전체 시도 비용을 모두 사용하여 성공률을 보고하고, 탐색 과제에서 비교 대상을 선정하며, 보류된 과제에서 사전에 지정된 비교를 검정한다. 보류 결과를 살펴본 뒤 추가된 비교는 관찰된 양상을 요약할 뿐이다. 우리는 이 절차를 동기식 LIBERO 시뮬레이션에서 하나의 고정된 SmolVLA 체크포인트로 시연하며, 노이즈 제거 횟수를 정련 제어 변수로 사용하고 청크 길이를 K=50으로 고정한다. 산술량과 지연 시간은 비용을 서로 다르게 특징짓는다. d=10에서 계산된 산술량의 82.1%는 노이즈 제거와 무관한 반면, 고정 입력 호스트 시간에 대한 기술적 아핀 적합은 17.7%를 절편에 할당한다. h=2에서 d=2는 160회 시도 중 139회 성공하여 d=5의 122/160보다 높으며(+10.6 퍼센트포인트; 과제 조건부 95% 구간: +4.4 ~ +16.9), 제어 단계당 산술량은 5.9% 적다. d=2에서 h=2 대신 h=5를 실행하면 성공은 138/160 대 139/160이고 시도당 산술량은 60.7% 낮으나, 동등성은 확립되지 않는다. 이 사례 연구는 배포 시 적응이 생성 노력과 피드백 빈도를 함께 평가해야 하는 이유를 보여 주며, 보편적인 설정을 정의하지는 않는다.