단일 RGB-D 프레임으로부터 6-DoF 파지 자세를 예측하는 연구는 최근 인상적인 정확도를 달성했으나, 대상 물체가 어수선한 물체들에 심하게 가려지면 성능이 크게 저하될 수 있다. 본 논문에서는 가려짐 상황에서의 목표 지향 파지(TARget-driven Grasping under Occlusions)를 위한 최초의 벤치마크 데이터셋인 TARGO를 구축하고, 시각적 가려짐을 고려하여 설계된 파지 예측 모델 TARGO-Net을 제안한다. 주요 기여는 네 가지이다. 1) 단일 시점 RGB-D 6-DoF 파지에서의 시각적 가려짐 문제를 규명하고, 현재의 최첨단 모델이 심한 가려짐 하에서 여전히 성능이 저하됨을 보인다. 2) 서로 다른 시각적 가려짐 수준에 걸쳐 6-DoF 파지 모델의 학습과 시험을 지원하고 실제 환경에서의 견고성 평가를 가능하게 하는 TARGO 데이터셋을 제안한다. 3) 대상 완성 모듈과 대상-장면 교차 어텐션을 갖춘 트랜스포머 기반 파지 모델 TARGO-Net을 고안하며, 이 모델은 모든 시각적 가려짐 수준에서 가장 견고한 성능을 달성한다. 4) 시각적 가려짐 외에도 대상 완성도, 가림 물체의 수, 대상의 최소 치수가 파지 성공과 관련됨을 보인다.
동역학계 기반 운동 정책은 안정성과 수렴 특성을 갖춘 반응형 로봇 동작을 학습하기 위한 틀을 제공한다. 그러나 많은 조작 과제는 여러 개의 서로 다른 목표 또는 연속적인 허용 결과 집합을 허용하므로, 이러한 대안을 보존하는 운동 프리미티브가 필요하다. 연속적이고 자율적인 동역학을 갖춘 통합 프레임워크 안에서 두 가지 목표 구조를 모두 수용하는 것은 여전히 해결되지 않은 과제이다. 우리는 다수의 이산 끌개 또는 연속적인 끌어당김 목표 윤곽을 갖는 운동 프리미티브를 학습하기 위한 CONDOR 기반 프레임워크 multi-CONDOR를 제안한다. 이 접근법은 모방 학습을, 학습된 과제 동역학과 원하는 끌림 구조를 부호화한 잠재 기준 시스템 간의 일치를 유도하는 손실과 결합한다. 학습된 운동 동역학의 수렴 특성에 대한 리아푸노프 기반 분석을 제시한다. 이산 목표가 있는 시뮬레이션 벤치마크, 연속 목표 윤곽의 정성적 사례, 로봇 파지 실험에서 이 프레임워크를 평가한다. 시뮬레이션에서 multi-CONDOR는 상태 기계로 선택되는 개별 학습 단일 목표 운동 프리미티브와 비교해 궤적 RMSE를 약 72% 줄인다. 목표가 각각 두 개와 세 개인 과제에서, 평가한 초기 상태 중 목표 허용 오차 밖에서 끝나는 비율을 StableNODE의 0.31%와 7.29%에서 두 설정 모두 0%로 줄인다. Franka Emika 로봇 팔 실험은 시연으로부터 학습한 동작으로 용기의 두 손잡이 중 어느 쪽으로든 성공적으로 파지함을 보여 준다. 종합하면 이러한 결과는 multi-CONDOR가 운동 재현과 대안적인 유효 결과로 수렴하는 유연성을 결합함을 보여 준다.
학습된 물리 기반 모델은 로봇 제어에 구조를 제공하지만, 불확실한 페이로드와 모델링되지 않은 동역학이 예측 정확도를 제한한다. 문맥 인식 딥 라그랑지안 네트워크는 측정 이력으로부터 추론한 잠재 문맥을 통해 적응을 가능하게 하면서, 각 고정된 문맥에 대해 라그랑지안 구조를 유지한다. 그러나 이 구조만으로는 측정 외란에 대한 민감도를 제한하지 못한다. 본 연구에서는 수축성과 이득 제한을 갖는 순환 평형 네트워크(Recurrent Equilibrium Network) 문맥 인코더와 안정한 선형 필터링을 결합하여 주파수별 외란 민감도를 형성하는 BoBDeLaN을 제안한다. 이 아키텍처는 순환 초기화의 지수적 망각을 보장하고, 문맥 perturbation에 대한 유한 구간의 주파수 가중 한계를 허용하며, 이는 문맥 조건부 동역학 모델에 대한 립시츠 연속성 가정 하에서 잔차 토크 예측으로 확장된다. 시뮬레이션 및 실제 하드웨어 조작 작업에서 모델 예측 제어 내의 저역통과 구현을 평가하고, 실제 로봇 데이터에 대한 주파수 민감도 분석도 함께 수행한다. 동일한 입력 필터를 사용하는 LSTM 인코더와 비교하여, BoBDeLaN은 고주파 문맥 민감도가 낮고, 잔차 토크 예측 오차가 작으며, 움직임이 더 부드럽고, 주입된 외란에서의 성능 저하가 적다.
LLM 에이전트는 원격 도구와 클라우드 샌드박스를 사용할 수 있지만, 추론, 세션 상태, 이질적인 실행 위치를 통합하는 일은 여전히 런타임 설계 문제로 남아 있다. 우리는 실행 위치를 모델, 도구, 컨텍스트와 함께 설정 가능한 차원으로 다루는, 자체 호스팅 HTTP 서비스이자 내장 가능한 Python 런타임인 Linglong Agent Service(agentsvc)를 제시한다. 부모 서비스는 추론 오케스트레이션, 도구 설명, 대화 이력을 유지하고, 각 추론 요청은 파일, 셸, 터미널, MCP 작업을 위해 하나의 자식 환경을 선택한다. 직접 HTTP와 자식이 시작하는 WebSocket 터널은 이동 가능한 요청 컨텍스트와 중앙 관리형 업데이트를 포함해 동일한 애플리케이션 인터페이스를 전달한다. 일반적인 핵심 경로는 서드파티 Python 패키지를 필요로 하지 않으며, Windows 의사 터미널 의존성만 선택적이다. 또한 실행 위치 분리의 프로세스 규모 특수 사례로 online_debugger를 제시한다. 계측된 프로그램이 예외 증거를 제출하고, 장애 프로세스 내부에서 세션 범위의 점검 도구를 실행하며, 동일한 진단 세션을 재개한다. 기본 프롬프트는 소스 변경에 대해 실패 후 통과하는 재현 증거를 요구하지만, 런타임 패치 활성화와 실패한 호출의 복구는 구현되지 않았다. 우리는 제약된 기대 효용 추론을 통해 설계를 설명하고, 구체적 메커니즘을 Hermes Agent, Pi, Codex, Claude Code와 비교하며, 구현 및 회귀 테스트 증거를 보고한다. 현재의 증거는 실행 가능한 계약을 확립할 뿐이며, 성능상의 이점, 수리 정확도, 프로덕션 복구를 입증하지는 않는다. 소스 코드는 MIT 라이선스로 https://github.com/mz24cn/agents 에 오픈소스로 공개되어 있다.
장기 호라이즌 조작 과제는 로봇이 일반적으로 여러 상이한 스킬을 결합하여 환경과 일련의 물리적 상호작용을 수행해야 한다. 이러한 행동을 효율적으로 계획하는 것은 어렵다. 매개변수화된 스킬 라이브러리가 주어지면 해는 스킬 시퀀스와 그 매개변수로 이루어진 방대한 하이브리드 공간에 존재하며, 물리 시뮬레이터와 같은 고충실도 월드 모델로 각 후보 스킬의 실현 가능성과 효과를 평가하는 것은 계산 비용이 크다. 최근의 스킬 중심 접근법인 MOSAIC는 스킬이 성공할 가능성이 높은 영역으로 비순차적 탐색을 유도하지만, 고려하는 모든 매개변수화된 스킬에 대해 시뮬레이션의 전체 비용을 치른다. 본 연구에서는 가설화된 스킬 결과에 대해 탐색하는 지연(lazy) 계획 프레임워크인 Lazy-MOSAIC를 제안한다. 저렴한 학습된 스킬 효과 월드 모델은 1밀리초도 안 되는 시간에 스킬의 실현 가능성과 그로 인해 생성되는 월드 상태를 예측한다. 이후 Lazy-MOSAIC는 이러한 예측을 활용하여 값비싼 시뮬레이션을 유망한 후보 스킬에 집중시키며, 가설이 무효화되면 탐색에서 영향받은 부분만 복구하면서도 반환되는 계획의 모든 스킬이 시뮬레이션에서 검증되도록 보장한다. 난이도가 점차 높아지는 복잡한 선반 물체 회수 과제에서 Lazy-MOSAIC를 평가하고 실제 로봇에서 시연하였으며, 모든 설정에서 기준 방법과 같거나 더 높은 성공률을 유지하면서 더 적은 시뮬레이터 질의로 훨씬 빠르게 계획함을 보인다. skill-mosaic.github.io를 방문하라.
하이브리드 솔리드스테이트 LiDAR 센서가 양산 차량에 도입되고 있으나, 이 센서가 생성하는 데이터는 오늘날 자율주행 데이터셋의 기반이 되는 기존 회전식 기계식 센서의 데이터와 구조적으로 다르다. 즉, 링 구조가 없고, 조밀하며, 복잡하고, 전방 시야에 집중되어 있다. 자율주행차가 주행 가능 공간 계산과 내비게이션에 의존하는 고전적 기하 기반 방법은 360도 회전식 LiDAR의 정렬된 링-열 구조를 가정하므로 이러한 데이터에서는 성능이 저하되거나 실패하며, 학습 기반 대안은 계산 부담이 크고 인증이 어렵고 거의 전적으로 회전식 LiDAR 데이터로 학습되었다. 우리는 이와 같이 조밀한 곡선별 기하가 오히려 업계가 선호하는 센서와 자율주행 연구 사이의 간극을 메울 기회임을 보인다. 우리는 단일 하이브리드 솔리드스테이트 LiDAR 프레임에서 각 스캔 곡선을 추적하고 높이 단차와 거리 되접힘(fold-back)이라는 두 가지 기하학적 특징을 읽어 지면과 주행 가능 도로를 분할하는, 학습과 그래픽 처리 장치가 필요 없는 순수 기하 기반 방법인 GHySSeg를 제안한다. 이를 평가하기 위해, 자동차용 하이브리드 솔리드스테이트 LiDAR의 지면 및 도로 분할에 전용된 최초의 공개 벤치마크인 HySoLiD-Drive를 공개한다. 이는 두 대의 차량이 실제 주행에서 기록한 수작업 레이블 100프레임과 레이블 없는 7000프레임으로 구성된다. 이 벤치마크에서 GHySSeg는 지면 및 도로 분할 전반에서 기하 기반 및 학습 기반 최신 기준 방법을 모두 능가하며, 0.96 이상의 정밀도에서 도로 0.907, 지면 0.896의 intersection-over-union을 달성하고, 단일 코어에서 프레임당 약 22밀리초로 실시간 동작한다.
결합 임베딩 예측 아키텍처(JEPA)에서는 프로젝터 출력을 잘 제약하는 것만으로는 표현 붕괴를 막지 못한다. 우리는 초기화 시점부터 인코더 표현이 서로 다른 입력들이 공유하는 성분에 의해 지배된다는 것을 발견했다. 배치 정규화된 프로젝터는 이 성분을 제거하므로 프로젝터 이후의 정규화로는 이를 바로잡을 수 없고, 표현 간의 차이가 줄어들다가 결국 붕괴한다. 본 연구는 기존 학습 목적 함수를 유지하면서 필요할 때 인코더를 직접 제약하는 SADL(Supply And Demand Loss)을 제안한다. SADL은 프로젝터 출력이 요구하는 표현 차이와 인코더가 유지하여 프로젝터로 전달할 수 있는 차이를 비교하고, 공급이 수요에 못 미칠 때에만 인코더에 제약을 추가한다. SADL은 다양한 수요 정규화기(Demand Regularizer)와 함께 작동하며, 보조 네트워크, 추가 학습 가능 파라미터, 아키텍처 변경을 도입하지 않는다. 단일 과제 및 4개 과제 공동 학습 설정의 LeWorldModel(LeWM)과 INTACT 실험에서 SADL은 10개의 무작위 시드에 걸친 붕괴율을 50%에서 0%로 낮춘다. 한 에폭 학습 후 인코더의 유효 랭크는 SADL이 없는 해당 기준선의 3.4~6.4배이며, 잠재 예측 오차는 기준선의 1/20~1/303로 감소한다. 추가 튜닝 없이도 SADL은 손실 가중치가 여러 자릿수에 걸쳐 변해도 견고하게 유지되며, 여러 수요 정규화기와 함께 사용할 때 INTACT는 탐색 없는 제어의 평균 성공률 95%를 넘는다. 4개의 이미지 데이터셋에서도 SADL은 무작위 시드 전반에 걸쳐 정확도와 안정성을 일관되게 향상시킨다. 이러한 결과는 정규화기가 요구하는 표현 차이와 인코더가 공급할 수 있는 차이를 일치시키는 것이 제어와 이미지 분류에서 더 빠르고 안정적인 표현 학습으로 이어짐을 보여 준다.
비전-언어-행동(VLA) 모델은 이상적인 환경에서 원하는 로봇 행동을 생성할 수 있다. 그러나 배포 시 로봇의 구동 특성이 변하면 종종 실패한다. 예를 들어 재장착, 기계적 마모, 명령 지연 변화는 작업 실패와 안전하지 않은 행동으로 이어질 수 있다. 불가피한 구동 변화를 다루기 위해 우리는 VLA를 고정한 채 의도된 동작을 재접지하는 추론 시점 방법인 ReGround를 제안한다. ReGround는 작업과 무관한 모터 배블링으로부터 배포된 로봇의 동역학을 학습한 다음, 정책 자체의 계획에 가깝게 유지하면서 정책이 의도한 동작을 추적한다. ReGround는 변화를 감지했을 때에만 활성화되며 보상, 시연, 재학습이 필요 없다. 우리는 두 개의 VLA, 여덟 개의 LIBERO 작업, 다섯 가지 변화 설정에 걸쳐 ReGround가 거의 오라클에 가까운 성공률을 회복할 수 있음을 보이며, 예컨대 400 ms 지연 하에서 $\pi_{0.5}$의 성공률을 0.16에서 0.90으로 높이면서도 선형 보정 기준선보다 더 안전하게 유지한다. 프로젝트 웹사이트 및 오픈소스 코드: https://umersiddique94.github.io/ReGround/.
본 논문은 세 가지 원칙에 기반한, 로보틱스의 병렬 미분 가능 최적화를 위한 고성능 범용 툴킷 RoboKit을 제시한다. (i) 성능과 유연성: GPU 병렬 다중 시드 솔버가 샘플링과 다양한 옵티마이저를 결합하여 7개 과제에서 과제 특화 기준선보다 2-60$\times$ 빠르게 실행된다. (ii) 기하, 렌더링, 물리: 하이브리드 및 계층적(coarse-to-fine) 표현이 충돌, 미분 가능 렌더링, 시뮬레이션을 가속하여 4096개의 파지를 2.97초에 최적화한다. (iii) 학습과의 통합: 비용이 미분 가능하고 시뮬레이션이 병렬이므로, RoboKit은 최적화를 정책으로 증류하고 강화학습도 학습시킬 수 있다. 증류된 정책은 비슷한 정확도에서 9-240$\times$ 빠르게 실행되며, 강화학습은 동일한 시뮬레이터에서 GPU 기준선의 점수에 최대 2.1$\times$ 더 빨리 도달한다.
쿠프만 제어기는 학습된 잠재 공간 선형 모델을 안정화하면서도 비선형 플랜트는 안정화하지 못할 수 있다. 학습된 모델은 잠재 공간에서 예측을 전파하는 반면, 배포된 제어기는 측정된 물리 상태를 반복적으로 재인코딩한다. 우리는 학습된 폐루프 동역학과 실제 폐루프 동역학이 목표점에서 임베딩의 접공간 위에서 1차까지 일치할 때, 공칭 폐루프 안정성이 비선형 플랜트로 전이됨을 보인다. 근사 일치에 대한 강건성 여유를 유도하고, 안정한 개루프 잠재 모델은 불안정한 평형을 정확히 일치시킬 수 없음을 보인다. 오프라인 전이 데이터로부터 국소 플랜트 선형화를 추정하고 이 추정치에 대한 1차 일치를 강제하는 접선 불변 쿠프만(TIK)을 제안한다. TIK는 목표점에서 적합된 LQR 이득을 복원하며, 쌍선형 예측기는 큰 기동 중의 상태 의존적 구동을 포착한다. 네 가지 시뮬레이션 불안정 벤치마크에서 표준 쿠프만 제어기 40개 모두는 안정한 잠재 폐루프를 갖지만, 배포된 비선형 시스템은 국소적으로 불안정하다. 반면 TIK 제어기 40개 모두는 각자의 비선형 플랜트를 국소적으로 안정화한다. 경험적 곡률 추정치를 사용한 오프라인 안정성 검사는 두 카트-폴 시스템에서 안정한 TIK 제어기를 식별하지만, 높은 잡음 하에서는 결론을 내리지 못한다. 명시적인 모델 오차와 곡률 한계 하에서, 불변 종단 집합은 국소 피드백 아래 진입 후 제약 만족을 보장한다. TIK는 0.25 ms의 계획 예산으로 88%의 제약 카트-폴 스윙업 성공률을 달성하며, 시뮬레이션된 7관절 로봇팔을 스텝당 1~5 ms 내에 제어한다.
자기회귀 정규화 흐름(NF)은 연속적인 로봇 행동을 학습하고 샘플링하기 위한 다루기 쉬운 밀도를 제공한다. 우리는 단일 최대우도 목적 함수만으로도 조작 벤치마크에서 선도적인 방법들에 견줄 만한 비전-언어-행동(VLA) 정책을 학습할 수 있음을 보인다. 본 논문은 조건부 자기회귀 정규화 흐름과 점수 기반 행동 정제를 결합한 NF-VLA를 제시한다. 이 모델의 깊은-얕은 구조는 시각, 언어, 고유수용 감각 프리픽스 조건화를 고용량의 깊은 블록에 집중시키고, 조건이 없는 얕은 블록은 공유되는 가역적 행동 변환을 제공한다. 비전-언어 백본과 흐름은 가우시안으로 평활화된 행동 청크에 대한 정확한 최대우도로 함께 학습된다. 동일하게 학습된 밀도는 추론 시 단일 점수 기반 보정을 제공하여, 별도로 학습한 잡음 제거기 없이도 학습 시 평활화를 고려하도록 생성된 행동을 정제한다. 로봇 사전학습 없이 사전학습된 비전-언어 백본에서 LIBERO로 학습한 NF-VLA는 네 가지 표준 스위트에서 98.35%의 성공률을 달성하고, 추가 미세조정 없이 동일한 체크포인트로 LIBERO-Plus에서 72.6%를 달성한다. 절제 실험은 깊은 블록 전용 프리픽스 조건화와 점수 기반 정제가 모두 폐루프 성공률을 향상시킴을 보여 준다. 이러한 결과는 신중하게 구조화된 자기회귀 흐름이 VLA 제어를 위한 경쟁력 있는 접근법이며, 하나의 학습된 밀도가 정책 학습, 행동 생성, 정제를 모두 뒷받침함을 입증한다.
Safety filters for heterogeneous robot teams fail because of missing constraints, overestimated braking capabilities and conflicts between individually satisfiable constraints. We present OntoCBF, which compiles a domain ontology with a class taxonomy, typed relations, safety axioms and a dynamics profile per robot class into a control barrier function filter with one quadratic program per agent. Description-logic entailment supplies the constraints of any team online, including those that follow from chains of relations and from classes defined by what a robot carries, so the existing safety axioms cover new robot classes, payload classes and combinations. We prove that a subclass may reuse the braking capability of its parent whenever it can produce every velocity of the parent, a property separate from subsumption. For box-bounded double integrators this property is also necessary, and every loss of safety then begins with a conflict. Once three robots interact, the safe set of pairwise barriers contains states from which a collision is unavoidable, and such states persist in larger teams under any fixed capability reduction. In a simulated warehouse where humans ignore the robots, a filter written for the design classes violates safety in 89-100 % of the episodes with unseen classes. In all scenarios, including one with 32 robots, OntoCBF violates safety in 20-70 % of the episodes, each time after a conflict, with a median deepest intrusion of 10-17 % of the keep-out distance. A multi-agent PPO policy trained with the filter in the loop lowers the rate of infeasible quadratic programs, nearly all of them conflicts, by 18-41 %.
LiDAR 장소 인식은 동시적 위치 추정 및 지도 작성(SLAM)의 루프 폐쇄를 제공한다. Z축 관점에서 중력 정렬된 스캔은 장면의 정사영 지도이며, 다른 위치와 방향에서의 재방문은 이 지도를 평면에서 강체 이동시키는데, 이 움직임은 극좌표 푸리에 스펙트럼이 무시하고 위상 상관이 복원하는 것이다. 수직 방향에서는 반환점의 높이가 구조물을 기술하지만, 어떤 높이가 관측되는지는 거리에 따라 달라진다. 센서의 수직 시야각이 가까운 구조물을 낮은 부분에서 잘라내기 때문이다. 따라서 높이는 전역 키로서는 오해를 낳지만, 두 스캔이 정렬되어 겹치는 영역에서 셀 단위로 비교될 때에는 결정적이다. 본 논문은 두 LiDAR 스캔이 두 스캔에서 동일한 기하학적 표면으로부터 계산된 특징을 통해서만 비교될 수 있다는 하나의 원리에 기반한 학습이 필요 없는 방법 \method를 제시한다. \method는 키프레임당 1.9 KB인 조감도(BEV)의 이동 및 회전 불변 극좌표 스펙트럼으로 후보를 검색하고, 위상 상관으로 평면 자세를 추정하여 각 후보를 검증하며 \emph{점 고정 높이 열}로 점수를 매긴다. 모든 BEV 셀은 자신의 반환점 높이를 나타내는 16비트 마스크를 유지하고, 세션 내에서 점수는 두 스캔의 거리로부터 계산한 센싱 범위의 예상 중첩도로 가중된다. 이러한 수직 연결은 검증에서는 효과가 있지만, 높이 슬라이스의 내용이 구조물까지의 거리에 좌우되는 검색에서는 오히려 해가 됨을 보인다. 단일 로봇의 경우 \method는 KITTI 개발 시퀀스에서 3D 정합이 없는 학습 불필요 방법 중 가장 높은 AP를 달성하며, 로봇 간 설정에서는 모든 다중 로봇 시퀀스에서 RING++의 1/350 크기의 디스크립터로 RING++와 대등하거나 능가하고, 모든 테스트에서 학습 기반 BEVPlace++보다 더 많은 로봇 간 루프를 폐쇄한다.
언어 기반 내비게이션은 이동 로봇이 자연어 명령을 해석하여 비정형 환경에서 사용자가 지정한 목표로 이동하게 한다. 그러나 개방형 어휘 시각 인식을 지도 작성 및 내비게이션을 위한 고전적 로보틱스 파이프라인과 통합하는 것은 여전히 어려운 문제이다. 본 연구는 프런티어 기반 탐색, Grounding DINO를 이용한 개방형 어휘 객체 탐지, 깊이 기반 3D 위치 추정, 의미론적 지도 작성을 결합하여 시뮬레이션에서 종단간 비전-언어 기반 내비게이션을 구현하는 완전한 ROS2 기반 시스템을 제시한다. 이 시스템은 ``노란 상자로 가라''와 같은 자연어 명령을 받아 텍스트 프롬프트로 RGB 영상에서 후보 객체를 탐지하고, 세계 좌표계에서 그 위치를 추정하며, Nav2 스택이 실행하는 내비게이션 목표를 생성한다. TurtleBot3 로봇을 사용한 Gazebo 기반 실내 환경에서 이 시스템은 방을 자율적으로 탐색하여 다섯 개의 목표 객체 중 세 개를 탐지하였고, 시험한 두 자연어 내비게이션 명령을 과업별 학습 없이 모두 성공적으로 수행하였다. 결과는 개방형 어휘 grounding 모델을 고전적 내비게이션 파이프라인에 통합할 수 있음을 보여주지만, 성능은 탐지 불확실성, 깊이 기반 위치 추정 오차, 불완전한 탐색 범위로 제한된다. 이러한 결과는 경량 CPU 전용 아키텍처를 사용하여 비전-언어 기반 내비게이션 시스템을 배치하는 것의 실현 가능성과 현재의 한계를 모두 보여준다.
원격 조작 시연은 수집 비용이 크고, 운동학과 행동 공간이 다른 엔드 이펙터 간에는 재사용되기 어렵다. 이러한 부담은 엔드 이펙터 쌍마다 새로운 데이터가 필요할 수 있는 양팔 조작에서 더욱 커진다. 본 논문은 실행 가능한 교차 엔드 이펙터 시연 생성과 통일된 양팔 정책 학습을 위한 프레임워크 AsymEEF를 제시한다. 소규모 원본 데이터셋이 주어지면 AsymEEF는 추가적인 원격 조작 없이 시연을 두 손가락, 세 손가락, 다섯 손가락 엔드 이펙터의 이종 조합으로 전이한다. 운동학적 교사 앵커는 기하학적 지도를 제공하고, 희소한 실제 환경의 X-Calib 앵커는 파지 실행의 불일치를 보정한다. 공유 인코더는 손목 자세와 액추에이터 상태를 형태 비의존적 잠재 공간으로 사상하고, 형태 조건부 디코더는 목표 명령을 복원한다. 생성된 궤적은 과업 수준의 실행 가능성을 위해 재생 필터링을 거친다. 이 표현은 또한 여러 쌍에 걸쳐 학습된 통일된 양팔 시각운동 정책을 지원한다. 네 개의 시뮬레이션 과업과 여섯 개의 실제 과업에서 AsymEEF는 적응된 전이 기준선보다 재생 성공률을 향상시키고, 시뮬레이션에서 평균 재생 유효 확장 이득 16.6배를 달성하며, 실제 로봇에서의 하위 정책 학습을 통해 평가된다. 프로젝트 웹사이트: https://asymeef.vercel.app/.
사전 학습된 로봇 정책이 어려운 과제에서 실패할 때, 흔한 해결책으로는 백본 재학습, 외부 시각 인코더 추가, 메모리 모듈 도입 등이 있다. 우리는 틀린 예측이 틀린 표현을 의미하지는 않는다고 주장한다. 즉 정책이 필요한 정보를 보유하고 있으면서도 이를 올바른 행동으로 읽어내지 못해 실패할 수 있다. 이 관점을 검증하기 위해 ReRead를 제안한다. 백본을 고정한 상태에서 교정기가 현재 캐시와 이전 두 캐시를 다시 읽어 행동 잔차를 예측한다. 교정기는 이미지를 보지 않으며, RoboTwin 2.0의 50개 전체 과제에 대한 오프라인 시연만으로 학습되고, 추가되는 지연 시간은 4.17%에 불과하다. 절제 실험과 개입 실험은 이 교정이 백본 자체의 표현에 의존함을 보여준다. 네 가지 외부 시각 인코더 중 어느 것도 추가 이득을 주지 못했고, 다른 궤적의 과거 캐시로 바꾸면 행동 오차가 크게 증가한다. 가장 어려운 RoboTwin 2.0 과제 11개에서 ReRead는 LingBot-VLA, $\pi_{0.5}$, Fast-WAM의 성공률을 각각 23.45, 13.09, 8.00 퍼센트포인트 향상시켰다. 50개 전체 과제에 대한 쌍체 평가에서는 Fast-WAM의 평균 성공률을 90.73%에서 92.66%로 높였다. Flexiv 양팔 로봇에서는 단계가 모호한 과제의 성공률을 0%에서 36%로 높였다.
본 논문은 1분 이내의 학습으로 휴머노이드의 동작 추종과 험지 보행을 학습하는 XMimic과 XSoma를 제안한다. 두 방법은 모두 SuperMimic을 따른다. SuperMimic은 로봇의 월드 모델을 학습하고, 이 모델 안에서 상상한 짧은 롤아웃에 대해 해석적 그래디언트로 정책을 최적화한다. 이 방법의 기존 구현은 더 큰 GPU를 활용하지 못하는데, 이는 매 학습 반복이 순차적으로 실행되는 작은 GPU 연산의 긴 사슬이기 때문이다. 따라서 XMimic과 XSoma는 이 사슬을 단축하고, 최대 4개의 GPU에서 매 반복의 단계를 동시에 실행한다. 우리는 MuJoCo Warp 시뮬레이터를 포함한 전체 학습 루프를 JAX로 컴파일한다. 보행의 경우 XSoma는 월드 모델에 로봇의 동역학만 맡기고, 발 아래 지형 높이를 포함한 나머지 모든 것은 정확하게 계산한다. 이 방법은 1초의 호라이즌으로 크리틱 없이 학습한다. H100 GPU 4개에서 XMimic은 Unitree G1으로 LAFAN1의 40개 클립 전체를 추종하는 법을 0.86분 만에 학습하며, 이는 GPU 1개에서의 BlinkMimic보다 3.7배 빠르다. XSoma는 Holosoma의 테스트가 FastSAC에 설정한 추종 목표를 0.77분 만에 달성하며, 이는 GPU 1개에서의 FastSAC보다 12.3배 빠르고 환경 스텝 수는 8분의 1만 필요로 한다.
Multimodal reinforcement learning (MRL) offers a promising paradigm for autonomous driving by jointly leveraging complementary sensor observations to learn effective decision-making policies. However, its effectiveness critically depends on temporal alignment across modalities, making temporal inconsistency a fundamental vulnerability. Even subtle misalignment or latency can corrupt fused representations and ultimately lead to decision failures. Existing studies have explored adversarial attacks to induce cross-modal temporal inconsistencies, thereby enabling systematic evaluation of the temporal robustness of MRL policies. However, existing methods remain limited in generality, realism, and adaptivity. To address these limitations, we propose the Split Temporal Adversary (STA), which formulates multimodal temporal attacks as a unified decision process that jointly optimizes attack timing and modality selection under realistic policy-aware and budget-constrained settings. STA includes two mechanisms: a) a unified multimodal temporal perturbation mechanism that delays observations via historical states, removing the need for modality-specific noise; b) a split multimodal adversarial decision mechanism that jointly optimizes attack timing and modality selection through adaptive optimization while leveraging the victim policy's clean actions to identify sensitive decision patterns. We provide a theoretical analysis of the induced distribution shift and a modality selection principle. Experiments in the CARLA simulator show that STA more than doubles the collision rate of the strongest baseline against PPO while using 17.8\% fewer attack attempts, and that it generalizes to a VLM-based driving policy. These results reveal temporal consistency as a critical vulnerability, highlighting temporal robustness as essential for safe autonomous driving.
로봇 보상 모델(RRM)은 파운데이션 모델을 사용하여 과제별 보상 설계를 재사용 가능한 과제 조건부 평가로 대체한다. 그러나 하나의 이름 아래에서도 그 출력은 과제가 성공했는지부터 어느 실행이 더 나은지까지 서로 다른 질문에 답한다. 이 서베이는 114개 방법을 고유 출력이 답하는 질문에 따라 결과, 절대 진행도, 상대, 시간적 가치, 혼합의 다섯 가지 의미 계열로 정리한다. 이 분류 체계 안에서 모델 설계가 평가자가 판단할 수 있는 것을 어떻게 결정하는지, 원시 경험이 어떻게 지도 신호가 되는지, 기존 평가 관행이 그 결과를 어떻게 검증하는지 검토한다. 이 검토는 한 가지 공백을 드러낸다. 시연 순서와의 일치도와 하위 정책의 성능 향상은 보상이 과제 달성을 추적하는지 여부를 보여 주지 못한다. 이에 우리는 과제 상태와 카메라 증거 레이블이 붙은 폐루프 실행의 실제 로봇 영상 1,117개로 구성된 RRM-Bench-1K와, 인정되는 조건을 통상적인 단서와 분리하는 네 가지 대조 스위트를 도입한다. 27개 평가자에 대한 통합 연구는 가장 강한 최종 점수가 선택과 필터링에 충분할 만큼 전체 실행의 순위를 잘 매김을 보여 준다. 그러나 밀집 크레딧은 과제 상태보다 실행의 진행을 더 가깝게 따르며, 결정적인 시점이 없을 때 이를 알리는 평가자는 없다. 따라서 보상 모델에 필요한 충실도는 그것이 이끄는 결정에 달려 있다. 우리는 실제 실패 지도 신호에서부터 과제 상태와 시간 순서를 분리하는 지표에 이르는 방향을 제시하고, 기존 RRM 14개를 바로 적용하고 새로운 평가자를 동일한 역량에 대해 시험할 수 있는 도구상자인 RRM-Hub를 오픈소스로 공개한다.
다중 모달 장소 인식(Place Recognition, PR)은 견고성을 향상시킬 수 있으나, 대부분의 시스템은 주 센서만으로 충분한 경우에도 모든 질의에 대해 모든 센서를 경직되게 읽고 처리한다. 이는 에너지 소비, 두 번째 센서의 갱신 주기, 수동 은닉(passive stealth)과 같은 특정 도메인의 고려 사항에 영향을 미친다. 본 논문은 사용자가 원하는 두 번째 센서 사용률을 지정하면, 주 센서의 추정 성능이 충분히 낮을 때에만 시스템이 추가 센서를 획득하는 선택적이고 제어 가능한 센서 획득 방식을 제안한다. 온라인 임계값 조정은 최근 주 센서의 성능에 적응함으로써 요청된 사용률을 달성하며, 센서 모달리티, PR 방법 또는 환경에 특화된 보정 없이도 융합이 가장 도움이 될 가능성이 높은 질의에 추가 센싱을 집중시킨다. 이 접근법은 매칭 점수를 산출하는 PR 방법만을 요구하며, 단일 프레임 기반 PR과 시퀀스 기반 PR 모두에 적용된다. 여러 데이터셋, PR 디스크립터, 센서 조합에 걸친 실험에서, 본 시스템은 질의의 25%에서만 두 번째 센서를 사용하면서 얻을 수 있는 PR 성능 향상의 55%를 회복하고, 50%에서 사용할 경우 81%를 회복한다. 또한 대안적인 획득 결정 메커니즘과 사용률 제어 방법을 분석하고, 두 번째 센서가 주 센서보다 강하거나 비슷하거나 약한 경우의 성능을 살펴본다.