우리는 대규모 언어 모델(LLM)이 강화학습(RL) 과제에서 효과적인 블랙박스 정책 최적화기로 작동할 수 있는 경우, 즉 고전적인 RL 알고리즘을 LLM으로 대체할 수 있는 경우를 연구한다. 이 질문을 탐구하기 위해 Prompted Policy Optimization(PromptPO)을 제안한다. 이는 반복적 방법으로, 상태 공간, 행동 공간, 보상 함수의 Python 설명으로 LLM에 프롬프트를 주고, 롤아웃 피드백을 바탕으로 실행 가능한 정책을 생성·정제하게 한다. 어려운 탐험 환경, Meta-World 로봇 과제, 여러 실세계 제어 문제 전반에 걸쳐 PromptPO는 환경 상호작용을 상당히 적게 사용하면서도 표준 RL 베이스라인의 성능과 대등하거나 이를 초과하는 경우가 많다. 기대 보상을 극대화하기 위해, 추가적인 명시적 프롬프트 없이 PromptPO가 출력하는 정책은 조정된 비례 제어기나 규칙 기반 계획부터 value iteration과 같은 계획 알고리즘을 실행하는 정책까지 다양하다. 결과는 LLM이 환경 또는 최적화 전략에 대한 사전 지식을 활용할 수 있을 때 LLM 기반 정책 최적화가 충분함을 보여준다. PromptPO는 MuJoCo 도메인에서 표준 RL 베이스라인보다 성능이 낮다. 이는 LLM 기반 정책 최적화가 세밀한 연속 제어를 요구하는 설정에서 한계가 있을 수 있음을 보여준다.
실세계 로봇-객체 상호작용에서 사전 정의된 클래스 목록 없이 미지 객체를 인식해야 한다는 요구에, AnomNOVIC는 이상 탐지용 마스크드 오토인코더(MAE)로 객체 불변 바운딩 박스를 제안하고 실시간 프롬프트 없는 오픈 보캐블러리 분류기 NOVIC로 영역을 분류하는 2단계 known-workspace 프레임워크를 제시한다. NICOL 휴머노이드 로봇 테이블톱 환경에서 프롬프트 없이 47.1% AP를, 48종 in-the-wild 객체 테스트에서 최대 82.6% 검출·분류 정확도를 달성해 YOLO-World-v2, OWLv2, YOLOE 등 기존 오픈 보캐블러리 베이스라인을 크게 능가한다.
로봇 강화학습(RL)에서 작업별 전문 정책 라이브러리를 PPO와 LoRA(저랭크 적응)로 학습해 전층 파인튜닝 대비 메모리 사용을 20–160배 줄였으며, 10–50개 정책 배포 시 저장 공간을 90–95% 절감할 수 있으면서 선택한 작업에서 성공률 차이는 유의미하지 않았다.
TurboMPC는 상태·제어 부등식 제약, 암시적 적분기, 슬랙 변수 등 로봇공학용 표현력 있는 모델 예측 제어(MPC)를 GPU에서 전부 미분 가능하게 풀기 위해 순차 2차 계획법(SQP), ADMM 내부 솔버, 암시적 미분, JAX-CUDA 공동 설계를 결합한 솔버이다. 시뮬레이션에서 기존 CPU·GPU 미분 가능 솔버 대비 최대 15배·58배 가속을 보였고, 실차 최단시간 레이싱에서는 베이지안 최적화로 MPC 파라미터를 배치 튜닝해 수동 튜닝보다 빠른 주행을 달성하며 8000 knot point 이상의 긴 계획 지평도 실시간 제어가 가능했다.
일상 환경에서 활동하는 로봇은 사람이 화면의 작은 영역만 차지하는 넓은 시야에서 미세한 인간 행동, 의도, 맥락적 단서를 이해해야 하며, 이는 현재 시스템들이 충족하지 못하는 능력이다. 개방어휘(open-vocabulary) 행동 인식 방법은 미리 정의된 레이블을 부여하는 데 그치는 한계가 있으며, 비전-언어 모델(VLM)은 출력에서 정보의 풍부함과 사실적 충실도 사이의 고유한 트레이드오프에 직면한다. 어느 접근법도 신뢰할 수 있는 인간-로봇 상호작용에 필요한 심층의 의미론적 해석을 달성하지 못한다. 우리는 미세 인간 행동 이해를 위해 경량 VLM에 자기 안내 다중모달 추론 능력을 부여하는 새로운 프레임워크인 Gold Points Sniper(GPS)를 제안한다. 우리 접근법은 세 가지 핵심 모듈로 구성된다: Gold Points Extractor는 VLM을 학습시켜 행동과 관련된 중요한 세부 사항을 식별하고, Selective Socratic Questioner는 선택적 자기 질문을 통해 이러한 세부 사항을 검증·정제하며, Semantic Entailment Evaluator는 의미적 함의(semantic entailment) 분류를 사용하여 사실적 일관성을 정량적으로 평가한다. CAP 벤치마크를 기반으로 구축한 우리가 정제한 인스트럭션 튜닝(instruction-tuning) 데이터셋에 대한 광범위한 실험 결과, GPS로 강화된 경량 VLM은 상당한 성능 향상을 달성하며, 일부 모델은 우월한 사실적 정확도를 유지하면서 독점 GPT-4o에 필적하는 성능에 도달한다. 우리 연구는 가정용 로봇공학에서 미세 행동 이해를 위한 신뢰할 수 있는 기반을 마련하며, 정보가 풍부하면서도 사실에 근거한 설명을 통해 로봇이 인간 행동을 안전하게 해석할 수 있게 한다. 소스 코드, 학습 구성, 주석 프롬프트, 데이터셋 세부 사항은 https://github.com/Haodi-Liu/GPS-Gold-Point-Sniper 에서 공개한다.
비전-언어-행동(VLA) 모델은 로봇이 시각적 관측과 언어 지시로부터 직접 행동을 예측할 수 있게 하지만, 새로운 환경에 대한 적응은 여전히 비용이 큰 행동 라벨 시연에 의존한다. 이 의존성을 줄이기 위해, 우리는 제한된 감독 신호 하에서의 반지도 VLA 적응을 연구한다. 전체 궤적 중 소수만 로봇 행동을 포함하고, 나머지 궤적은 행동 라벨이 없는 비전-언어 관측을 제공하는 설정이다. 표준 반지도 학습과 달리, 누락된 감독은 시각적으로 그라운딩(grounding)되어야 하고, 언어와 일관되어야 하며, 물리적으로 실행 가능하고, 시간적으로 안정적인 체화된(embodied) 행동 신호이다. 이 문제를 해결하기 위해, 우리는 라벨 없는 궤적에서 신뢰할 수 있는 pseudo-action으로부터 학습하는 자기 증류(self-distilled) teacher-student 프레임워크인 SemiVLA를 제안한다. SemiVLA는 비전-언어 정렬(alignment), 행동 실행 가능성, 시간적 전이 일관성을 평가하는 VLA 전용 신뢰성 제어기(reliability controller)를 도입하고, 노이즈 피드백 오염을 피하기 위해 Bottleneck-Projected Alignment Update로 teacher를 추가 갱신한다. OpenVLA를 백본(backbone)으로 사용할 때, SemiVLA는 LIBERO와 CALVIN에서 여러 PEFT(파라미터 효율적 파인튜닝) 전략을 일관되게 개선한다. 라벨 궤적 10% 조건에서 Selective LoRA를 적용한 SemiVLA는 LIBERO에서 평균 89.0% 성공률을 달성하며, 추가 추론(inference) 비용 없이 지도 LoRA 대비 8.0%p를 상회한다.
인간의 다리는 높은 효율성, 민첩성 및 충격 흡수 능력을 나타내며, 발가락은 이러한 능력에서 중요한 역할을 합니다. 로봇에 인간과 유사한 발가락을 구현하려는 많은 시도가 있었지만, 인간의 특성을 완전히 재현하지 못했거나 그 이점을 엄밀하게 검증하지 못했습니다. 본 연구에서는 인간 발가락의 경량, 고토크, 강인한 특성을 모방하는 14자유도(DOF) 이족 보행 로봇을 제안합니다. 민첩성, 효율성 및 충격 흡수 측면에서 능동 발가락의 효과를 정량적으로 분석하기 위해, 결합된 전달 장치와 정확한 전력 소비를 반영하는 실제 액추에이터를 포함한 고충실도 시뮬레이션 학습 환경을 개발했습니다. 능동 발가락 유무 구성 간의 공정한 비교를 보장하기 위해, 최소화된 강화학습(RL) 보상 함수를 설계하고 두 구성 모두에 동일한 학습 절차를 적용했습니다. 시뮬레이션 결과에 따르면 1.33 m/s 보행 시 발가락 장착 로봇은 발가락 제거 구성과 비교하여 CoT를 17.5%, 뒤꿈치 착지 지면 반력(GRF)을 5.0% 감소시켰습니다. 민첩성 테스트에서 평균 및 최대 경로 편차는 각각 25.0% 및 34.0% 감소했습니다.
불연속 지형(예: 계단, 틈, 장애물)에서의 지각 기반 보행은 적응적 행동을 요구하며, 이는 단일한 보수적인 보행(gait)으로는 급격한 지형 구조 변화에 필요한 예측적 기동을 수행할 수 없기 때문입니다. 멀티태스크 강화학습으로 정의되는 이 문제는 공유와 분리 사이의 긴장을 야기합니다. 태스크들은 공통된 보행 기반을 사용하지만 상충하는 보상을 가지므로, 정책은 가치 간섭을 피하면서 행동을 공유해야 합니다. 기존 연구는 한쪽 측면만 해결하며, 단일(monolithic) 정책은 전문화를 희생하고 계층적 하위 정책은 전이 과정과 미지의 지형에 대한 일반화를 희생합니다. 본 연구에서는 CTS-MoE를 제안합니다. 이 모델은 공유된 행동을 구성하기 위해 지각 기반 게이팅을 갖춘 밀집 전문가 혼합(MoE) 액터와, 간섭을 방지하기 위해 태스크 특정 가치 헤드를 갖춘 멀티-크리틱을 결합합니다. 해당 모델은 부분적 관측 가능성을 처리하고 순차적 증류를 피하는 단일 단계 동시 교사-학생 설정에서 엔드-투-엔드로 학습되며, 태스크 라벨은 학습 중에만 사용됩니다. 배포 시 라우팅은 지각에만 의존하므로, 고위 선택기나 지형 분류기 없이 지형 적응이 가능합니다. 시뮬레이션과 실제 하드웨어(Unitree Go1)에서 알려진 지형과 미지의 지형에 걸쳐 수행된 실험은, 단일(monolithic) 기준 모델 대비 더 낮은 추적 오차와 더 높은 성공률을 통해 태스크 인식 전문화를 보여주었습니다. 프로젝트 웹사이트: https://cts-moe.github.io/ .
현재의 에이전트 로봇 시스템은 실행 가능한 Code-as-Policy 프로그램을 작성하고, 피드백을 관찰하며, 여러 시도에 걸쳐 행동을 수정할 수 있지만 여전히 대부분 과업 중심입니다: 재사용 가능한 스킬은 명시적인 지시 후에만 획득됩니다. 본 연구는 유희적 에이전트 로봇 학습(Playful Agentic Robot Learning)을 다룹니다. 여기서 구체화된 코딩 에이전트는 다운스트림 과업이 도착하기 전에 자기 주도적 놀이를 지속적인 스킬 학습 단계로 활용합니다. 놀이 시간 스킬 획득을 위해 설계된 로봇 에이전트 팀인 RATs를 소개합니다. 놀이 동안 RATs는 새롭지만 학습 가능한 탐색적 과업을 제안하고, 로봇 코드 정책을 계획 및 실행하며, 중간 진행 상황을 검증하고, 실패를 진단합니다. 또한 밀집된 단계별 피드백을 통해 재시도하고, 성공한 실행을 지속 가능한 코드 스킬 라이브러리로 증류합니다. 테스트 시간에 에이전트는 새로운 과업 해결을 돕기 위해 이 동결된 라이브러리에서 관련 스킬을 재사용합니다. LIBERO-PRO와 MolmoSpaces에서의 실험 결과, 놀이를 통해 학습된 스킬은 놀이 없음(no-play) 및 무작위 놀이(random-play) 기준선보다 홀드아웃 다운스트림 과업의 성능을 향상시키는 것으로 나타났습니다. LIBERO-PRO와 MolmoSpaces에서 각각 CaP-Agent0 대비 20.6 및 17.0 퍼센트포인트의 향상을 보였습니다. 더욱이, 학습된 스킬은 컨텍스트에 단순히 검색하여 다른 추론 시간 Code-as-Policy 에이전트에 연결할 수 있으며, 기본 모델의 파인튜닝 없이도 RoboSuite 및 실세계 전이 성능을 각각 8.9 및 8.8 포인트 향상시켰습니다.
우리는 Atari CX40+ 컨트롤러를 구동하는 Robotroller라는 로봇과, 화면에 Arcade Learning Environment의 게임 프레임과 보상 신호를 렌더링하는 Atari Devbox라는 장치를 제작했습니다. Robotroller와 Atari Devbox는 시판 카메라 및 데스크탑 컴퓨터와 함께 물리적 세계에서 강화학습 알고리즘을 연구하는 데 사용할 수 있는 시스템을 구성합니다. 우리는 이 전체 시스템을 Physical Atari라고 부릅니다. 본 논문에서는 Physical Atari를 견고하고 접근 가능한 플랫폼으로 만드는 핵심적인 결정 사항들을 상세히 설명합니다. 시스템을 견고하게 만들기 위해, 모든 움직임이 베어링을 통해 이루어지도록 Robotroller를 설계하여 마모를 줄였습니다. 또한, 서보의 상태를 높은 빈도로 모니터링하고 하중을 제한하도록 개입하는 소프트웨어를 작성했습니다. 시스템의 접근성을 높이기 위해, 저렴한 시판 부품과 소비자용 3D 프린터로 제조 가능한 부품을 사용했습니다. Physical Atari는 1,000달러 미만으로 제작할 수 있으며, 기계적 고장 없이 수주간 연속적인 강화학습 실험에 사용되었습니다. 우리는 이를 통해 강화학습 알고리즘이 로봇에서 직접 학습할 수 있음을 검증했으며, 학습과 배포 사이의 작은 분포 변화조차도 정책의 성능을 크게 저하시킬 수 있음을 보여주었습니다. 우리의 결과는 로봇에서 우수한 성능을 내기 위한 온디바이스 적응(on-device adaptation)의 중요성을 강조합니다.
3D 장면 그래프(3DSGs)는 환경의 기하학적 그라운딩과 의미론적 및 관계형 추상화를 결합하여 공간 AI(spatial AI)를 위한 강력한 표현으로 등장했습니다. 이들의 표현력 덕분에 조작, 내비게이션, 작업 계획, 장면 이해 등 로봇공학 및 컴퓨터 비전의 광범위한 문제에 적용될 수 있게 되었습니다. 그러나 해당 분야는 여전히 파편화되어 있습니다. 서로 다른 커뮤니티가 상이한 정형화, 구축 파이프라인, 평가 프로토콜을 채택하고 있어, 방법 간 비교, 공통 가정 식별, 그리고 강건한 실제 환경 배치를 위한 남은 과제 파악이 어렵습니다. 본 조사는 3DSGs에 대한 통합적이고 비판적인 검토를 제공하며, 특히 남은 과제와 향후 방향에 중점을 둡니다. 먼저 공통 정의에 따라 3DSGs를 형식화하고, 노드 및 엣지 속성, 계층 구조, 동적 장면 표현, 어포던스 인식 확장 등 기존 정형화의 특징을 나타내는 주요 모델링 선택지를 분석합니다. 이어서 3DSGs가 원시 감각 데이터로부터 구축되는 방식을 검토하며, 가장 일반적인 용어, 규약, 기법에 대해 논의합니다. 마지막으로, 내재적 그래프 품질부터 작업 수준 성능에 이르기까지 다운스트림 응용 및 평가 전략을 살펴봅니다. 또한 커뮤니티를 지원하기 위해 조사된 내용을 정리하고 확장한 전용 웹사이트(https://3dscenegraphs.com/)를 제공합니다.
로봇의 플래시 내구성은 재생 불가능한 자원입니다. 모든 지속적인 쓰기는 수천 개의 프로그램/소거 주기 중 하나를 소비하며 다시 채워지지 않지만, 실제 배포된 로봇 메모리 시스템은 어떤 메모리가 소거 주기의 가치가 있는지에 대해 가격을 매기지 않습니다. 우리는 구현형 메모리를 감가상각 자본으로 취급하고 단일 내구성 그림자 가격 $η$으로 그 자원에 가격을 책정합니다. 이는 RAM / 온보드 NVM / 클라우드 계층에 걸친 비용 최소화 배치를 마모 증분 바이트당 인덱스에서의 임계값으로 만듭니다. 이 인덱스는 값-쓰기 연관성 $χ$의 부호와 상관없이 비용 최적입니다. $χ> 0$일 때만 최적해가 비단조적으로 변하여 로봇의 가장 가치 있는 메모리를 플래시에서 밖으로 보냅니다. 따라서 핵심은 실증적이며, 우리는 미리 지정된 게이트에서 실제 로봇 로그를 통해 $χ$를 측정했습니다. 그 부호는 배포 환경의 속성입니다. 반복적 장기 지속 조작에서는 양수($\hatχ \approx +1.0 \times 10^{-3}$, 전력 전체에서 재현됨)이고, 더 짧은 지평의 작업군에서는 0이며, 비반복적 원격 조작에서는 음수입니다. 두 가지 경계가 이 결과의 범위를 제한합니다. 내구성 예산은 데이터시트 가격의 프리미엄 3,000-P/E TLC에서는 유휴 상태이지만, 저렴한 엣지 로봇이 사용하는 상용 QLC/eMMC ($\sim$1,000 P/E)에서는 제한적입니다. 그리고 예산이 제한적인 곳에서, 학습된 마모 인식 컨트롤러는 가격 기반 라우팅을 작업 가치에만 연결합니다. 왜냐하면 실현된 가치는 RAM, NVM, 클라우드 전체에서 계층 불변이기 때문입니다. 즉, 임대료는 장치 수명과 비용을 지배하지 작업 성능은 지배하지 않습니다. 마모 인식 배치가 작업 가치를 향상시키는지 여부은 열려 있는 문제입니다. $χ$는 가치 프록시에 대해 측정되었으며, 비단조적 최적해는 증명되었지만 데이터에서 아직 관찰되지 않았습니다.
환경 내 물리적 행동과 제약에 적응하는 능력은 구현된 에이전트(예: 로봇)가 인간과 효과적으로 협업하는 데 필수적입니다. 이러한 물리적으로 기반한 인간-AI 협업은 연속적인 상태-행동 공간의 증가된 복잡성과 물리적 제약으로 인한 제한된 동역학을 고려해야 합니다. 그러나 기존의 대부분 협업 벤치마크는 이산적이거나 물리적 속성과 제약을 고려하지 않습니다. 이를 해결하기 위해 우리는 Moving Out을 소개합니다. 이는 무거운 물건을 함께 옮기거나 모서리를 돌아 물건을 이동시키기 위해 행동을 조율하는 것과 같이 물리적 속성과 제약의 영향을 받는 다양한 협업 방식을 모사하는 인간-AI 협업 벤치마크입니다. Moving Out은 두 가지 과제와 인간-인간 상호작용 데이터로 구성되어, 다양한 인간 행동과 보지 못한 물리적 속성에 적응하는 모델의 능력을 종합적으로 평가합니다. 물리적 속성과 제약 하에서 인간과 협업하는 능력을 구현된 에이전트에 부여하기 위해, 우리는 에이전트의 다양성과 행동 결과에 대한 이해를 향상시키는 새로운 방법인 BASS(행동 증강, 시뮬레이션, 선택)를 제안합니다. 우리는 AI-AI 및 인간-AI 실험에서 BASS와 최신 모델을 체계적으로 비교하여, BASS가 보지 못한 AI 및 인간 모두와 효과적으로 협업할 수 있음을 보입니다. 프로젝트 페이지는 https://live-robotics-uva.github.io/movingout_ai/ 에서 확인할 수 있습니다.
시각적 예측만으로는 작업 관련 이벤트 충족 여부를 판단하기 어려운 장기간 조작 문제를 해결하기 위해, 작업 명세 기반 이벤트 예측 및 검증을 수행하는 EA-WM 프레임워크를 제안한다. 이 프레임워크는 다양한 조작 연구에서 특징 공간 월드 모델의 해석 가능성을 높이고 작업 진행도와 더 잘 정렬되도록 만든다.
자연어 프롬프트에 실시간으로 적응하는 로봇을 위해 사전학습된 VLM을 활용해 자연어 쿼리를 신경-기호적(neuro-symbolic) 목표 상태로 변환하고 바운딩 박스 감지를 통해 물리적 세계에 연결하는 GRASP 프레임워크를 제안합니다. 이 방법은 추가적인 파인튜닝 없이 추상적인 공간 개념을 해석하여 90번의 실제 로봇 시도에서 73.3%의 성공률을 달성했습니다.
비전-언어-액션(VLA) 정책은 자연어를 폐루프(closed-loop) 로봇 제어에 통합하여, 로봇이 텍스트 지시로부터 직접 조작(manipulation) 작업을 수행할 수 있게 합니다. 동일한 인터페이스 때문에 프롬프트가 모든 재계획(replanning) 단계에서 재사용되고, 각 프롬프트 조건부 행동이 정책이 작동하는 미래 관찰을 바꾸므로, 제어 과정에서 텍스트가 반복적으로 역할을 합니다. 기존 VLA 공격은 표적 저수준 행동을 유도하거나 변화하는 이미지에도 해당 행동이 지속되도록 하는 적대적 프롬프트를 연구합니다. 본 연구는 의도된 작업을 지정하는 것처럼 $\textit{보이지만}$ 최종 물리적 결과를 리다이렉션하는, 더 강력한 궤적 수준 실패 모드를 식별합니다. 본 연구는 이 설정을 $\textit{명령어 보존 궤적 리다이렉션(command-preserving trajectory redirection)}$으로 수학적으로 정형화합니다. 이는 에피소드 시작 전 공격자가 하나의 프롬프트를 선택하고, 모든 정책 및 환경 구성 요소는 고정된 채 유지되며, 프롬프트가 목표 단어와 수정 언어를 생략하면서 정상(benign) 지시에 가깝게 유지되어야 하는 프롬프트 전용 위협 모델입니다. 이러한 프롬프트를 찾기 위해, 본 연구는 롤아웃(rollout)을 사용하여 명령어 보존 제약을 만족하면서 폐루프 동작이 목표 작업을 추적하는 섭동(perturbation)을 발견하는 온-정책(on-policy) 프롬프트 탐색 방법을 제안합니다. 시뮬레이션 및 실제 하드웨어 실험에서, 정상 지시에 가까운 프롬프트 섭동만으로 VLA 롤아웃을 공격자가 지정한 목표로 리다이렉션할 수 있음을 보였습니다. 이러한 결과는 VLA 명령어 그라운딩(grounding)의 궤적 수준 취약점을 드러냅니다. 의도된 명령어를 보존하는 것처럼 보이는 텍스트라도 적대자가 로봇의 최종 물리적 결과를 제어할 수 있습니다. 프로젝트 웹사이트: https://vla-redirection-attack.github.io/
로봇 모방 학습(imitation learning)에서 비최적 데이터의 활용성을 높이기 위해 노이즈 의존적 데이터 사용 방식을 도입한 Ambient Diffusion Policy를 제안한다. 이 방법은 비최적 데이터의 기여를 확산 시간의 높고 낮은 구간으로 제한하여 Open X-Embodiment 데이터셋에서 기존 방법 대비 최대 33% 향상된 성능을 보였다.
시각 정보 없는 정교한 파악을 위해 실제 촉각 신호를 재현하는 Real2Sim 보정 파이프라인과 레이아웃 인식 촉각 인코더를 결합한 프레임워크를 제안한다. 이 방법은 보정된 시뮬레이터에서 학습된 강화학습 전문가들을 촉각 조건부 디퓨전 정책으로 통합하여 실제 환경에서 27%의 파악 성공률을 달성했다.
비정형 인간 비디오에서 작업 의도(intent)를 학습하고 이를 로봇 제어로 변환하는 LUCID 프레임워크를 제안하여, 특정 로봇 본체(embodiment)에 종속되지 않고 확장 가능한 정교한 로봇 기술 습득을 가능하게 한다. 이 방법은 인터넷 비디오로만 학습된 작업에서 새로운 장면과 객체로의 제로샷(zero-shot) 전이를 달성하고 다양한 실제 조작 작업에서 성능을 입증했다.