Human-in-the-loop Reinforcement Learning has become a popular approach for training, finetuning, and aligning robot behavior with user preferences. Our paper explores the feasibility of using brain signals via functional near-infrared spectroscopy (fNIRS) to modulate robot learning in simulation. We compare agents trained on passive (observational) versus active (demonstrative) interaction tasks, and test multiple methods for enhancing the RL algorithm with the neural signal, focusing on parameter augmentation in contrast to replacement. We further examine how model granularity and noise affect agent learning. Our results show that this framework is effective. The neural signal improves learning when augmenting trajectory priorities and state-action q-targets. Additionally, the framework learns successfully from offline data, offering a practical alternative for settings where real-time BCI setups are impractical or only limited data is available.
FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다.
이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다.
우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.
멀티모달 대규모 언어 모델(MLLM)은 3D 환경에서 시각적 입력을 해석하고 이에 따라 행동하는 능력을 발전시켜, 로보틱스 및 상황 인지형 대화형 에이전트(situated conversational agent)와 같은 다양한 응용 분야를 지원하고 있습니다. MLLM이 물리적 세계를 카메라로 촬영한 뷰를 바탕으로 추론할 때 새로운 공격 표면(attack surface)이 등장합니다. 공격자가 의도된 MLLM 작업을 무력화하기 위해 텍스트가 포함된 물리적 객체를 환경에 배치할 수 있다는 점입니다. 선행 연구에서는 텍스트 도메인과 디지털 방식으로 편집된 2D 이미지를 통한 프롬프트 주입(prompt injection)을 연구해 왔으나, 이러한 공격이 3D 환경에서 어떻게 작동하는지에 대해서는 주목을 거의 받지 못했습니다. 이러한 간극을 메우기 위해, 본 논문에서는 디지털 이미지 편집 대신 텍스트가 포함된 객체 배치를 통해 실현되는 3D 환경에서의 MLLM 대상 프롬프트 주입 공격인 PI3D를 소개합니다. 본 연구는 주입된 텍스트가 포함된 3D 객체의 효과적인 포즈(위치 및 방향)를 식별하는 문제를 공식화하고 해결하며, 여기서 공격자의 목표는 객체 배치가 물리적으로 타당하게 유지되도록 보장하면서 MLLM이 주입된 작업을 수행하도록 유도하는 것입니다. 실험 결과는 PI3D가 다양한 카메라 궤적 하에서 여러 MLLM을 상대로 효과적인 공격임을 보여줍니다. 나아가 다양한 방어 기법을 평가하여 이러한 기법들이 PI3D를 안정적으로 방어하기에 충분하지 않음을 보입니다.
최근의 비디오 생성 모델은 고화질 비디오를 합성할 수 있지만, 타당한 물리적 상호작용과 그로 인한 상태 전이(state transition)를 묘사하는 데 어려움을 겪고 있으며, 이는 로보틱스 및 VR/AR 응용 분야에서 중대한 병목 현상입니다. 이를 해결하기 위해, 본 연구에서는 제어 가능한 상호작용의 확장 가능한 합성 데이터셋을 생성하는 프레임워크를 소개합니다. 제안하는 파이프라인은 구조화된 분류 체계(taxonomy)와 최신 이미지 편집 모델을 활용하여 상호작용의 시각적 앵커(visual anchor) 역할을 하는 명시적인 '시작' 및 '종료' 상태 이미지를 생성합니다. 이러한 앵커를 활용해 매끄러운 비디오를 생성하기 위해, 단순한 조건부 생성에서 흔히 발생하는 아티팩트를 완화하는 새로운 샘플링 기법인 상태 유도 샘플링(State-Guided Sampling, SGS)을 제안합니다. 나아가, 데이터 품질을 보장하기 위해 인간의 판단과 일치하는 새로운 자동화 평가 시스템을 개발하고 검증합니다. 실험 결과, 본 데이터셋으로 베이스 모델을 미세조정(fine-tuning)하면 타당한 상호작용을 생성하는 능력이 크게 향상됨을 보여줍니다.
제어 장벽 함수(Control Barrier Function, CBF)는 비선형 동역학 시스템의 안전성을 보장하기 위해 널리 쓰이는 안전 필터이다. 그러나 시스템에 불확실성과 외란이 존재할 때는 CBF의 강건(robust) 변형을 사용해야 하는데, 이러한 변형은 구성하기 어려울 수 있으며 특히 입력 제약이 있는 고차원 시스템에서는 지나치게 보수적일 수 있다. 본 연구에서는 이러한 문제를 해결하기 위한 새로운 접근법으로, 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials, LEAP)을 제안한다. LEAP은 주어진 상태가 외란에 대해 갖는 강건성을, 외란이 실패를 일으키기 위해 필요한 노력의 크기로 정량화하는 인증서(certificate)이다. 우리는 LEAP이 외란이 없는 시스템에 대한 CBF임을 보이는 동시에, 누적 노력이 제한된 외란에 대해 강건한 안전 필터를 구성하는 데에도 사용될 수 있음을 보인다. 또한 온-정책(on-policy) 심층 강화학습(deep reinforcement learning)으로 LEAP을 구성하는 방법을 제안한다. 이어서 외란과 불확실성이 있는 다양한 멀티 에이전트 시스템에 대한 시뮬레이션에서 LEAP을 시연한다. 마지막으로, 사족보행 로봇과 쿼드로터를 이용한 하드웨어 실험을 통해 LEAP이 실제 로봇 시스템의 외란과 불확실성을 다루는 데 적합함을 검증한다.
오픈어휘 시각적 그라운딩(visual grounding)은 사전 정의된 지각 분류체계(taxonomy)에 의존하지 않고 자연어 쿼리로부터 과제 관련 개체의 위치를 특정함으로써 로봇이 작업할 수 있게 한다. 그러나 기존 벤치마크는 대부분 짧은 카테고리 라벨과 웹에서 수집한 이미지에 의존하여, 오픈어휘 모델이 실제 배포 환경에서 다양한 쿼리와 시각적 조건 하에 견고하게 그라운딩할 수 있는지는 불분명하다. 본 논문은 이종의 실세계 환경에서 오픈어휘 시각적 그라운딩을 위한 프롬프트 조건 벤치마크인 Pro-Bench를 제안한다. Pro-Bench는 독립적인 로봇 도메인(지하, 산업, 실내, 실외, 도시)의 $13k+$ RGB 프레임, $74.5k$ 수동 인스턴스 어노테이션, 범주적·속성·관계·affordance·상태·부분-전체·부정·합성 의미를 아우르는 $515$개 타깃 쿼리를 포함한다. $16$개 오픈어휘 모델 구성을 엄격한 제로샷 추론으로 벤치마킹하여 IoU 임곗값별 위치 특정 정확도, end-to-end 추론 지연, 프롬프트에 따른 성능 변동, 타깃 복구 일관성을 측정했다. 결과에 따르면 프롬프트 강건성은 아키텍처에 강하게 의존한다. 대부분의 모델 구성($10/16$)은 짧은 카테고리 라벨에서 최고 성능을 보이는 반면, 자유 형식 쿼리가 최고 정확도를 내는 경우는 하나뿐이다. 또한 유사한 집계 mAP가 쿼리 재표현에 따른 일관된 타깃 복구의 상당한 차이를 가릴 수 있다. Pro-Bench는 이러한 격차를 체계적으로 평가할 수 있게 하며 프롬프트 강건 시각적 그라운딩을 지원한다. Pro-Bench: https://pro-bench.github.io/.
이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.
인간 중심 환경에서 동작하는 로봇은 일반적으로 명시적 지시를 수행하도록 설계되며, 대부분의 로봇 학습 데이터셋 역시 관측을 작업 지시나 저수준 행동과 짝지어 구성한다. 최근 연구들이 선제적(proactive) 체화 보조(embodied assistance)를 탐구하기 시작했지만, 기존 자원들은 서로 다른 설정과 행동 수준을 대상으로 하여 실세계의 인간 중심 멀티모달 의사결정은 여전히 충분히 탐구되지 않은 상태이다. 우리는 이 문제를 \textit{선제적 로봇 행동 추론}(\textit{ProRobo})으로 정식화하는데, 이는 로봇이 명시적인 행동 지시 없이 인간 및 환경의 멀티모달 단서에 기반하여 어떤 행동을 취할지 결정해야 하는 상위 인지적 의사결정 문제이다. ProRobo를 지원하기 위해, 우리는 다섯 가지 일반적인 장면 속 12가지 일상생활 시나리오에 걸쳐 시각적 관측, 오디오 신호, 텍스트 입력으로 구성된 1만 개(10K) 샘플을 포함하는 실세계 멀티모달 데이터셋 \textit{ProAction}을 소개한다. 인지적으로 근거 있는 상위 수준 행동 지도(supervision)를 구성하기 위해, 우리는 평가(appraisal) 기반 후보 생성과 정서적 마음 이론(Affective Theory-of-Mind) 기반 인간 정제를 결합한 2단계 인간 참여(human-in-the-loop) 파이프라인을 개발하였으며, 인간의 상태, 긴급성, 실행 가능성, 잠재적 위험에 대한 맥락적 판단을 행동 주석에 명시적으로 반영한다. 이러한 지도를 바탕으로, 우리는 대표적인 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)들을 벤치마크하고, 멀티모달 관측에서 인지적으로 근거 있는 상위 수준 행동으로의 매핑을 암묵적으로 학습하는 참조 모델인 \textit{MMC2Act}를 소개한다. 모달리티 설정, 피험자 비중첩(subject-disjoint) 일반화, 데이터셋 간 전이, 그리고 인간 평가에 걸친 실험 결과, 범용 MLLM은 멀티모달 단서로부터 상위 수준 행동을 선제적으로 추론하는 데 어려움을 겪는 반면, \textit{ProAction}으로 학습할 경우 성능이 크게 향상됨을 보여준다.
AI는 지식, 추론, 계획 생성을 통해 평가되지만, 과학적 에이전시(scientific agency)는 신뢰할 수 있는 물리적 행동과 증거에 대한 적응을 요구한다. 본 연구에서는 과학적 에이전시를 측정 가능하게 하기 위해 로봇 화학 실험실을 물리 세계 테스트베드로 사용한다. 기계 판독 가능한 스킬(machine-readable skills)로 노출된 45개의 모듈형 워크스테이션을 통해 4,608회의 시험이 수행되었다. 실험실 제약 조건 하에서 전문가 평가를 거친 실행 가능한 워크플로를 생성한 시험은 3.3%에 불과했으며, 최고 성능 시스템조차 28.1%에 그쳤다. 장기 호라이즌 계획(long-horizon planning)은 여전히 과제로 남아 있었다. 실행 가능한 워크플로 중 30개 이상의 작업을 포함한 것은 단 3개뿐이었으며, 가장 긴 것은 44개였다. 5라운드에 걸쳐 실험 피드백은 국소적 조정을 유발했지만, 워크플로 수준의 재계획이나 분석 방법 재설계는 이루어지지 않았다. 물리적 실행 가능성과 증거 기반 재계획을 측정 가능하게 함으로써, 본 연구는 배포 준비도에 대한 증거 기반 평가와 물리적으로 그라운딩된(physically grounded) 자율 연구를 향한 폐루프(closed-loop) 개선을 안내하는 진단 프레임워크를 제공한다.
후각 학습 데이터는 이질적이고 표준화되지 않은 여러 데이터셋에 분산되어 있어, 대표적인 세계 모델(world model)을 구축하는 능력을 제한한다. 후각 내비게이션은 매우 동적이고 비정상(non-stationary)적인 과제로, 실시간 지속 학습(continual learning)에 이점이 있다. 우리는 세계의 복잡성에 대응하여 정책(policy)의 초기 층을 성장(growing), 가지치기(pruning), 동결(freezing)함으로써 에이전트가 지속적으로 학습할 수 있게 하는 적응형 프레임워크인 Grow-Prune-Freeze(GPF) 네트워크를 제안한다. GPF를 비선형 랜덤 행렬 이론(non-linear random matrix theory)에 기반을 두고, Pennington & Worth (2017)의 연구를 단일 은닉 층에서 n-층 지속 학습 모델로 확장할 수 있음을 보이며, 연속적인 층이 추가될 때 네트워크 가중치의 고유값(eigenvalue) 구성이 보존됨을 보인다. Expected SARSA 기반 GPF가 난류 플룸(turbulent plume) 내비게이션에서 94%의 성공률을 달성함을 보이는데, 이는 부분 관측 가능(partially observable)하고 비정상적인 과제로 로봇공학에서 적응형 학습을 동기 부여하는 "big world" 도전을 대표한다. 또한 다른 세계 모델에 GPF를 적용하기 위한 지원 방법론을 제공한다. 추가 실험은 GPF가 Atari에서의 강화학습, 이미지 분류, 자기회귀(autoregressive) 언어 모델 등 다른 머신러닝 과제로도 잘 일반화될 수 있음을 뒷받침하는 증거를 제공한다. 우리는 후각 로봇공학에서의 개선과 더 많은 연구를 장려하기 위해 모든 코드와 데이터를 오픈소스로 공개한다.
로봇 동작을 위한 안전한 물리 AI는 성공할 가능성이 높을 뿐만 아니라 실행 전에 안전성이 검증되어야 한다. 그러나 실제로는 동작 매개변수에 대한 공식적 테스트가 계산 비용이 크며, 그 비용은 동작 공간의 차원에 따라 불리하게 증가한다. 제안된 동작이 테스터에 의해 거부되면, 단순한 대응은 합격하는 후보를 찾을 때까지 무작위로 재샘플링하는 것이다. 이는 낭비적이고 정보가 없으며 수렴을 제공하지 않는다. 우리는 거부가 대신 인과 진단을 촉발해야 한다고 주장한다. 즉, 어떤 동작 매개변수가 실패를 일으켰는지, 그리고 개입적(interventional) 확률 분포 하에서 테스트 통과 확률을 최대화하는 교정 값이 무엇인지를 원칙적으로 식별하는 것이다. 우리는 Joint Probability Tree(JPT)와 Marginal-Deterministic Variable Tree에서 파생된 Causal Circuit을 결합하는 폐루프 프레임워크를 제안하며, 재학습이나 추가 데이터 수집 없이 정확한 다항 시간 계산을 가능하게 한다. 이 프레임워크는 로봇이 작동을 시작하기 전에 모든 개입적 쿼리의 계산 가능성(tractability)을 검증하며, 지원 범위를 벗어난(out-of-support) 후보는 자동으로 감지되어 교정에서 제외된다. ROS2 시뮬레이션 환경에서 실험을 수행했으며, 프레임워크는 분포 품질에 따른 상보적 역할을 보여준다. 고품질 JPT 하에서 Causal Circuit은 실패 시도를 10.3% 줄였고, 저하된 JPT 하에서는 총 실패 시도를 37% 줄였다. 거부된 모든 계획은 주요 원인 변수, 관측된 값, 권장 교정 영역을 명시하는 구조화되고 해석 가능한 인과 보고서를 생성하며, 별도로 학습된 실패 모델 없이 운영자 감독과 자율 복구를 지원한다.
최근 몇 년간 사전학습-파인튜닝 패러다임은 인공지능 연구에서 수많은 변혁적인 발전을 이끌어왔다. 그러나 로봇 로코모션을 위한 강화학습(RL) 분야에서는, 동일한 로봇 embodiment에 속하는 모든 과제별 정책들 간에 일반화 가능한 지식이 공유될 가능도가 높음에도 불구하고 개별 기술을 종종 처음부터 학습한다. 본 연구는 이러한 지식을 담아내고, Proximal Policy Optimization(PPO)과 같은 고전적인 액터-크리틱 알고리즘에서 RL 과정을 warm-start할 수 있는 기반으로 이후 활용될 수 있는 신경망 모델의 사전학습 패러다임을 정의하는 것을 목표로 한다. 우리는 과제에 무관한 탐험 기반 데이터 수집 알고리즘으로 시작하여 다양하고 동적인 전이(transition) 데이터를 수집하며, 이를 지도 학습을 통해 Proprioceptive Inverse Dynamics Model(PIDM)을 학습하는 데 사용한다. 사전학습된 가중치는 그다음 액터 및 크리틱 네트워크 양쪽에 로드되어 실제 과제의 정책 최적화를 warm-start한다. 제안 방법을 3가지 서로 다른 로봇 embodiment로 구성된 9개의 서로 다른 로봇 로코모션 RL 환경에서 체계적으로 검증하였으며, 이 초기화 전략의 상당한 이점을 보였다. 제안 접근법은 무작위 초기화와 비교하여 평균적으로 샘플 효율을 36.2%, 과제 성능을 4.3% 향상시킨다. 또한 본 방법의 효과성 이면의 메커니즘을 밝히는 핵심 ablation 연구 및 실증 분석을 제시한다.
로봇은 자신의 몸 상태를 이해해야 하지만, 카메라는 그 일부만 볼 수 있다. 힘과 접촉은 단일 프레임에서 거의 흔적을 남기지 않으며, 우리가 시험한 모든 로봇에서 원시 시각 특징은 힘을 $R^2$ 0.10 이하에서만 읽어낸다. 우리는 Kepler-Encoder-v0.1을 제안한다. 이는 로봇 우선(robot-first) 멀티모달 인코더로, 로봇 상태를 하나의 모달리티로 취급하고 시각, 고유수용감각(proprioception), 힘/토크를 학습된 쿼리(learned-query) 교차 어텐션(cross-attention) 층으로 단일 공유 잠재(latent)에 융합하며, LeJEPA/SIGReg 목적 함수 하에서 마스크 교차모달 예측으로 자기지도(self-supervised) 학습된다. 평가 시에는 시각만 입력되며, 이는 날카로운 질문을 제기한다. 학습에 상태를 융합하면 시각 전용 잠재가 픽셀이 이미 담고 있지 않은 무언가를 품게 되는가? RH20T 코퍼스에서 답은 긍정적이며, 정확히 카메라가 가장 약한 지점에서 그렇다. 보류(hold-out) 장면에서 시각 전용 잠재는 엔드 이펙터(end-effector) 상태, 특히 힘을 복원하며, 모든 센서 장착 로봇에서 원시 frozen-ViT 특징과 연산량을 맞춘(compute-matched) 시각 전용 대조군 모두를 유의미하게 능가한다. 다만 단일 타임스텝에서의 절대적 힘 복원은 미미하다. 카메라가 대체로 볼 수 있는 모터 상태에서는 가장 강한 시각 베이스라인과 통계적으로 동등하며, 잠재 기하가 상태를 추적하는 유일한 특징이다. 단일 embodiment-agnostic(형태 독립) 인코더가 네 대의 로봇을 포괄하며, 데이터를 맞춘 대조 실험은 이러한 폭이 데이터량이 아니라 embodiment 다양성을 반영함을 보여준다. 동결(frozen)된 잠재는 직접적으로 유용하다. 그 자체의 교차모달 예측 오류는 학습 없이(training-free) 무효 상태 감시기(invalid-state monitor)로 작동하며(범위 초과 상태에서 AUROC $0.90$, 장면 교체(scene-swapped) 상태에서 $0.69$), 확산(diffusion) 디코더(PixNerd)가 잠재에서 카메라 프레임을 재구성하여 공간 압축이 세계 상태(world-state)를 보존함을 확인한다. 이 보고서는 단일 타임스텝 사례를 검증한다. 네이티브 속도(native-rate) 시간적 융합이 다음 단계이다.
3D 씬 그래프(3DSG)는 체화(embodied) 에이전트에게 필수적인 구조화 표현을 제공하지만, 기존 Ahead-of-Time 방식, 즉 전체를 구축한 뒤 필터링하는 파이프라인은 엣지 플랫폼의 실시간·저지연 요구와 상충하며, 심각한 관측 중복을 통해 지각 포화(perceptual saturation) 효과를 유발한다. 이를 해결하기 위해 JITOMA(Just-In-Time On-demand Memory Activation)를 제안한다. 이는 작업 추론, 지각(perception), 메모리를 적시 성장 과정으로 통합하는 폐루프(closed-loop) 프레임워크이다. 환경 전체를 빠짐없이 매핑하는 대신, JITOMA는 프론트엔드에서 top-down 작업 히트맵을 활용해 연속 관측을 필터링하고, 최소한의 스트림만 라우팅하여 저비용·휴면(dormant) 앵커로 구성된 전역 기반을 유지한다. 인지적 쿼리가 발생하면, 백엔드 대규모 언어 모델(LLM)이 로봇 의도를 파싱해 작업 관련 앵커를 동적으로 활성화하고, dense 노드 캡셔닝 및 기능 추론과 같은 자원 집약적 연산을 활성화된 국소 서브그래프 내부에서만 트리거한다. 이러한 동적 능력을 평가하고 지각 포화 트레이드오프를 연구하기 위해, 장기 멀티태스킹과 복잡한 다단계 추론을 위한 종합 벤치마크 스위트인 JITOMA-Bench를 도입한다. 광범위한 실험 결과, JITOMA는 활성 그래프 크기와 캡셔닝 지연을 크게 줄이면서, 장기 작업 전환 하에서도 안정적인 처리 시간을 유지함을 보여준다.
본 논문은 기존에 구현된 교육용 로봇공학 프로젝트를 바탕으로 검색-증강 생성(RAG) 기반 대화형 AI 어시스턴트를 통합한 하이브리드 교육 프레임워크인 Earthquaker-AI를 제시한다. 이는 초등학생의 지진 대비 태도와 의식적 행동을 향상시키는 것을 목표로 한다. 이 시스템은 수상 경력이 있는 STEM 프로젝트 Earthquaker를 확장하여 Lego WeDo2를 이용한 기계적 시뮬레이션에서 인지 및 메타인지 처리로 나아간다. 로봇공학 구성 요소는 Lego WeDo2 자동화를 사용하여 지진 반응을 시뮬레이션하며, 학생들이 센서와 액추에이터와 상호작용하면서 보호 행동의 구체적 표현을 경험하게 한다. 어시스턴트는 유도 학습 메커니즘으로 작동하여 학생의 응답을 안전 지침과 정렬하고, 동시에 자기조절 학습과 비상 상황에서의 침착함을 지원하는 루브릭 기반 구두 피드백을 제공한다. Earthquaker-AI는 인지 발달에 맞춘 점진적 학습 궤적을 따른다. 저학년에서는 객관식 문항을 통해 안전 행동의 기본 인식에 초점을 두며, 2차원 루브릭으로 평가한다. 중학년에서는 학생들이 객관식 문항을 통해 올바른 행동 순서를 식별하며, 3축 루브릭으로 평가한다. 고학년에서는 접근 방식이 구두 산출로 전환되어, 표현의 명확성을 포함하는 4차원 루브릭으로 평가되는 짧은 서면 응답을 요구한다. 대화 모듈은 RAG를 사용하여 학생 질의를 공식 지침과 의미적으로 매칭하고, 안전하고 정확한 응답을 생성한다. 실험 평가는 높은 그라운딩(groundedness)과 정확도, 낮은 환각(hallucination) 비율을 보여준다. 전반적으로 Earthquaker-AI는 직접 체험형 참여, 정보 처리, 성찰적 실습을 결합한다. 로봇공학, 루브릭, AI의 결합은 기술 리터러시, 자기조절, 디지털 시스템의 책임 있는 사용을 촉진하여 조기 위기 관리 능력에 기여한다.
$IFOL_B$에 기반한 신경-기호 AI는 자기참조(self-reference)를 위한 형식 논리 장치와 함께 신경 학습과 기호 추론을 결합하여, 해석 가능성 부족과 논리 구조 부족 등 순수 신경 시스템의 한계를 극복하는 방법이다. 본 논문에서는 $IFOL_B$에 대한 Nilsson의 확률 구조를 바탕으로, 현재 알려지지 않은 문장에 대한 확률 계산을 이용하여 $IFOL_B$의 인지 능력을 확장한다. 우리는 현재 지식 데이터베이스와 논리적 연역을 보존하는 전역 대칭 변환, 그리고 $IFOL_B$ 술어의 매우 엄격한 부분집합만을 포함하는 구체적 (부분)문제에 대한 실시간 결정에 사용되는 국소 대칭 변환을 도입한다. 두 경우 모두 Shannon의 최대 정보 엔트로피에 기반한 확률 밀도 함수 $KI$의 계산은, 이 확률적 신경-기호 AGI의 신경망에 의해 제공된다.
대규모 물리 상호작용 데이터의 확보는 현대 로봇 학습의 핵심 전제 조건이지만, human-in-the-loop 수집 패러다임의 기하급수적인 비용과 확장성 한계로 인해 심각한 병목에 직면해 있다. 이 장벽을 허무르기 위해, 우리는 수집 사이클에서 인간 개입을 완전히 제거하는 완전 자율·폐루프 데이터 생성 엔진인 Robust Autonomous Data Acquisition for Robotics(RADAR)를 제안한다. RADAR는 인지 부하를 4개 모듈 파이프라인으로 우아하게 분할한다. 2~5개의 3D 인간 시연을 기하학적 사전지식으로 삼아, 비전-언어 모델이 먼저 정밀한 의미적 객체 그라운딩과 스킬 검색을 통해 장면 관련 과제 생성을 조율한다. 다음으로 그래프 신경망(GNN) 정책이 문맥 내 학습(ICL)을 통해 이러한 하위 과제를 물리적 행동으로 변환한다. 실행 후 VLM은 구조화된 시각적 질의응답(VQA) 파이프라인을 사용하여 자동화된 성공 평가를 수행한다. 마지막으로 수동 리셋의 병목을 깨기 위해, 유한 상태 기계(FSM)가 자율 환경 리셋과 비대칭 데이터 라우팅 메커니즘을 조율한다. 엄격한 후입선출(LIFO) 인과 시퀀스를 가진 동시 순방향-역방향 계획에 의해 구동되어, 시스템은 비구조화된 작업 공간을 매끄럽게 복원하고 실행 실패로부터 견고하게 복구한다. 이러한 지속적인 뇌-소뇌 시너지는 데이터 수집을 자체 지속 가능한 프로세스로 전환한다. 광범위한 평가는 RADAR의 탁월한 범용성을 부각한다. 시뮬레이션에서 우리 프레임워크는 복잡하고 장기적인 과제에서 최대 90%의 성공률을 달성하며, 전통적 베이스라인의 성능이 거의 0에 가까워지는 난제를 손쉽게 해결한다. 실제 환경 배포에서 시스템은 도메인 특화 미세조정 없이 퓨샷(few-shot) 적응을 통해 다양한 접촉 중심 스킬(예: 가변형 객체 조작)을 안정적으로 실행하며, 로봇 데이터 확보를 위한 고도로 확장 가능한 패러다임을 제공한다.
강화학습은 로봇 연구 분야를 혁신하며, 시뮬레이션에서 복잡한 로봇 기술의 견고한 학습을 가능하게 했다. 그러나 개방형 환경에서의 실세계 배포는 위험하거나 해로운 행동을 방지하기 위해 강력한 안전성 보장이 필요하다. 안전 강화학습 방법은 안전 제약을 강제함으로써 이러한 요구를 해결한다. 그럼에도 불구하고, 제약 하에서의 학습은 종종 학습 속도를 저하시키고 최적이 아닌 과제 성능으로 이어질 수 있는데, 이는 에이전트가 제약 없는 설정에 비해 더 복잡한 제약 최적화 문제를 풀어야 하기 때문이다. 이 문제를 해결하기 위해, 본 연구에서는 기존 강화학습 알고리즘과 통합되어 시스템의 사전 지식에서 유도되거나 데이터로부터 직접 학습된 제약을 강제할 수 있는 최신의 신뢰할 수 있는 안전 층인 ATACOM 프레임워크의 확장을 제안한다. 제안 방법인 ATACOM Directional Constraints(ATACOM-DC)는 제약 경계에 접근하는 행동과 벗어나는 행동을 구분하는 방향성 제약을 도입하고, 필요할 때만 제약 강제를 활성화함으로써 안전성-성능 트레이드오프를 크게 개선한다. 시뮬레이션에서 다양한 도전적인 로봇 제어 과제에 걸쳐 제안 방법을 평가하고, 제약 위반 비용과 달성한 과제 성능을 모두 분석한다. 코드 및 추가 자료는 https://atacom-dc.robot-learning.net 에서 확인할 수 있다.
우리는 비전-언어 모델(VLM)에서의 문맥 의존적 어포던스(affordance) 계산 현상을 규명한다. 주요 연구에서는 Qwen3-VL-30B-A3B를 사용하며(COCO-2017에서 추출한 7개의 에이전트 페르소나 하에 479개 이미지로 구성된 $n = 3{,}213$개의 장면-문맥 쌍), LLaVA-1.5-13B를 통한 교차 모델 복제 실험을 수행한다. 우리는 상당한 어포던스 드리프트를 실증한다: 문맥 조건 간 평균 Jaccard 유사도는 $0.095$(95% 신뢰구간 $[0.092, 0.097]$, $N = 479$개 이미지, $9{,}244$개 프라임 쌍, $p < 0.0001$)로, 어휘적 장면 기술의 90% 이상이 문맥 의존적임을 나타내며, LLaVA 복제 실험에서도 동일한 효과가 재현된다(평균 $J = 0.160$, 84% 문맥 의존적). 문장 수준 코사인 유사도는 의미적 수준에서의 드리프트를 확인한다(평균 $= 0.415$, 58.5% 문맥 의존적). 확률적 기준선 실험(4개의 온도 및 5개의 시드에 걸친 $2{,}384$회 추론 실행)은 이것이 생성 노이즈가 아닌 실제 문맥 효과를 반영함을 확인한다: 모든 조건에서 프라임 내 분산이 프라임 간 분산보다 현저히 낮다. 부트스트랩 안정성 분석($n = 1{,}000$회 리샘플링)을 동반한 Tucker 분해는 안정적인 직교 잠재 요인을 드러낸다: 요리사 문맥에 격리된 "Culinary Manifold"와 아동-이동성 대조를 아우르는 "Access Axis". 어휘적 측정(90%)과 의미적 측정(58.5%) 간의 격차는 문맥 전환 시 표면적 어휘가 기저 의미보다 더 많이 변화함을 나타낸다. 이러한 발견들은 로보틱스를 위한 방향을 제시한다: 정적 세계 모델링이 아닌 동적이고 쿼리 의존적인 온톨로지 투영(JIT 온톨로지). 우리는 처리 순서나 아키텍처적 우선성을 확립하려 주장하지 않으며, 그러한 주장은 출력 동작을 넘어서는 내부 표현 분석을 필요로 한다.
행동 복제(behavior-cloned) 확산 정책(diffusion policy)은 표현력이 뛰어나지만 공변량 시프트(covariate shift)에 취약하다는 문제가 있습니다. 시연된 상태에서 작은 이탈이 발생해도 이것이 누적되어 태스크 실패로 이어질 수 있습니다. 기존 방법들은 전문가 교정이나 합성 증강을 통해 학습 분포를 확장하거나, 학습된 모델의 가이던스를 이용해 고정된 정책을 테스트 타임에 조정하는 방식으로 이 문제를 해결합니다. 전자는 비용이 많이 들거나 가정에 의존적일 수 있고, 후자는 실행 후 교정된 궤적을 폐기합니다. 우리는 가이드된 롤아웃(rollout)을 재사용 가능한 온-정책 복구 데이터로 활용하는 자기 개선 프레임워크인 ReGuide를 소개합니다. ReGuide는 먼저 위상 조건부 가이던스(PCG, Phase-Conditioned Guidance)를 사용하여 교정 롤아웃을 생성합니다. 이 방법은 위상별 잠재 타겟(latent target)을 구성하고, 이탈했지만 복구 가능한 구간에서만 가이던스를 적용하며, 추정된 클린 액션(clean action)을 통해 가이던스를 수행하여 동역학 모델의 학습 분포에 맞춥니다. 성공적인 가이드 롤아웃은 현재 체크포인트를 파인튜닝하는 ReGuide-FT 또는 증강된 데이터셋으로 처음부터 재학습하는 ReGuide-FS를 통해 정책에 다시 흡수됩니다. 두 방법은 조합하여 반복 적용할 수도 있습니다. Robomimic의 Can, Square, Transport, Tool Hang 태스크에서 ReGuide는 기본 정책의 성공률을 $1.3$--$7.7\times$ 향상시키고, 테스트 타임 전용 설정에서 LPB를 능가하며, 동일 데이터 비교 실험(ablation)은 성능 향상이 추가 롤아웃 자체보다 가이드된 복구 데이터에서 비롯됨을 보여줍니다.