menlo.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2607.13522v1cs.RO

Kepler-Encoder-v0.1: 로봇을 위한 멀티모달 임베딩 모델을 향하여

Kepler-Encoder-v0.1: Towards a Multimodal Embedding Model for Robots

로봇은 자신의 몸 상태를 이해해야 하지만, 카메라는 그 일부만 볼 수 있다. 힘과 접촉은 단일 프레임에서 거의 흔적을 남기지 않으며, 우리가 시험한 모든 로봇에서 원시 시각 특징은 힘을 $R^2$ 0.10 이하에서만 읽어낸다. 우리는 Kepler-Encoder-v0.1을 제안한다. 이는 로봇 우선(robot-first) 멀티모달 인코더로, 로봇 상태를 하나의 모달리티로 취급하고 시각, 고유수용감각(proprioception), 힘/토크를 학습된 쿼리(learned-query) 교차 어텐션(cross-attention) 층으로 단일 공유 잠재(latent)에 융합하며, LeJEPA/SIGReg 목적 함수 하에서 마스크 교차모달 예측으로 자기지도(self-supervised) 학습된다. 평가 시에는 시각만 입력되며, 이는 날카로운 질문을 제기한다. 학습에 상태를 융합하면 시각 전용 잠재가 픽셀이 이미 담고 있지 않은 무언가를 품게 되는가? RH20T 코퍼스에서 답은 긍정적이며, 정확히 카메라가 가장 약한 지점에서 그렇다. 보류(hold-out) 장면에서 시각 전용 잠재는 엔드 이펙터(end-effector) 상태, 특히 힘을 복원하며, 모든 센서 장착 로봇에서 원시 frozen-ViT 특징과 연산량을 맞춘(compute-matched) 시각 전용 대조군 모두를 유의미하게 능가한다. 다만 단일 타임스텝에서의 절대적 힘 복원은 미미하다. 카메라가 대체로 볼 수 있는 모터 상태에서는 가장 강한 시각 베이스라인과 통계적으로 동등하며, 잠재 기하가 상태를 추적하는 유일한 특징이다. 단일 embodiment-agnostic(형태 독립) 인코더가 네 대의 로봇을 포괄하며, 데이터를 맞춘 대조 실험은 이러한 폭이 데이터량이 아니라 embodiment 다양성을 반영함을 보여준다. 동결(frozen)된 잠재는 직접적으로 유용하다. 그 자체의 교차모달 예측 오류는 학습 없이(training-free) 무효 상태 감시기(invalid-state monitor)로 작동하며(범위 초과 상태에서 AUROC $0.90$, 장면 교체(scene-swapped) 상태에서 $0.69$), 확산(diffusion) 디코더(PixNerd)가 잠재에서 카메라 프레임을 재구성하여 공간 압축이 세계 상태(world-state)를 보존함을 확인한다. 이 보고서는 단일 타임스텝 사례를 검증한다. 네이티브 속도(native-rate) 시간적 융합이 다음 단계이다.