PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.15397v2cs.RO

ActionCodec: 무엇이 좋은 액션 토크나이저를 만드는가

ActionCodec: What Makes for Good Action Tokenizers

비전-언어 모델(VLM)의 고유한 자기회귀(autoregressive) 패러다임을 활용하는 비전-언어-행동(VLA) 모델은 뛰어난 인스트럭션 추종(instruction-following) 능력과 학습 효율성을 입증해 왔습니다. 이 패러다임의 핵심은 액션 토큰화(action tokenization)이지만, 기존 설계는 주로 재구성 충실도(fidelity)에만 집중하여 VLA 최적화에 미치는 직접적인 영향을 다루지 못했습니다. 그 결과, '무엇이 좋은 액션 토크나이저를 만드는가'라는 근본적인 질문은 여전히 답을 찾지 못한 채 남아 있습니다. 본 논문에서는 VLA 최적화의 관점에서 구체적인 설계 원칙을 정립함으로써 이러한 격차를 해소합니다. 정보이론적 통찰을 바탕으로 시간적 토큰 중첩 극대화, 어휘 중복 최소화, 다중 모달(multimodal) 상호 정보량 강화, 토큰 독립성을 포함한 모범 사례들을 식별합니다. 이러한 원칙에 따라, 다양한 시뮬레이션 및 실제 환경 벤치마크 전반에서 학습 효율성과 VLA 성능을 모두 크게 향상시키는 고성능 액션 토크나이저인 ActionCodec을 소개합니다. 특히 LIBERO에서 ActionCodec으로 파인튜닝된 SmolVLM2-2.2B는 어떠한 로보틱스 사전학습 없이도 95.5%의 성공률을 달성합니다. 고급 아키텍처 개선을 적용하면 97.4%에 도달하여, 로보틱스 사전학습이 없는 VLA 모델에 대한 새로운 SOTA를 기록합니다. 본 연구에서 정립한 설계 원칙과 공개된 모델이 연구 커뮤니티가 더 효과적인 액션 토크나이저를 개발할 수 있도록 명확한 로드맵을 제공할 것으로 기대합니다.

arXiv:2607.21670v1cs.RO

시각-운동 정책 학습을 위한 순서화된 액션 토큰

Ordered Action Tokens for Visuomotor Policy Learning

액션 토큰화는 연속적인 로봇 액션 청크를 이산 토큰으로 매핑하며, 현대 시각-운동 정책을 위한 중요한 인터페이스가 되었다. 기존 접근법은 지나치게 긴 토큰 시퀀스를 생성하는 해석적 이산화 방법에 의존하거나, 구조가 부족한 학습된 잠재 토크나이저에 의존하는데, 이는 하류 정책과의 호환성을 제한한다. 본 연구에서는 액션 토큰화를 위한 세 가지 요구 조건—높은 압축, 완전한 디코딩 가능성, 순서가 있는 토큰 공간—을 제시하고, 세 가지를 모두 만족하는 학습 기반 액션 토크나이저인 Ordered Action Tokenization(OAT)을 소개한다. OAT는 레지스터를 갖춘 트랜스포머, 유한 스칼라 양자화, 순서 유도 학습 메커니즘을 사용하여 액션 청크를 순서화된 토큰 시퀀스로 이산화한다. 각 토큰 접두 문맥이 유효한 액션 청크로 디코딩되도록 학습함으로써, OAT는 초기 토큰에 거친 제어 정보를 배치하고 후속 토큰으로 잔차 세부 정보를 정제하여, 추론 비용과 액션 충실도 사이의 anytime 트레이드오프를 제공한다. OAT를 액션 토큰의 두 가지 주요 활용—제어를 위해 토큰을 생성하는 자기회귀(autoregressive) 정책, 토큰 손실로 플로우 기반 액션 전문가가 소비하는 비전-언어 모델 컨텍스트를 형성하는 토큰 공동학습(co-training) 정책—에서 검증한다. 세 가지 정책 백본과 다섯 개의 시뮬레이션 벤치마크 및 실제 환경에 걸친 60개 이상의 과제에서 OAT는 강력한 정책 성능을 일관되게 제공하면서 추론 시점에 훨씬 더 큰 유연성을 제공한다.