arXiv:2606.19914v1 cs.RO

Co-policy: 음악 연주를 위한 반응형 인간-로봇 공동 창작

Co-policy: Responsive Human-Robot Co-Creation for Musical Performances

Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

제출 2026-06-18

한국어 초록

예술은 오랫동안 인간 창의성의 핵심적인 표현이었습니다. 구현형 인공지능(Embodied AI)은 생성 모델이 비물리적 디지털 콘텐츠가 아닌 물리적 행동을 통해 그 창의성에 참여할 수 있는 경로를 제공합니다. 로봇 음악 공동 창작에서, 의미적 음악 이해를 실시간 및 물리적으로 실행 가능한 연주와 연결하는 것은 어려운 과제입니다. 우리는 의미적 의도 그라운딩(grounding), 제약된 음악 변형, 시각-운동 실행을 분리하는 인간-로봇 음악 공동 창작 프레임워크인 Co-policy를 제안합니다. 음악 의미론을 그라운딩하기 위해 Co-policy는 사전 추론(pre-inference) 시맨틱 앵커와 파인튜닝된 Qwen-vl 플래너(F-Qwen)를 사용하여 음성, 라이브 음악 시드(musical seeds), 시각적 관찰을 구조화된 공동 창작 계획으로 변환합니다. 저지연 실행을 지원하기 위해 Co-policy는 단일 순전파(forward pass)에서 목표 음표와 시각적 컨텍스트(context)를 멀티모달 로봇 행동으로 매핑하는 조건부 혼합 밀도 정책(conditional mixture-density policy)으로 구현된 가우시안 혼합 시각-운동 정책(GMP)을 도입합니다. 사용자가 지정한 음표를 단순히 재생하는 로봇 재생 시스템과 달리, Co-policy는 음악적 및 물리적 제약 조건 모두에서 상호 보완적인 음악적 응답을 생성합니다. 실제 로봇 차임(chime) 실험, 제거 실험(ablations), 전문가 평가는 diffusion-policy 및 제거된 기준 모델(ablated baselines) 대비 개선된 의도 정렬(alignment), 실행 정확도, 응답 빈도를 보여주며, 이는 물리적으로 그라운딩된 행동 생성이 구현형 인간-AI 공동 창작의 핵심 요구 사항임을 뒷받침합니다.

원문 초록

Art has long stood as a pivotal expression of human creativity. Embodied artificial intelligence offers a route for generative models to participate in that creativity through physical action rather than disembodied digital content. In robotic music co-creation, it is challenging to connect semantic musical understanding with real-time and physically executable performance. We present Co-policy, a framework for human-robot musical co-creation that separates semantic intent grounding, constrained musical variation, and visuomotor execution. To ground musical semantics, Co-policy uses pre-inference semantic anchors and a fine-tuned Qwen-vl planner (F-Qwen) to transform speech, live musical seeds, and visual observations into structured co-creation plans. To support low-latency execution, Co-policy introduces a Gaussian-Mixture Visuomotor Policy (GMP), implemented as a conditional mixture-density policy that maps target notes and visual context to multimodal robot actions in a single forward pass. Unlike robotic playback systems that merely reproduce user-specified notes, Co-policy generates complementary musical responses under both musical and physical constraints. Real-robot chime experiments, ablations, and expert evaluation show improved intent alignment, execution accuracy, and response frequency over diffusion-policy and ablated baselines, supporting physically grounded action generation as a key requirement for embodied human-AI co-creation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19914v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13628v1cs.RO공통 태그 Imitation Learning, Continuous Control, human-robot interaction

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.13816v1cs.RO공통 태그 Reinforcement Learning, Imitation Learning, Continuous Control

Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.

arXiv:2610.10787v1cs.RO공통 태그 Reinforcement Learning, Continuous Control, embodied ai

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

arXiv:2610.03710v1cs.RO공통 태그 Reinforcement Learning, Imitation Learning, Continuous Control

EyeRobot 2.0: 손목 카메라 없이 정밀한 조작을 가능하게 하는 능동적 시선 제어

EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

인간의 시각 체계에서 영감을 받아, 단일 스테레오 카메라만으로 정밀한 양손 조작(bimanual manipulation)을 가능하게 하는 능동적 시선 제어(active gaze) 기반 프레임워크를 소개합니다. EyeRobot 2.0은 두 눈의 시점을 회전시켜 시선을 장면에 위치한 3D 주시점(fixation point)의 중심에 맞춤으로써 물리적으로 집중합니다. 그 결과로 얻은 영상은 이미지 중심부에 더 많은 시각적 토큰(token)을 할당하여 중심와 방식으로 처리되며, 연산 자원을 작업과 관련된 특징에 집중시킵니다. 이러한 능동적 시각 고정(Active Visual Fixation, AVF)은 작업 수행 중 정교하게 조율된 시선을 필요로 하므로, 본 연구에서는 계층적 방식으로 이를 구현합니다. 먼저 목표 물체를 조건으로 하는 하위 레벨 시선 서보잉(gaze servoing) 정책을 학습(training)한 후, 작업 진행 상황에 따라 주시 목표를 생성하는 타깃 선택기(target selector)를 학습합니다. 두 모듈 모두 실제 환경 데이터를 바탕으로 강화학습(RL)을 통해 학습됩니다. 첫 번째 모듈은 조밀한 기하학적 보상(reward)으로 학습되며, 두 번째 모듈은 행동 복제(BC) 그리퍼 정책과 함께 공동 학습되어 작업을 수행하는 동안 인간의 주시 순서와 유사한 주시 시퀀스를 발견할 수 있게 합니다. 또한 EyeRobot 2.0은 그리퍼 정보를 주시 기준의 SE(3) 좌표계로 정규화하여 학습해야 할 행동 분포의 크기를 축소함으로써 주시의 이점을 극대화합니다. 본 연구는 7개의 실제 환경 작업과 6개의 시뮬레이션 작업에 대해 원격 조작(teleoperation) 데이터를 수집하고, 동일한 데이터로 학습된 수동적 스테레오 및 1인칭+손목 카메라 정책과 EyeRobot 2.0을 비교하는 1,000회 이상의 실제 로봇 실험과 1,800회 이상의 시뮬레이션 실험을 수행했습니다. 표준 정책에서 손목 카메라를 제거하는 것은 큰 성능 저하를 초래하여, 수동적 스테레오만 사용할 경우 실제 환경 성공률이 52%에서 27%로 떨어집니다. EyeRobot 2.0은 스테레오 카메라만으로 이 격차를 좁혀 실제 환경에서 40%, 시뮬레이션에서 20% 수동적 스테레오보다 우수한 성능을 보였습니다. 또한 손목 시야가 확보된 경우 1인칭+손목 카메라 정책과 대등한 성능을 보였으며(69% 대 64%), 파지한 물체가 손목 카메라를 가릴 때는 성공률을 두 배 이상 끌어올렸습니다(48% 대 22%).

arXiv:2610.00360v1cs.RO공통 태그 Reinforcement Learning, Imitation Learning, Continuous Control

DexPolicy: 궤적 유도 기반 정밀 조작을 위한 스케줄링된 탐험

DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation

정밀 조작(dexterous manipulation)을 위한 강화학습(RL)은 손가락과 물체 간의 접촉을 찾아낸 다음 물체를 정밀하게 제어해야 하지만, 첫 번째 목표에 기여하는 행동 노이즈(action noise)가 두 번째 목표를 방해할 수 있습니다. 강화학습이 사람의 영상으로부터 손-물체 궤적을 정제하는 ViViDex와 같은 궤적 유도(trajectory-guided) 환경에서, 기준선(baseline) PPO 실행은 500만 스텝 후에도 초기 행동 노이즈 근처에서 종료되므로 탐험(exploration) 스케일을 명시적으로 제어할 필요성이 제기됩니다. DexPolicy는 손실(loss), 아키텍처, 보상(reward), 옵티마이저(optimizer) 설정을 고정한 채로, 탐험 스케일을 학습(training) 스텝의 명시적 함수로 만들어 넓은 탐험에서 좁은 탐험으로 점진적으로 감소(annealing)시킵니다. 본 연구에서는 세 가지 정책 최적화 설정을 다룹니다: PPO, 크리틱이 없는 GRPO 지속(continuation), 그리고 플로우 매개변수화 PPO 변형(FPO). 5개의 YCB 물체와 3개의 학습 시드에 걸쳐, 평균 결정론적 Target 성공률은 각각 49.4%에서 68.1%(FPO), 14.1%에서 45.4%(GRPO), 32.0%에서 35.7%(PPO)로 상승합니다. Inspire/RH56 손이 장착된 RealMan RM75 로봇 팔에서 물체-방법 조건당 하나의 학습된 모델(model)을 사용하여 3개의 물체에 대해 360회 시험한 결과, 평균 Target 성공률이 25.0%에서 85.0%(FPO), 10.0%에서 63.3%(GRPO), 8.3%에서 43.3%(PPO)로 향상되었습니다. PPO 구성 요소 스크리닝에서는 테스트된 옵티마이저 수축보다 노이즈 제어가 더 우세한 것으로 나타났으며, 선택된 PPO 스케줄은 세 가지 테스트 대상 물체에서 동일한 종단을 가진 선형 감쇠보다 더 높은 평균 Target 성공률을 산출합니다. 학습 리턴(return), 결정론적 Target 성공률, 실행 노이즈에 대한 허용 오차는 서로 분리되므로, 스케줄은 과제 및 정책 최적화 설정에 따라 의도된 실행 조건 하에서의 최종 과제 성공률로 평가되어야 합니다. 코드: https://github.com/AIGeeksGroup/DexPolicy. 웹사이트: https://aigeeksgroup.github.io/DexPolicy.

arXiv:2609.27450v1cs.RO공통 태그 Reinforcement Learning, Imitation Learning, Continuous Control

BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습

BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models

비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.