arXiv:2606.28323v1 cs.RO

DexCompose: 단일 손으로 다중 과제 조작을 위한 정교한 조작 정책 재사용

DexCompose: Reusing Dexterous Policies for Multi-Task Manipulation with a Single Hand

Dihong Huang, Zhenyu Wei, Zhuxiu Xu, Yunchao Yao, Sikai Li, Mingyu Ding

제출 2026-06-26

한국어 초록

정교한 조작 정책은 개별 기술을 해결할 수 있지만, 단일 손으로 여러 과제를 수행하기 위해 이를 구성하는 것은 여전히 어렵다. 기존 조작 기술 위에 새 과제를 추가하면 겹치는 손가락과 접촉 모드(contact mode)에 상충하는 요구가 자주 생겨, 기존 조작 결과를 유지하는 것과 새 결과를 실행하는 것 사이에 파괴적 간섭(destructive interference)이 발생한다. 우리는 DexCompose를 제안한다. 이는 명시적 손가락 수준 행동 소유(action ownership)를 통해 사전학습(pre-trained)된 정교한 조작 정책을 다중 과제 조작에 재사용하는 역할 인식(role-aware) 잔차(residual) 구성(composition) 프레임워크이다. 두 개의 사전학습된 전체 손(full-hand) 정책이 주어지면, DexCompose는 먼저 첫 번째 기술에서 성공적인 과제 후(post-task) 상태를 수집하고, 후보 손가락 마스크(finger mask)에 대해 해제(release) 테스트를 수행하여 확립된 기술 상태를 유지하는 데 필요한 손가락을 식별한다. 그다음 두 개의 비대칭 잔차 모듈을 학습한다: 과제 보존을 위한 경계가 있는(bounded) 잔차 안정화기(stabilizer), 그리고 동결(frozen)된 하류(downstream) 정책을 새 과제에 할당된 행동 부분공간(action subspace) 내에서만 적응시키는 컨텍스트 인식(context-aware) 잔차. 프레임워크를 4개의 물체 유지(object-retention) 기술과 4개의 하류 상호작용을 아우르는 16개의 복합 정교한 조작 과제에서 평가한다. DexCompose는 평균 77.4%의 복합 성공률을 달성하며, 이중 잔차(dual residual)를 갖춘 구조적 행동 소유가 기존 정책 연결(policy chaining)을 넘어 정교한 기술을 구성하는 유망한 방향을 제시함을 보여준다.

원문 초록

Dexterous manipulation policies can solve individual skills, but composing them to perform multiple tasks with a single hand remains challenging. Adding a new task on top of an existing manipulation skill often imposes conflicting demands on overlapping fingers and contact modes, causing destructive interference between preserving an existing manipulation outcome and executing a new one. We propose DexCompose, a role-aware residual composition framework that reuses pretrained dexterous policies for multi-task manipulation through explicit finger-level action ownership. Given two pretrained full-hand policies, DexCompose first collects successful post-task states from the first skill and performs release tests over candidate finger masks to identify which fingers are necessary for maintaining the established skill state. It then trains two asymmetric residual modules: a bounded residual stabilizer for task preservation, and a context-aware residual that adapts the frozen downstream policy only within the action subspace assigned to the new task. We evaluate the framework on 16 composite dexterous manipulation tasks spanning four object-retention skills and four downstream interactions. DexCompose achieves a 77.4% average composite success rate, demonstrating that structural action ownership with dual residuals offers a promising direction for composing dexterous skills beyond conventional policy chaining.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28323v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28258v1cs.RO공통 태그 Continuous Control, Transfer Learning, Multi-Task Learning

월드 모델을 활용한 일반화 가능한 로봇 삽입

Generalizable Robotic Insertion with World Models

다품종 환경에서의 로봇 조립에는 다양한 부품을 다룰 수 있는 적응형 시스템이 필요하지만, 현재의 접근법은 일반적으로 각 삽입 작업에 특화된 정책(policy)에 의존한다. 이러한 방식은 높은 성공률에 도달할 수 있으나, 새로운 문제에 시스템을 배포하는 과정이 번거롭고 시간이 많이 소요된다. 본 논문에서는 로봇의 고유수용성(proprioceptive) 정보와 손목에 장착된 카메라로 촬영한 원시 시각 관측을 결합하는 월드 모델(world model)을 활용한 일반화 가능한 삽입 프레임워크를 제안한다. 우리의 모델 기반(model-based) 접근법은 기하학적으로 다양한 부품으로 구성된 최대 90개의 삽입 작업에 대해 단일 월드 모델을 학습하며, 기하 형상을 알 수 없는 미학습 물체에 대해 제로샷 성공률 56%를 달성한다. 이는 모델-프리(model-free) 기준선의 7%와 비교되는 수치이다. 중요하게도, 학습 데이터셋에 포함되는 물체가 늘어날수록 성능이 향상되어 강력한 확장성을 보여준다. 마지막으로, 제외해 둔(held-out) 물체에 대해 범용(generalist) 모델을 파인튜닝하면 처음부터 학습하는 경우에 비해 데이터 효율성이 크게 향상되며, 경우에 따라서는 더 나은 점근적 성능을 달성한다. 우리가 아는 한, 이는 미학습 물체를 완전히 데이터 기반 방식으로 조립할 수 있는 최초의 시스템이며, 따라서 확장 가능하고 일반화 가능한 로봇 조립 시스템을 향한 중요한 진전을 의미한다.

arXiv:2609.27262v2cs.CL공통 태그 Transfer Learning, Multi-Task Learning

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2610.10648v1cs.LG공통 태그 Transfer Learning, Multi-Task Learning

알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.

arXiv:2610.11085v1cs.LG공통 태그 Continuous Control, Multi-Task Learning

DaCe-DT: 이종 태스크를 위한 적응형 프롬프트 및 궤적 보정을 통한 데이터 중심 오프라인 멀티태스크 강화학습

DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks

오프라인 멀티태스크 강화학습(Offline MTRL)은 사전에 수집된 데이터의 품질과 분포에 크게 의존합니다. 그러나 기존 방법들은 주로 알고리즘적 최적화에 집중하며, 학습 능력과 일반화 성능을 향상시키기 위한 데이터 수준의 개선에는 덜 주목해 왔습니다. 본 논문은 데이터 관점에서 Offline MTRL 성능을 제한하는 세 가지 핵심 병목 현상을 밝혀냅니다: (i) 다양한 태스크 복잡도 하에서 비효율적인 프롬프트(prompt) 길이 활용, (ii) 무작위로 샘플링된 프롬프트 세그먼트의 의미론적 무관성, (iii) 파편화되고 불연속적인 궤적(trajectory)으로 인해 유도되는 오해의 소지가 있는 지도(supervision). 이러한 문제를 해결하기 위해, 우리는 길이 제어 프롬프트 마스킹(LGPM), 검색 증강 프롬프트 구성(RAPC), 가치 적응형 리턴 보정(VARC)을 특징으로 하여 이종 태스크의 복잡도 및 데이터 품질에 둔감하도록 설계된 강건한 오프라인 MTRL 프레임워크인 DaCe-DT를 제안합니다. 이러한 메커니즘들이 결합되어 DaCe-DT는 데이터 중심의 프롬프트 적응 및 궤적 정제를 제공하며, 이를 통해 이종 오프라인 데이터와 태스크 속에서도 강건한 멀티태스크 일반화와 안정적인 정책 학습을 가능하게 합니다. Meta-World에서의 실험 결과는 DaCe-DT가 기존 최고 수준의 방법들을 일관되게 능가하여 최적 데이터셋에서 평균 11.73%, 준최적 데이터셋에서 13.34%의 향상을 달성함을 보여주며, 불완전한 데이터로부터 안정적으로 학습하고 전반적인 멀티태스크 성능을 개선하는 데 있어서의 효과를 입증합니다.

arXiv:2609.32752v2cs.AI공통 태그 Continuous Control, Deep Reinforcement Learning

행동 셰이핑: 정책은 자신이 표현할 수 있는 것을 흡수한다

Action Shaping: Policies Absorb What They Can Express

보상 셰이핑(reward shaping)에는 포텐셜 기반 항을 최적 정책의 변경 없이 제거할 수 있다는 정리가 존재합니다. 반면 학습(training) 중에 오프셋을 더하고 배포 시점에 제거하는 방식의 행동 채널 적용 사례에는 이러한 정리가 없습니다. 행동 오프셋을 상쇄하는 것이 없기 때문에, 이러한 보정은 배포 시 유지되거나 보장 없이 제거됩니다. 본 논문에서는 이를 행동 셰이핑(action shaping)이라 부르고 그 원리를 제시합니다. 학습 가능한 정책은 자체 출력 층(layer)이 정확하게 재현할 수 있는 오프셋을 흡수하며, 여기서 '표현(express)'이란 바로 이를 의미합니다. 흡수된 오프셋은 리턴을 온전히 유지한 채 제거될 수 있습니다. 이의 최소 구현체는 페널티나 스케줄 없이 학습된 행동 가치 함수를 통해 학습하는 액터에 추가된, 학습 가능한 게이트 뒤에 배치된 0으로 초기화된 선형 헤드입니다. 이 게이트는 결정론적 액터와 확률적 액터 모두에서 스스로 상승했다가 하락하며, 20개의 태스크에서 해당 헤드를 제거해도 성능 손실이 거의 발생하지 않습니다. 이때 조건은 용량(capacity)이 아닌 정확한 재현입니다. 더 많은 파라미터를 가진 비선형 헤드는 흡수되지 않으며, 대조군 실험에서 비선형 베이스 헤드에 하나의 선형 경로를 추가하면 흡수 능력이 회복됩니다. 정확한 재현은 손실(loss) 지형에 그래디언트(gradient) 노이즈가 표류할 수 있는 평평한 방향을 제공하며, 오프셋의 진폭은 헤드를 제거하기 전에 이를 제거할 때 발생할 손실을 미리 알려줍니다. 이로써 행동 셰이핑은 셰이핑 정리에 상응하는 흡수 조건과 그 배후의 메커니즘, 그리고 이를 측정하는 진단 지표를 확보하게 됩니다. 정책은 자신이 표현할 수 있는 것만을, 그리고 오직 그것만을 흡수합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.