멀티모달 에이전트를 위한 연속적 도구 공간 확장 학습
Continual Tool-Space Extension Learning for Multimodal Agents
한국어 초록
멀티모달 에이전트는 대체로 자르기, 검색, 코드 실행과 같은 범용 도구에 의존하며, 전문 비전 모델은 도구 공간 밖에 남겨 둔다. 그러나 이러한 모델을 이미 학습된 에이전트에 도입하는 것은 간단하지 않다. 과제는 기존 도구를 사용하는 능력을 유지하면서 각 새 도구를 효율적으로 학습하는 것이다. 본 연구는 효율적인 어댑터 수준의 비용으로 새 도구를 추가하는 연속적 도구 공간 확장 학습 COTEX를 제안한다. COTEX는 두 가지 파라미터 방향 집합을 찾아낸다. 하나는 도구 호출을 유발하여 다중 턴 추론 궤적을 열고, 다른 하나는 어떤 도구가 선택되는지를 결정한다. 새 도구의 어댑터는 직교 제약을 통해 기존 도구 선택에 영향을 주지 않는 호출 방향으로 제한된다. 우리는 또한 전문 모델의 기존 과제별 주석을 검증된 도구 사용 궤적으로 변환하는 프로토콜을 도입한다. 두 가지 대표적 에이전트와 세 가지 전문 도구에 대한 실험에서 열 개의 비전-언어 벤치마크에서 성능 향상을 보였으며, 기존 도구의 성능 하락은 최대 0.3점이었다.
원문 초록
Multimodal agents largely rely on generic tools such as cropping, search, and code execution, leaving specialist vision models outside their tool space. However, bringing such a model into an already trained agent is not straightforward. The challenge is to learn each new tool efficiently while retaining the ability to use existing ones. This work proposes COTEX, continual tool-space extension learning, that adds new tools at efficient adapter-level cost. COTEX locates two sets of parameter directions; one triggers a tool call and thereby opens a multi-turn reasoning trajectory, while the other determines which tool is chosen. The adapter of a new tool is restricted to the calling directions that leave earlier tool choices unaffected by orthogonal constraint. We further introduce a protocol that converts specialist models' existing task-specific annotations into verified tool-use trajectories. Experiments on two representative agents and three specialist tools show gains on ten vision-language benchmarks, with at most a 0.3-point drop on existing tools.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23810v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.