PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11652v1cs.LG

IAPO: 소형 멀티모달 에이전트의 도구 사용을 위한 입력 귀속 인식 정책 최적화

IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents

본 논문은 멀티모달 소형 언어 모델(SLM) 에이전트의 도구 호출 능력을 향상시키기 위한 강화학습(RL) 방법을 조사합니다. 기존 연구에서는 에이전트의 도구 호출 능력을 향상시키기 위해 다양한 보상 설계를 탐색했지만, 이러한 접근 방식들은 특히 멀티모달 시나리오에서 SLM 학습에 있어 본질적인 한계에 직면합니다. 첫째, 많은 기존 방법들은 특정 정답이나 미리 정의된 형식과의 정확한 일치를 통해 도구 사용 정확성을 평가합니다. 그러나 이러한 가정은 여러 도구 사용 경로가 유효할 수 있고 주석이 달린 도구 궤적(trajectories)이 일반적으로 존재하지 않는 멀티모달 작업에서는 종종 부적절합니다. 둘째, 이러한 희소하고 취약한 이진 보상은 기본이 되는 의사 결정 과정을 개선하는 방법에 대한 지침을 거의 제공하지 못하여, 멀티모달 SLM이 이로부터 학습하는 것을 특히 어렵게 만듭니다. 이러한 문제를 해결하기 위해, 우리는 입력 구성 요소에 대한 모델의 귀속(attribution)을 더 강력한 교사(teacher)의 귀속과 정렬시켜 멀티모달 SLM의 도구 사용을 향상시키는 강화학습(RL) 알고리즘인 입력 귀속 인식 정책 최적화(IAPO)를 제안합니다. Qwen2.5-VL-3B에 대한 실험 결과, 제안된 방법은 모델이 가장 관련성 높은 입력 증거에 주의를 기울이도록 도움으로써 기존 시각적 도구 사용 연구와 비교하여 6개의 테스트 세트에서 평균 3%의 시각적 질의응답 정확도 향상을 보여줍니다.