PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27869v1cs.AI

활성화 대상 학습: 장기 지평 멀티모달 에이전트를 위한 조합적 역량 할당

Learning What to Activate: Combinatorial Capability Allocation for Long-Horizon Multimodal Agents

장기 지평 멀티모달 에이전트는 지각, 검색, 추론, 검증, 실행을 위해 전문화된 역량에 의존한다. 기존 설계는 일반적으로 고정된 역량 집합을 활성화하거나 사전 정의된 워크플로를 호출하여 상당한 계산 오버헤드를 초래하면서 단계 의존적 역량 수요를 수용하지 못한다. 본 논문에서는 장기 지평 멀티모달 에이전트 시스템을 위한 \textit{combinatorial capability allocation} 문제를 연구한다. 여기서 시스템은 각 상호작용 단계마다 비용 민감한 전문 역량의 부분집합을 선택하는데, 역량 가치가 선택된 부분집합에 따라 달라지고 이전 할당이 이후 결정이 마주하는 상태를 바꾸므로 이는 쉽지 않다. 우리는 희소 조건부 비교로부터 배포 가능한 역량-부분집합 정책을 복구하는 온-정책 학습 프레임워크인 \textsc{CoCA}를 제안한다. 학생 정책이 방문한 상태에서, 더 강한 교사는 현재 선택된 부분집합을 조건으로 후보 역량의 한계 순가치를 비교한다. 그다음 조건부 효용 모델을 채택하여 이러한 비교를 자기회귀 역량-부분집합 정책으로 변환하고 명시적 열거를 피한다. 또한 집합 구성 중 마주하는 부분집합 내부와 환경 상태 전반에 걸친 분포 불일치를 다루기 위해 이중 수준 온-정책 지식 증류를 도입한다. 마지막으로 궤적 수준 강화학습으로 증류된 정책을 과제 성공, 활성화 비용, 할당 안정성 방향으로 정제한다. 추론 시에는 교사 질의나 온라인 갱신 없이 경량 학생 정책만으로 할당이 수행된다. 장기 지평 멀티모달 환경과 통제된 역량 수요 변화에 대한 실험은 우리 방법이 최신 기준선 방법들보다 우수함을 보여준다.