PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11818v2cs.CV

MM-ToolSandBox: 시각적 도구 호출 에이전트 평가를 위한 통합 프레임워크

MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents

우리는 시각적으로 그라운딩된 도구 호출 에이전트를 위한 벤치마크 및 평가 프레임워크인 MM-ToolSandBox를 소개한다. 이 프레임워크는 16개 응용 도메인에 걸쳐 500개 이상의 도구를 포괄하는 상태 저장(stateful) 실행 환경을 제공하며, 에이전트가 순차적으로 도착하는 시각적 입력을 실행 가능한 도구 호출로 그라운딩하면서 현실적인 대화 현상(목표 수정, 오류 정정, 상태 변이)을 처리해야 하는 멀티 이미지, 멀티 턴 태스크를 지원한다. 자동화된 시나리오 생성 파이프라인은 정보 흐름 기반 계획 수립과 다단계 품질 필터링을 통해 다양한 시각적 그라운딩 시나리오를 생성하며, 그 결과 258개의 인간 검증 정상 시나리오와 대화형 UI 애플리케이션을 대상으로 한 50개의 변형 시나리오를 산출한다. 4B 오픈 가중치 모델부터 프론티어 상용 시스템까지 12개의 최신 모델을 평가한 결과, 현재 모델들은 여전히 견고한 시각적 도구 호출 능력이 부족함을 보여준다: 최고 성능 모델조차 성공률이 50% 미만이다. 실패 분석을 통해 시각적 정밀도(visual precision)가 계획 수립뿐 아니라 유능한 모델의 주요 병목임을 확인했다: 실패의 53%는 태스크 워크플로 자체는 올바름에도 이미지에서의 잘못된 정보 추출에서 비롯된다. 규모에 따른 계획-정밀도 교차 현상이 나타난다: 소형 모델은 무엇을 해야 할지 결정하는 단계에서 실패하는 반면, 대형 모델은 자신이 보는 것을 인식하는 단계에서 실패하며, 이는 서로 다른 능력 수준의 모델 개선을 위한 근본적으로 상이한 연구 방향을 시사한다. 프레임워크와 벤치마크는 https://github.com/apple/ml-mmtoolsandbox 에서 공개적으로 이용 가능하다.

arXiv:2606.20529v1cs.AI

LedgerAgent: 정책 준수 도구 호출 에이전트를 위한 구조화된 상태

LedgerAgent: Structured State for Policy-Adherent Tool-Calling Agents

고객 서비스 도메인의 정책 준수 도구 호출 에이전트는 도구를 호출하고 도메인 정책을 준수하면서 여러 턴에 걸쳐 작업 상태를 유지해야 합니다. 작업 상태는 사용자 상호작용과 도구 호출을 통해 관찰된 관련 사실, 식별자, 제약 조건 및 조건으로 구성됩니다. 표준 에이전트에서는 작업 상태가 별도로 표현되지 않습니다. 관찰 결과, 도구 반환값 및 정책 지침은 프롬프트에 배치되므로, 에이전트는 다음에 수행할 작업을 결정할 때마다 프롬프트에서 관련 상태를 재구성해야 합니다. 이러한 설계는 상태 관리를 암묵적으로 만들어 두 가지 일반적인 실패 모드를 야기합니다. 에이전트가 올바른 사실을 검색했더라도 나중에 오래되었거나 누락되었거나 잘못된 정보에 그라운딩(grounding)하여 결정을 내릴 수 있으며, 구문적으로 유효한 도구 호출이라도 현재 작업 상태에 의존하는 도메인 정책을 위반할 수 있습니다. 우리는 관찰된 작업 상태를 별도의 원장(ledger)에 유지하고 이를 프롬프트에 렌더링하는 도구 호출 에이전트를 위한 추론 시간 방법인 LedgerAgent를 소개합니다. 원장은 환경을 변경하는 도구 호출이 실행되기 전에 상태 의존적 정책 제약 조건을 확인하는 데에도 사용되어 정책 위반을 차단합니다. 4개의 고객 서비스 도메인과 오픈 및 클로즈드 가중치 모델의 혼합 패널에 걸쳐, LedgerAgent는 표준 프롬프트 기반 도구 호출 방식보다 평균 pass@k를 개선했으며, 특히 더 엄격한 다중 시도 일관성 메트릭에서 가장 큰 향상을 보였습니다.