PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17453v2cs.AI

MapSatisfyBench: 행동에 근거한 암묵적 의사결정 요인을 통한 만족도 인식 지도 에이전트 벤치마킹

MapSatisfyBench: Benchmarking Satisfaction-Aware Map Agents through Behavior-Grounded Implicit Decision Factors

대규모 언어 모델(LLM) 에이전트는 지도 서비스에 점점 더 통합되고 있습니다. 지도 서비스는 전문적인 작업 환경보다는 일상 생활 시나리오에 내장되어 있기 때문에, 사용자는 종종 자신의 요구사항을 비형식적으로 표현하며, 이는 많은 말로 표현되지 않은 요구사항, 즉 사용자 만족도에 중요한 암묵적 의사결정 요인을 포함하는 불완전한 쿼리로 이어집니다. 질문(명확화)은 이 문제를 완화하는 효과적인 방법이지만, 일상적인 상호작용에서 사용자 부담을 증가시키므로, 유능한 에이전트는 먼저 사용 가능한 정보 소스에서 이러한 요인을 능동적으로 복원해야 합니다. 그러나 이 능력을 평가하는 것은 어렵습니다. 첫 번째 과제는 어떤 암묵적 의사결정 요인이 평가에 적합한지 결정하는 것입니다. 요인은 사용자 수용성에 영향을 미치고 에이전트가 응답하기 전에 사용 가능한 정보에서 복원될 수 있는 경우에만 평가 가능합니다. 둘째, 사용자 만족도는 단일 참조 답변으로는 신뢰성 있게 표현될 수 없으므로, 만족도 관련 요인을 객관적이고 정량화 가능한 평가 대상으로 변환하는 벤치마크가 필요합니다. 이러한 과제를 해결하기 위해, 우리는 행동 체인 증거에서 완전한 사용자 요구사항을 재구성하고, 암묵적 의사결정 요인을 식별하며, 사전 질의 증거에 의해 뒷받침되는 요인만 유지하는 복원-식별-필터링(restore-identify-filter) 프레임워크를 제안합니다. 이 방법론을 기반으로, 우리는 대규모 실제 익명 사용자 데이터로부터 MapSatisfyBench를 구축하고 5가지 차원에서 정답(ground truth)을 주석 달아 만족도 인식 지도 에이전트의 전체 체인 평가를 가능하게 합니다. 실험 결과, 현재 에이전트는 명시적 작업 완료에서는 전반적으로 잘 수행하지만, 암묵적 의사결정 요인을 만족시키고 만족도 인식 의사결정에 필요한 증거를 능동적으로 획득하는 데는 여전히 제한적임을 보여줍니다. 이러한 발견은 MapSatisfyBench를 지도 에이전트 평가를 작업 완료에서 만족도 인식 공간 의사결정으로 전환하는 벤치마크로 자리 잡게 합니다.