ReFract: 텍스트 세계 모델을 활용한 언어 모델 에이전트의 관점 인지 벤치마킹
ReFract: Benchmarking Perspective Awareness in Language Model Agents with Text World Models
대규모 언어 모델(LLM) 에이전트는 작업자가 다양한 역할을 수행하는 산업 유지보수 및 장비 고장 문제 해결과 같은 고위험 환경에 점점 더 많이 배치되고 있습니다. 따라서 유능한 에이전트는 사용자의 역할에 맞춰 보정된 방식으로 행동해야 하며, 해당 역할의 지식 및 역량 경계를 존중하는 행동을 취하고 정보를 제공해야 합니다. 실수를 일반적으로 복구할 수 있는 코딩과 달리, 이러한 환경에서의 에이전트 반응은 물리적 장비에 적용되므로 되돌릴 수 없는 장비 손상, 생산 손실 또는 인명 피해를 초래할 수 있습니다. 그러나 기존 벤치마크는 에이전트가 역할의 의도를 추론하고 해당 역할이 정당하게 사용할 수 있는 도구를 통해서만 행동해야 하는 필요성을 크게 간과하고 있으며, 본 연구에서는 이러한 역량을 관점 인지(Perspective Awareness)라고 정의합니다. 이를 위해 동일한 질의에 대해 사용자의 역할에 따라 에이전트가 다르게 행동해야 하는 150개의 전문가 검증 항목으로 구성된 벤치마크인 ReFract를 소개합니다. ReFract의 항목은 도메인 지원 대화의 익명화된 질의를 기반으로 하며, 이를 바탕으로 에이전트의 운영 환경을 시뮬레이션하고 관점을 인지하는 행동 궤적을 구성하는 텍스트 세계 모델(Text World Models)을 구축합니다. 최신 LLM은 최대 69%의 작업만을 해결하며, 이들의 궤적 중 50% 이상에는 관점을 위반하는 행동을 시도하는 내용이 포함되어 있습니다. ReFract는 관점 인지가 에이전트 평가의 독특하고 대체로 해결되지 않은 축임을 드러내며, 어떻게 행동해야 할지뿐만 아니라 누구를 위해 행동해야 하는지를 조율하는 에이전트의 필요성을 환기합니다.