요청 속에서 길을 잃다: 커뮤니케이션 변이가 이메일 에이전트의 검색 및 행동을 저해하는 방식
Lost in the Request: How Communication Variation Disrupts Retrieval and Action in Email Agents
이메일 어시스턴트는 사용자가 동일한 요청을 다르게 표현했다는 이유만으로 더 적은 양의 작업을 완료해서는 안 됩니다. 그러나 대부분의 벤치마크는 각 태스크를 단 하나의 표준 요청으로만 테스트하므로, 이러한 형태의 강건성(robustness)은 대체로 측정되지 않은 채로 남아 있습니다. 본 연구에서는 요청된 정보, 가용한 증거, 기대 결과가 고정되어 있는 상태에서 커뮤니케이션 스타일이나 영어의 변종이 바뀔 때 이메일 어시스턴트가 여전히 신뢰성을 유지하는지 검증합니다. 다섯 가지 커뮤니케이션 스타일 축과 네 가지 규칙 기반 방언 조건에 걸쳐 검증된 변형들을 구축하고, 이를 검색-증강 생성(RAG) 파이프라인 하나와 두 개의 도구 사용 에이전트로 구성된 세 가지 벤치마크에서 평가합니다. 간접적인 요청은 세 가지 벤치마크 모두에서 성능을 떨어뜨렸으며, 격식 있는 요청은 두 에이전트 벤치마크 모두에서 성능을 저하시켰습니다. 시스템을 더욱 면밀히 조사한 결과, 이러한 실패에는 서로 다른 원인이 있는 것으로 나타났습니다. 장황한 요청은 관련 이메일을 찾기 어렵게 만듦으로써 주로 어휘 기반 검색기(lexical retriever)에 악영향을 미쳤습니다. 반면에 간접적이거나 방언이 포함된 변형은 관련 이메일이 검색된 경우에도 여전히 유해했습니다. 에이전트 환경에서 간접적이거나 격식 있는 요청은 에이전트가 뒷받침되지 않는 행동을 더 많이 취하게 만들기보다는, 주로 필요한 행동을 누락하게 만들었습니다. 이러한 결과는 성공적인 응답만으로는 강건성을 입증하기에 충분하지 않음을 보여줍니다. 즉, 평가는 요청이 표현되는 방식을 다양화해야 하며, 에이전트가 요청된 작업을 완수하는지 별도로 측정해야 합니다.