같은 시뮬레이션, 다른 증거: 검색된 도구 출력이 LLM 에이전트의 정확도를 떨어뜨리는 지점
Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy
한국어 초록
올바른 답을 계산한 LLM 에이전트도 여전히 틀린 답을 낼 수 있다. 에이전트 하네스는 긴 도구 출력을 컨텍스트 창에 두지 않고 파일로 저장하여, 에이전트가 필요할 때 검색하거나 읽게 하는 방식을 점점 더 많이 사용한다. 본 논문은 실제 과학 도구를 이용해 이 방식이 어디에서 정확도 손실을 일으키는지 묻는다. 사용한 도구는 USGS의 널리 쓰이는 지구화학 시뮬레이터 PHREEQC이며, 그 보고서는 846.8k자에 이르고 결정론적 특성 덕분에 출력된 모든 값을 추적할 수 있다. 에이전트는 이를 사용해 실행으로 검증된 158개의 객관식 문항에 답한다. 에이전트가 시뮬레이터 보고서를 컨텍스트에 두지 않고 섹션 인덱스를 통해 읽을 때, GPT-5.1과 GPT-5.2는 정확도가 각각 11.3점, 7.9점 하락한 반면 Claude Opus 4.6과 Claude Sonnet 4.6은 감지 가능한 손실이 없었다. 기록된 시뮬레이터 호출 11,007건을 모두 다시 실행한 결과, 두 GPT 모델은 정답 키 값을 계산하는 빈도가 이전과 거의 같았으며, 달라지는 것은 답의 근거가 되는 증거였다. 검색 조건에서는 보고서를 건너뛰고 자체의 더 높은 정밀도의 출력 파일을 근거로 답하다가 인접한 선택지로 잘못 반올림하는 경우가 많았으며, 이를 증거 대체라 부른다. 시뮬레이션을 고정해도 검색은 GPT-5.2에서 여전히 9.4점의 손실을 초래한다. GPT-5.4의 경우 올바른 시뮬레이션이 더 자주 수행되어 약 10점의 증거 활용 손실을 가리며, 순변화는 0과 구별되지 않는다. 권위 있는 출력을 명시하면 세 GPT 모델에서 단순 검색 대비 정확도가 6.3-7.9점 상승하며, GPT-5.1과 GPT-5.2에서는 들어갈 수 있는 출력을 인라인으로 제공하는 것도 같은 효과를 내지만 올바른 반올림을 요청하는 것은 그렇지 않다. 에이전트 하네스의 컨텍스트 관리 선택은 최종 정확도만이 아니라 정확도가 어디에서 손실되는지를 기준으로 평가해야 한다.
원문 초록
LLM agents that compute the right answer can still answer wrongly. Agent harnesses increasingly keep long tool outputs out of the context window, saving them to files that the agent searches or reads on demand. We ask where this costs accuracy with a real scientific tool: PHREEQC, a widely used geochemistry simulator from the USGS, whose reports reach 846.8k characters and whose determinism lets every printed value be traced. Agents use it to answer 158 execution-verified multiple-choice items. When agents read the simulator's report through a section index rather than in context, GPT-5.1 and GPT-5.2 lose 11.3 and 7.9 points of accuracy, while Claude Opus 4.6 and Claude Sonnet 4.6 show no detectable cost. Re-running all 11,007 logged simulator calls shows that both GPT models compute the keyed value about as often as before; what changes is the evidence they answer from. Under retrieval they often skip the report, answer from their own higher-precision output files, and misround to a neighboring option, a failure we call evidence substitution. With the simulation held fixed, retrieval still costs GPT-5.2 9.4 points. For GPT-5.4, more frequent correct simulations mask an evidence-use loss of about ten points, leaving a net change indistinguishable from zero. Naming the authoritative output raises accuracy by 6.3-7.9 points over plain retrieval for the three GPT models; for GPT-5.1 and GPT-5.2, inlining outputs that fit works as well, while asking for correct rounding does not. Context-management choices in agent harnesses should be judged by where accuracy is lost, not only by final accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.26836v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.