PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21409v1cs.AI

맹목적으로 믿지 마라: 신뢰할 수 없는 피드백이 도구 사용 LLM 에이전트를 어떻게 무너뜨리는가

Don't Blindly Trust It: How Unreliable Feedback Breaks Tool-Using LLM Agents

도구 증강 에이전트는 일반적으로 신뢰할 수 있는 외부 피드백 하에서의 성능 향상으로 평가된다. 그러나 이러한 향상은 핵심적인 반사실(counterfactual) 질문을 남긴다: 피드백이 신뢰할 수 없을 때, 에이전트는 과업 관련 증거를 전혀 받지 않는 편이 더 나을까? 우리는 에이전트 루프, 프롬프트, 행동 공간(action space), 디코딩(decoding)은 고정하고 반환되는 관측(observation)만 신뢰할 수 있는 것, 오도하는 것, 부재하는 것으로 바꾸는 통제된 matched-loop 비교를 통해 이 질문을 연구한다. 질의응답(question answering)과 사실 검증(fact verification) 전반에 걸쳐, 지속적인 오도적 피드백은 가치 역전(value inversion)을 일으킨다: 깨끗한 도구로 이득을 보는 에이전트가 대응되는 무피드백(no-feedback) 폴백(fallback)보다 더 나쁜 성능을 낼 수 있다. HotpotQA에서 Qwen2.5-7B는 깨끗한 검색(retrieval)에서 44.8 F1, 피드백 없음에서 22.3 F1에 도달하지만, 섞인(shuffled) 검색에서는 4.7 F1로 떨어진다. 이 역전은 더 강한 깨끗한 검색과 국소적으로 그럴듯한(locally plausible) 방해 요소(distractors) 하에서도 지속되지만, 이후의 깨끗한 증거가 궤적(trajectory)을 복구할 수 있을 때는 약해진다. 초기 궤적 신호는 많은 실패를 예측하지만, 단순한 복구(repair)는 여전히 폴백에 제한된다: 잘못된 증거를 거부하는 것은 노출된 폴백이 신뢰할 수 있을 때만 도움이 된다. 이 결과는 깨끗한 도구 하에서의 향상이 도구의 가치를 과대평가할 수 있음을 보여주며, 도구 증강 에이전트를 평가하기 위해 대응되는 무피드백 폴백 대조군이 필요함을 보여준다.