PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.00914v2cs.AI

반사실적 증거 감사를 통한 랭킹된 문맥에 대한 LLM 에이전트의 취약성 예측

Counterfactual Evidence Audits Predict LLM-Agent Susceptibility to Ranked Context

대규모 언어 모델(LLM) 에이전트는 검색기가 문서를 선택하고 추천 시스템이 게시물을 선택하며 메모리 시스템이 이전 사건을 선택하는 등 상위 시스템에서 수집된 증거를 바탕으로 결정을 내리는 경우가 점점 늘어나고 있습니다. 기존의 평가는 대개 이러한 증거를 고정된 상태로 유지하므로, 개별적으로는 평범한 항목들이 모여 체계적으로 편향된 문맥을 형성할 때 발생하는 오류를 놓칩니다. 본 연구에서는 반사실적 증거 감사(counterfactual evidence audit)를 도입합니다. 즉, 에이전트를 대칭되는 5개 문서 세트 두 개에 노출시키고 6개의 다운스트림 결정에서의 차이를 측정한 후, 해당 대비를 활용하여 서로 겹치지 않는 45개 문서 문맥에 대한 반응을 예측합니다. 이 프로토콜은 세 가지 미공개 공개 가중치(open-weight) 모델 계열을 테스트하기 전에 동결되었습니다. 18개의 미공개 모델-작업 셀 전반에서, 5개 문서 효과는 스피어만 순위상관계수 rho=.855(p<.001)로 전체 문맥 효과를 예측하며, 효과 없음(zero-effect) 예측기에 비해 평균 절대 예측 오차를 62% 감소시키고 유의미한 13개 효과 중 12개의 방향을 포착합니다. 리뷰어가 요청한 사후 작업 평균 기준선(task-mean baseline) 역시 실질적으로 훨씬 약한 성능을 보입니다(MAE .369 대 .167). 매칭된 대조군 실험은 동일한 항목의 순서를 단순히 재배열하는 것이 아니라 편향된 평범한 항목을 선택하는 것이 취약한 모델의 변화를 유발한다는 점을 보여줍니다. 7개의 공개 가중치 계열 전반에서 이러한 취약성은 대화형 피드에서 정적 검색-증강 생성(RAG) 서류철로 전이(rho=.750, 정확한 p=.033)되는 반면, 출처 경고(provenance warning)는 이를 안정적으로 완화하지 못합니다. 배포된 3개 계층의 Codex 에이전트를 대상으로 한 별도 연구에서는 강력한 감사-전체 순위 상관관계(rho=.951, p<.001)를 발견했으나, 보정 후 개별적으로 유의미한 전체 문맥 효과는 나타나지 않았습니다. 단일 합성 원격 근무 도메인 내에서 얻은 이 결과는 보편적인 유도(steering) 주장이 아닌 도메인 특화 선별(triage) 절차를 뒷받침하며, 증거 선택이 복합 에이전트 시스템의 일부로 평가되어야 함을 시사합니다.