RagHarnessDebugger: 계약 추론의 답변 수정을 감사하는 Jev 기반 에이전트형 RAG
RagHarnessDebugger: Jev-Guided Agentic RAG in Contract Inference Repair Auditing
한국어 초록
검색 증강 생성(RAG)을 사용하는 에이전트 시스템은 근거를 더 수집하고 대안 정책을 시험하며, 답변을 수정할지와 언제 무엇을 수정할지를 결정해 스스로 답변을 고쳐야 한다. 그러나 정확도 같은 평가지표로는 수정이 제대로 이뤄지는지 판단하기 어려울 수 있다. 계약 추론을 위한 Jev 기반 실행 환경에서 모든 수정 결정을 기록하고 감사해, RAG가 답변을 고치는 동안 내린 결정을 처음부터 끝까지 디버깅할 수 있는 RagHarnessDebugger를 제시한다. 이 프레임워크는 각 실행 기록이 온전한지, 검증 결과가 실제로 해당 후보에 적용되는지, 채택 규칙으로 어떤 답변에 도달할 수 있는지 확인한다. 두 판독 모델을 사용해 ContractNLI 비밀유지계약서와 별도 계약서로 구성한 재현 세트에서 시험했다. 감사 계층은 집계 평가지표에 가려진 실패 양상, 정책이 수정과 성능 저하를 각각 받아들이는 데 따른 비용, 그리고 채택 과정에서 생긴 격차를 드러냈다. 가능한 수정 중 실제로 이루어지지 않은 비율은 개발 세트와 재현 세트에서 각각 77%, 76%였다. 감사에 오류 유형을 표시한 분석과 재실행 기능을 결합해 최종 결정까지 실행 경로를 따라가고, 가능한 수정이 어느 단계에서 누락됐는지 확인했다. 개선한 실행 환경은 BM25만 사용한 초기 기준선보다 개발 계약서에서 정확도가 3.6%포인트, 재현 세트에서 3.7%포인트 높았다. 계약서 전체를 읽는 참조 방식보다도 개발 세트에서 1.1%포인트, 재현 세트에서 2.4%포인트 높았다. 이 연구는 놓친 수정의 근본 원인을 찾는 데 디버거를 쓸 수 있음을 보여 준다. 각 판단의 근거를 드러내므로 RAG의 의사결정을 지속적으로 개선하고 설명하는 데도 활용할 수 있다. 핵심어: 에이전트형 RAG, AI 기반 근거 보강, 실행 환경의 설명 가능성, 반사실적 재실행, Jev, ContractNLI
원문 초록
Agentic systems using retrieval-augmented generation (RAG) must repair their own answers by gathering more evidence, testing alternative policies and deciding if, when, and what repairs are needed. Yet how do we know if a system's repairs are working when metrics like accuracy can be misleading? We present RagHarnessDebugger, a framework that records every repair decision in a Jev-guided harness for contract inference and audits the record to facilitate complete debugging of all decisions taken during a RAG repair journey. RagHarnessDebugger checks that each trace is intact, that each validation applies to the candidate it is counted for, and which answers the acceptance rule can reach. We tested our approach on ContractNLI non-disclosure agreements with two reader models and a replication set of separate contracts. Our debugger's audit layer exposed failure patterns that were hidden under aggregate metrics, policies acceptance cost of repairs vs regressions and policy acceptance gap of 77% and 76% of available but unrealised repairs on development and replication sets. Our audit, together with a labeled error analysis and replay mechanism, allowed following the execution path all the way to the terminal decision - uncovering where missing repairs became lost. Our revised harness improved accuracy over the initial BM25-only baseline by 3.6 points on development contracts and 3.7 points on the replication set, and even improved our full contract access reference score by 1.1 on development and 2.4 on replication set. While our work here demonstrates how the debugger can conduct decision root-cause analysis for missed repairs, the true value lies with providing this debugger for judgment visibility serving continuous improvement of RAG decisions and their explainability. Keywords: agentic RAG, AI evidence repair, harness explainability, counterfactual replay, Jev, ContractNLI
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22991v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.