PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10626v1cs.CL

Eval-Pair Matrix: 소스 기반 RAG를 위한 LLM 평가자의 답변 쌍 메타 평가

Eval-Pair Matrix: Answer-Paired Meta-Evaluation of LLM Judges for Grounded RAG

LLM-as-a-judge 평가는 검색-증강 생성(RAG)에 널리 활용되지만, 동일한 모델 계열을 생성기와 평가자로 함께 재사용하면 자기 관대성(self-leniency)을 식별하기 어렵다. 우리는 소스 기반 RAG를 위한 통제된 메타 평가 프로토콜인 Eval-Pair Matrix를 제안한다. GaRAGe 질문과 그라운딩 구절로부터 출발하여, 각 레코드마다 숨겨진 답변-인과 모순을 하나씩 유도하고, 변형된 구절에서 GPT, Grok, Gemini 모델로 답변을 생성한 후, 동일한 모델을 블라인드 평가자로 활용하여 원본 구절에 대한 각 답변을 평가한다. 실험은 교차 3×3 행렬 내 300개의 핵심 레코드, 897개의 레이블된 생성기 출력, 2,683개의 평가자 판정을 포함하며, 주요 분석에는 275개의 완전 검증된 레코드가 사용된다. 서로 다른 답변에 걸쳐 대각선 및 비대각선 셀을 비교하는 대신, 정확히 동일한 후보 답변에 대해 평가자를 쌍으로 구성하여 동일 모델 효과를 추정한다. 이는 해석을 변화시킨다: 대각선과 비대각선 F1이 유사하고, 쌍을 이룬 동일 모델 재현율 효과는 거의 0에 가깝다(-0.5 pp; 95% 클러스터 부트스트랩 신뢰 구간 [-2.7, +1.7]). 유일하게 강건한 쌍 격차는 유도된 주장을 회피한 답변에 대한 일치 평가자의 낮은 플래깅이다(-4.3 pp). 대상화된 인간 평가 결과, 검토된 명백한 위양성(false positive)은 대체 소스 오류 탐지, 유도된 주장 채택 여부에 대한 레이블링 실수, 또는 불명확한 사례로 나타났으며, 진정한 오경보로 판정된 경우는 없었다. 이 교훈은 방법론적이다: RAG 평가자 연구는 전체 행렬, 답변 쌍 효과, 행동 계층, 그리고 레이블-태스크 정렬을 보고해야 한다.

arXiv:2606.21627v1cs.AI

Counsel: 에이전트 태스크를 위한 메타 평가 데이터셋

Counsel: A Meta-Evaluation Dataset for Agentic Tasks

에이전트 시스템이 점점 더 복잡한 다단계 태스크를 다루면서, 궤적(trajectory) 평가가 주요 병목이 되고 있다. 인기 있는 에이전트 벤치마크에서 단일 궤적에 대한 인간 주석 작업은 수 시간이 걸릴 수 있어, 성능 측정이나 학습 데이터 큐레이션을 위한 평가를 확장하기 어렵다. 이로 인해 LLM-as-a-judge(LLMJ)와 같은 자동화 방식에 프로세스 및 결과 수준에서 에이전트를 대규모로 비평하도록 광범위하게 의존하게 되었으나, LLMJ 비평의 타당성은 종종 측정되지 않은 채로 남아 있다. 본 연구에서는 에이전트 태스크에 대한 메타 평가(meta-evaluation)를 담은 최초의 공개 데이터셋인 Counsel을 소개한다. Counsel은 두 에이전트 벤치마크인 tau-bench(고객 지원 에이전트)와 DA-Code(코딩 에이전트)에 대해 오픈 가중치(open-weight) LLMJ가 수행한 프로세스 수준 비평과, 이 비평에 대한 인간 메타 평가로 구성된다. 인간 주석자는 표시된 각 오류에 대한 비평을 "정확히 맞음(spot on)", "위치는 맞으나 추론이 부족함(correct location but poor reasoning)", "표시하지 말았어야 함(should not have flagged)"으로 라벨링하였으며, 신뢰할 만한 주석자 간 합의(Krippendorff's alpha 0.78)를 달성했다. 이로부터 얻은 데이터셋은 궤적 내 오류 위치와 추론 품질 모두에 걸친 인간 정렬(alignment)에 따라 LLMJ 비평을 계층화하며, 에이전트용 LLMJ를 보정(calibrate), 개선, 또는 학습하는 데 유용한 데이터로 활용된다. 오픈 가중치 판정 모델들을 비교한 결과, 더 유능한 판정 모델과 더 많은 추론 노력(reasoning effort) 모두 인간과의 합의를 높였으며, 가장 강력한 판정 모델은 위치에서 ~88%, 추론에서 ~65%의 합의를 달성했다. Counsel은 오픈 가중치 모델로 생성되었으며 넓은 커뮤니티 사용을 위해 관대한(permissive) 라이선스가 적용되어 있으며, 이를 통해 에이전트 시스템을 위한 LLM 기반 평가자의 엄격한 연구와 정렬 개선이 가능해지기를 기대한다.