Enabling Weak LLMs to Judge Response Reliability via Meta Ranking
원문 초록
Despite the strong performance of large language models (LLMs) across a wide range of tasks, they still have reliability issues. Previous studies indicate that strong LLMs like GPT-4-turbo excel in evaluating the reliability of responses from LLMs, but face efficiency and local deployment issues. Thus, to enable weak LLMs to effectively assess the reliability of LLM responses, we propose a novel cross-query-comparison-based method called $\textit{Meta Ranking}$ (MR). Unlike previous few-shot methods that solely based on in-context learning capabilities in LLMs, MR assesses reliability by pairwisely ranking the target query-response pair with multiple reference query-response pairs. We found that MR is highly effective in error detection for LLM responses, where weak LLMs, such as Phi-2, could surpass strong baselines like GPT-3.5-turbo, requiring only five reference samples and significantly improving efficiency. We further demonstrate that MR can enhance strong LLMs' performance in two practical applications: model cascading and instruction tuning. In model cascading, we combine open- and closed-source LLMs to achieve performance comparable to GPT-4-turbo with lower costs. In instruction tuning, we use MR for iterative training data filtering, significantly reducing data processing time and enabling LLaMA-7B and Phi-2 to surpass Alpaca-13B with fewer training tokens. These results underscore the high potential of MR in both efficiency and effectiveness.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사
Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation
대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.
컨텍스트가 오도할 때: 대규모 언어 모델의 관할권을 갖춘 문맥 내 학습
When Context Misleads: In-context Learning with Jurisdiction in Large Language Models
문맥 내 학습(In-Context Learning, ICL)은 현대 LLM 배포의 핵심 요소가 되었다. 그러나 기존의 ICL 사후 학습 방법에는 중대한 맹점이 있다. 이러한 방법은 데모에서 패턴을 추출하는 데는 뛰어나지만, 컨텍스트 권한(context authority), 즉 문맥 정보가 최종 답변을 좌우해야 하는지를 판단하는 능력은 소홀히 하는 경우가 많다. 이 능력을 벤치마킹하기 위해, 우리는 7개 도메인에 걸친 사이비 과학적 주장을 담은 FakeContextBench를 소개한다. 상용 모델과 오픈소스 모델을 평가한 결과, 대규모 사전학습만으로는 신뢰할 수 있는 컨텍스트 권한 판별에 충분하지 않음을 확인했다. 더욱이 널리 쓰이는 ICL 미세조정 방법은 오도하는 컨텍스트에 대한 취약성을 높일 수 있으며, 기반 모델 대비 현실 정확도(reality accuracy)를 최대 14.95%p까지 떨어뜨렸다. 이러한 상충 관계를 해결하기 위해, 우리는 컨텍스트 검증을 학습 목적 함수에 포함하는 사후 학습 프레임워크인 Jurisdiction In-Context Learning(J-ICL)을 제안한다. 네 가지 모델 백본에서 J-ICL은 해당 기반 모델 대비 ICLEval을 평균 5.84%p, 현실 정확도를 9.20%p 향상시켰다. 또한 MetaICL 및 Symbol Tuning 대비 Reality Rate를 평균 18.09%p 높였다. 이러한 결과는 ICL 능력과 기만적 컨텍스트에 대한 저항성을 함께 향상시킬 수 있음을 보여준다. 벤치마크는 https://github.com/peilin717/FakeContext-Bench 에서 확인할 수 있다.
자신 있게 틀리다: LLM 내부 상태로부터 금융 질의응답의 환각 탐지
Confidently Wrong: Detecting Hallucinations in Financial Question Answering from LLM Internal States
금융 애플리케이션에서 대규모 언어 모델(LLM)은 자신 있게 틀릴 때 가장 심각한 실패를 초래한다. 불확실성이 드러난 답변은 검토를 유도하는 반면, 자신감 있는 오류는 경고 없이 하위 의사결정을 조용히 저하시킨다. 본 연구에서는 이러한 자신 있는 오답, 즉 확신에 찬 환각(confident hallucination)을 모델의 내부 활성화(internal activations)로부터 얼마나 신뢰성 있게 탐지할 수 있는지, 그리고 해당 활성화가 관측 가능한 출력 이상의 정보를 담고 있는지를 탐구한다. 우리는 잔류 스트림(residual stream)에 선형 프로브(linear probes)를 학습시키고, 실제 공시 문서 기반으로 구축된 두 가지 기존 질의응답(QA) 벤치마크인 FinQA와 TAT-QA에서 이를 평가한다. 행동적 신뢰도(behavioral confidence)는 동일 질문에 대해 8회 재샘플링된 답변 간의 일치도로 측정하며, 프로브의 효과는 토큰 로그-확률 및 모델 자체의 True/False 자기 평가와 같은 기준선(baseline) 방법과 비교한다. 실험 결과, 8회 재샘플링 결과가 모두 일치하는 확신 있는 답변 중 FinQA에서 15~23%가 오답임을 확인했다. 이 경우 프로브는 환각 탐지에서 기준선 방법에 비해 유의미한 우위를 보였으며, Qwen3-8B, Llama-3.1-8B, Gemma-2-9B 전반에 걸쳐 0.68~0.77 AUROC를 기록한 반면 최상의 기준선은 0.55~0.63에 그쳤다. 본 결과는 프로빙(probing)이 고위험 금융 애플리케이션에서 LLM 답변을 인간 검토 및 품질 관리 절차로 라우팅하기 위한 비용 효율적인 트리아지(triage) 메커니즘이 될 수 있음을 시사한다.
대규모 언어 모델의 메타인지: 기초, 발전, 그리고 기회
Metacognition in LLMs: Foundations, Progress, and Opportunities
메타인지는 효과적인 학습, 문제 해결, 의사결정, 소통 등에 있어 핵심적인 지능의 구성 요소다. 최근 몇 년간 메타인지는 유능하고 투명한 AI 시스템의 근간으로 점점 더 주목받고 있다. 그러나 대규모 언어 모델(LLM)이 다양한 실세계 과제에서 상당한 발전을 이루었음에도 불구하고, LLM이 효과적인 메타인지 능력을 언제, 어떻게, 어느 정도까지 발휘하거나 갖출 수 있는지, 또한 그러한 능력이 AI 시스템의 근본적인 역량, 신뢰성, 지능을 향상시키는 데 어떻게 활용될 수 있는지는 아직 명확하지 않다. 본 논문은 LLM의 메타인지에 관한 현재 지식 상태를 최초로 포괄적으로 개관함으로써 이 간극을 해소한다. 우리는 이 신흥 분야의 전반적인 연구 지형을 분석하고 분류하며, LLM의 메타인지 능력을 측정·평가하는 방법 및 벤치마크, LLM에서 메타인지를 유도·개선·적용하는 기법, 그리고 진행 중인 연구의 발견과 시사점을 포함한 최근의 기술적 발전을 요약한다. 또한 응용 사례, 미해결 문제와 도전 과제, 향후 연구의 유망한 방향도 논의한다. 본 논문의 목적은 이 주제에 대한 상세하고 최신의 리뷰를 제공하고 의미 있는 연구와 논의를 촉진하는 것이다. 정리된 논문 목록은 https://github.com/yale-nlp/LLM-Metacognition 에서 확인할 수 있다.
순응 함정: AI 에이전트가 충돌하는 메모리를 소비하는 방식 진단
The Compliance Trap: Diagnosing How AI Agents Consume Conflicting Memory
메모리는 장기 수행 AI 에이전트의 핵심 구성 요소로 자리잡고 있으며, 에이전트가 웹 브라우저, 소프트웨어 도구 및 기타 인터랙티브 환경을 운용할 때 과거 경험을 재사용할 수 있게 해준다. 기존 연구는 대부분 메모리를 공급 문제로 취급하여, 어떤 경험을 기록할지, 어떻게 저장할지, 다음 작업을 위해 어느 항목을 검색할지를 다루었다. 그러나 다단계 행동 궤적 전반에 걸쳐 모델이 검색된 메모리를 어떻게 소비하는지에 대한 명확한 설명은 아직 부족하다. 이 소비 과정은 어떤 메모리를 검색해야 하는지뿐만 아니라, 이를 안전하게 사용하기 위해 어떤 모델과 제어 정책이 필요한지를 결정하기 때문에 중요하다. 이 과정을 진단하기 위해, 우리는 메모리가 처음으로 행동을 변경하는 지점, 그 변경이 이후로 이어지는지 여부, 그리고 에이전트가 올바른 경로를 이탈한 후 회복할 수 있는지를 묻는 궤적 수준의 프레임워크인 Entry-Propagation-Recovery (E-P-R)를 제안한다. 우리는 WebArena와, 이러한 단계들을 분리하기 위해 직접 구축한 통제된 벤치마크인 MemTrapBench에 E-P-R을 적용한다. 주요 실패는 종종 진입(entry) 단계에서 시작됨을 발견하였다: 에이전트는 충돌하는 메모리가 작업에 부적합하더라도 첫 번째 노출 결정 지점에서 이를 채택한다. 반복적인 노출은 이 초기 오류를 증폭시키며, 이탈 이후의 회복은 미약하다. 이러한 효과들이 결합하여 순응 함정을 형성한다: 모델 전반에 걸쳐 충돌하는 메모리는 유사한 순응률을 유도하지만, 에이전트가 순응하게 되면 성공률은 낮은 수준으로 붕괴된다. 따라서 더 강력한 에이전트는 각 순응 이벤트가 더 많은 기준선 역량을 소거하기 때문에 절대적으로 더 큰 손해를 입는다. 이러한 결과는 메모리 증강 에이전트가 검색 품질이나 최종 성공률만으로 평가되어서는 안 되며, 궤적 전반에 걸쳐 메모리를 어떻게 소비하는지로도 평가되어야 함을 시사한다.
대규모 언어 모델 미세조정에서 기억된 지식이 일반화에 실패하는 이유에 대한 메커니즘적 이해를 향하여
Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
새로운 지식을 주입하기 위한 대규모 언어 모델(LLM) 미세조정은 핵심적인 과제에 직면한다: LLM은 새로운 사실을 빠르게 기억할 수 있지만, 하위 추론 태스크에서 이를 활용하는 데 실패한다. 우리는 이 실패를 \textit{\textbf{앎-사용 격차(Knowing--Using Gap)}}로 형식화하며, 이는 기억과 일반화 사이의 정확도 격차와 시간적 지연으로 특징지어진다. 이 현상을 이해하기 위해 미학습 지식으로 LLM을 미세조정하고, 자기 패칭(self-patching)이라는 새로운 개입 기법을 사용하여 지식의 내부 공간적 확산 동역학을 모니터링한다. 자기 패칭은 표현을 재배치함으로써 일반화 실패 사례를 크게 개선하는 활성화 위치를 식별한다. 이러한 결과는 지식-회로 불일치 가설과 일치한다: 기억된 표현은 내부적으로 존재할 수 있지만, 계산적으로 유효한 레이어로 라우팅되지 않을 수 있다. 이 진단적 발견의 실용성을 입증하기 위해, 일반화 실패에서 오라클 성능 여유의 58--75\%를 회복하는 간단한 휴리스틱 전략을 설계한다. 이 발견의 견고성을 위해 실험은 도메인을 교차하여 수행된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.