arXiv:2310.04782

Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning

Yuchen Yang, Houqiang Li, Yanfeng Wang, Yu Wang

제출 2023-10-07

원문 초록

In recent years, large-scale language models (LLMs) have gained attention for their impressive text generation capabilities. However, these models often face the challenge of "hallucination," which undermines their reliability. In this study, we introduce an uncertainty-aware in-context learning framework to empower the model to enhance or reject its output in response to uncertainty. Human-defined methods for estimating uncertainty typically assume that "uncertainty is lower when the model's response is correct compared to when it is incorrect." However, setting a precise threshold to distinguish correctness is challenging. Therefore, we introduce uncertainty information as an intermediary variable that implicitly influences the model's behavior. Our innovative uncertainty-aware in-context learning framework involves fine-tuning the LLM using a calibration dataset. Our aim is to improve the model's responses by filtering out answers with high uncertainty while considering the model's knowledge limitations. We evaluate the model's knowledge by examining multiple responses to the same question for the presence of a correct answer. When the model lacks relevant knowledge, the response should indicate that the question cannot be answered. Conversely, when the model has relevant knowledge, the response should provide the correct answer. Extensive experiments confirm the effectiveness of our framework, leading to two key findings. First, the logit output values of the LLM partly reflect inherent uncertainty. Second, our model autonomously recognizes uncertainty, resulting in improved responses.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.35308v2cs.CL공통 태그 Hallucination, In-Context Learning

다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사

Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.

arXiv:2609.27603v1cs.CL공통 태그 Hallucination, In-Context Learning

컨텍스트가 오도할 때: 대규모 언어 모델의 관할권을 갖춘 문맥 내 학습

When Context Misleads: In-context Learning with Jurisdiction in Large Language Models

문맥 내 학습(In-Context Learning, ICL)은 현대 LLM 배포의 핵심 요소가 되었다. 그러나 기존의 ICL 사후 학습 방법에는 중대한 맹점이 있다. 이러한 방법은 데모에서 패턴을 추출하는 데는 뛰어나지만, 컨텍스트 권한(context authority), 즉 문맥 정보가 최종 답변을 좌우해야 하는지를 판단하는 능력은 소홀히 하는 경우가 많다. 이 능력을 벤치마킹하기 위해, 우리는 7개 도메인에 걸친 사이비 과학적 주장을 담은 FakeContextBench를 소개한다. 상용 모델과 오픈소스 모델을 평가한 결과, 대규모 사전학습만으로는 신뢰할 수 있는 컨텍스트 권한 판별에 충분하지 않음을 확인했다. 더욱이 널리 쓰이는 ICL 미세조정 방법은 오도하는 컨텍스트에 대한 취약성을 높일 수 있으며, 기반 모델 대비 현실 정확도(reality accuracy)를 최대 14.95%p까지 떨어뜨렸다. 이러한 상충 관계를 해결하기 위해, 우리는 컨텍스트 검증을 학습 목적 함수에 포함하는 사후 학습 프레임워크인 Jurisdiction In-Context Learning(J-ICL)을 제안한다. 네 가지 모델 백본에서 J-ICL은 해당 기반 모델 대비 ICLEval을 평균 5.84%p, 현실 정확도를 9.20%p 향상시켰다. 또한 MetaICL 및 Symbol Tuning 대비 Reality Rate를 평균 18.09%p 높였다. 이러한 결과는 ICL 능력과 기만적 컨텍스트에 대한 저항성을 함께 향상시킬 수 있음을 보여준다. 벤치마크는 https://github.com/peilin717/FakeContext-Bench 에서 확인할 수 있다.

arXiv:2609.27607v1cs.CL공통 태그 Text Generation, Hallucination

Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델

Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality

AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.

arXiv:2609.28245v1cs.CL공통 태그 Text Generation, In-Context Learning

시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?

Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?

대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.

arXiv:2609.27844v1cs.AI공통 태그 Text Generation, Hallucination

정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증

Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation

청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.

arXiv:2609.22537v1cs.AI공통 태그 Text Generation, Hallucination

EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축

EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability

기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.