유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.
현대 언어 모델(model)은 신뢰할 수 있는 지능의 근본적인 요구사항인 '언제 답변하지 말아야 하는지 아는 것'을 충족하지 못하고 있습니다. 벤치마크(benchmark)에서 인상적인 정확도를 달성했음에도 불구하고, 이러한 모델들은 오답이 치명적인 결과를 초래할 수 있는 경우에도 확신에 찬 환각(hallucination)을 생성합니다. GSM8K, MedQA, GPQA에 대한 평가(evaluation) 결과, 프론티어 모델들은 심각한 페널티에 대한 명시적인 경고가 있음에도 거의 답변을 기권(abstain)하지 않는 것으로 나타났으며, 이는 프롬프트(prompt)가 답변을 하지 않는 것보다 어떤 답변이라도 내놓는 것을 보상하는 학습(training) 방식을 뒤집을 수 없음을 시사합니다. 이에 대한 해결책으로, 우리는 검증 가능한 보상 기반 강화학습(RLVR)을 수정하여 이진 보상 대신 삼원 보상(정답 +1, 기권 0, 오류 -$\lambda$)을 사용하는 '강화된 망설임(Reinforced Hesitation, RH)'을 제안합니다. 논리 퍼즐에 대한 통제된 실험에 따르면, $\lambda$를 다양화함에 따라 파레토 프론티어(Pareto frontier)를 따라 서로 다른 모델이 생성되며, 각 학습 페널티는 그에 대응하는 위험 영역에 최적화된 모델을 도출합니다. 즉, 낮은 페널티는 적극적인 답변자를, 높은 페널티는 보수적인 기권자를 만들어냅니다. 동일한 프론티어가 MATH Level 4--5 및 의료 질의응답(medical QA)에서도 유지되며, 새로운 데이터셋(dataset)으로도 전이됩니다. 이어 우리는 학습된 기권을 조율 신호(coordination signal)로 활용하는 두 가지 추론(inference) 전략을 도입합니다. 캐스케이딩(cascading)은 위험 감수 성향이 감소하는 순서로 모델에 쿼리를 라우팅하며, 셀프 캐스케이딩(self-cascading)은 기권 시 동일한 모델에 다시 질의합니다. 두 전략 모두 더 적은 연산 비용으로 다수결 투표(majority voting)보다 우수한 성능을 보입니다. 이러한 결과는 기권을 1급 학습 목표(first-class training objective)로 확립하여 "모르겠습니다"를 실패가 아닌 조율 신호로 전환하고, 모델이 자신의 한계에 대해 보정된 정직성을 통해 신뢰를 얻을 수 있도록 합니다.
대규모 언어 모델(LLM)의 지식 경계를 평가하기 위해 Know2Guess는 데이터 오염·기권·거부를 분리하는 오염 인지 다중 영역 벤치마크로, 다섯 도메인 1,200문항과 빌드 시점 고정 라벨·이중 파서로 FLAN-T5, Qwen2.5-Instruct, Llama-3-Instruct를 평가한다. Qwen2.5-3B-Instruct가 전반적 신뢰성에서 최고이나 답변이 예상되는 영역과 보정(calibration)은 여전히 어렵고, 무해한 항목에 대한 거부가 남아 있어 답변 가능성·기권·거부·오염을 구분 감사할 재현 가능 프로토콜을 제공한다.
대규모 언어 모델(LLM)은 의료 분야에서 의사결정 지원에 점점 더 많이 사용되고 있지만, 임상 근거는 종종 불완전하거나 계속 변화한다. 사용 가능한 정보가 신뢰할 수 있는 답을 뒷받침하기에 불충분할 때, 모델은 근거 없는 응답을 제공하기보다 명확화를 요청하거나 기권해야 한다. 그러나 기존 의료 벤치마크는 일반적으로 처음부터 완전한 정보가 제공된다고 가정한다. 우리는 임상 정신의학에서 진단 불확실성이 점진적으로 드러나는 상황에서 LLM이 어떻게 대응하는지 평가하기 위한 순차 벤치마크 Safe-Psych를 제안한다. Safe-Psych는 점진적 근거 공개를 시뮬레이션하도록 분절된 1,000개 이상의 실세계 정신과 임상 기록을 포함하며, 각 단계마다 정신과 의사가 도출한 행동 레이블 DIAGNOSE, CLARIFY, ABSTAIN을 제공한다. 우리는 완전 정보 설정과 순차 설정에서 여러 최신 LLM을 평가한다. 결과는 능력이 교정(calibration)을 보장하지 않음을 보여준다: 강력한 모델조차 불완전한 임상 정보 하에서는 어려움을 겪으며, 대부분의 모델에서 기권 부족(under-abstention)이 60%를 초과하고, 안전성 인식 프롬프팅은 성급한 판단을 줄이는 대신 오류를 과도한 기권 쪽으로만 이동시킨다. 순차 평가에서 모델은 충분한 근거가 제공되기 전에 자주 진단하며, 명시적으로 프롬프트하지 않는 한 명확화를 거의 요청하지 않는다; 이러한 성급한 진단은 적시 진단보다 정확도가 낮다. 전반적으로 Safe-Psych는 평가 대상 모델 전반에 걸친 한계를 드러낸다: 임상 근거가 불완전하고 추가 정보가 필요하다는 것을 인식하는 능력. 우리는 의료 분야에서 LLM 안전성 개선 연구를 지원하기 위해 Safe-Psych를 공개한다.
대규모 언어 모델(LLM)에 검색 도구와 결과 보상 강화학습(RL)을 결합하는 최근의 발전은 오픈 도메인 QA 태스크에서 새로운 최첨단 결과를 달성했습니다. 그러나 우리는 현재의 학습 패러다임이 심각한 취약점을 내포하고 있다고 주장합니다. 즉, 정답에 대한 보상은 주로 제공하지만, 검색이 실패했을 때 조작된 답변에 대한 패널티를 부여하지 않아 암묵적으로 환각을 악화시킨다는 점입니다. 이를 해결하기 위해 우리는 기권 인식 강화학습(AWA-RL, Abstention-Aware Reinforcement Learning)을 제안합니다. AWA-RL은 모델의 쿼리별 사전 능력과 지속적인 온-정책 학습 관찰을 활용하여 기권 보상을 동적으로 조정합니다. 또한 우리는 능력-신뢰성 트레이드오프를 측정하기 위한 새로운 지표인 RA-F1을 도입합니다. 기권하지 않는 베이스라인과 비교했을 때, AWA-RL은 절대 정밀도를 최대 10.3%, 전반적인 RA-F1을 2.9% 향상시키며, 원시 정확도의 희생은 미미한 수준에 그칩니다. 이러한 결과는 AWA-RL이 높은 능력과 신뢰성을 갖춘 검색 에이전트를 성공적으로 생성함을 확인합니다. 코드, 데이터, 모델 가중치는 https://github.com/zfj1998/AWA-RL에서 공개적으로 이용 가능합니다.
대규모 언어 모델(LLM)의 선택적 답변 거부(abstention)는 "오답 생성"과 "답변 불가 질문에 대한 응답"이라는 두 개의 독립적인 축으로 분리됨을 2B~14B 규모의 다섯 모델에서 실증하며, 출력 신뢰도는 정오(正誤) 판단에는 유효하지만 답변 가능성 판별에는 거의 무력(AUROC 0.54~0.67)한 반면 은닉 상태 프로브는 0.97~0.99에 달한다. 이 두 축을 각각 별도로 임계값 처리하는 이중 위험 인증 정책은 단일 신뢰도 임계값 대비 올바른 답변 커버리지 0.75에서 두 예산을 모두 보증하며, 14B 모델에서는 이 정책만이 유일하게 인증을 통과한다.
대규모 언어 모델(LLM)은 클로즈드북 질의응답에서 자신의 지식 한계를 인식하는 데 어려움을 겪는 경우가 많으며, 이로 인해 자신감 있는 환각(hallucination)이 발생한다. 분해 프롬프팅(decomposed prompting)은 일반적으로 정확도 향상을 위해 사용되지만, 본 연구에서는 신뢰성에 미치는 영향을 조사한다. 우리는 서로 다른 모델 규모와 다중 홉(multi-hop) QA 벤치마크에 걸쳐 과제 동등한 세 가지 프롬프팅 방식인 Direct, Assistive, Incremental을 평가한다. 분해를 통한 정확도 향상은 최전선 모델(frontier model)에서 감소하지만, 프롬프팅 방식 간 불일치가 잠재적 오류의 강력한 지표로 남아있음을 발견하였다. 사실적 지식은 일반적으로 안정적인 반면 환각은 확률적이기 때문에, 방식 간 합의(cross-regime agreement)는 내부 불확실성에 대한 정밀한 신호를 제공한다. 우리는 이 신호를 활용하여 검색이나 미세조정(fine-tuning) 없이 학습(training) 없는 기권 정책(abstention policy)을 구현한다. 실험 결과, 불일치 기반 기권이 표준 불확실성 기준선보다 오류 탐지기로서 우수한 성능을 보이며, 다양한 설정에서 F1과 AUROC를 모두 향상시키는 것을 확인하였다. 이는 분해 기반 프롬프팅이 클로즈드북 QA에서 모델 신뢰성을 위한 실용적인 진단 프로브로 활용될 수 있음을 보여준다.
LLM의 언어적 신뢰도(verbal confidence) 보고가 답변의 정확성보다 확약/기권(commit/abstain) 결정을 훨씬 더 잘 예측한다는 사실을 신경과학의 2단계 기권 패러다임으로 검증했으며, 보정된 토큰 로그 확률은 반대로 정확성과 더 긴밀하게 연동되는 상반된 양상을 보였다. Gemma 3/4의 활성화 공간 분석에서도 언어적 신뢰도와 기권 결정이 정확성과는 거의 직교하는 방향에 인코딩됨을 확인하여, 언어적 신뢰도를 신뢰성의 대리 지표로 취급하는 관행에 근본적인 의문을 제기한다.
대규모 다중 에이전트 시스템(MAS)에서 소규모 파인튜닝 하위 에이전트가 모호하거나 지원되지 않는 요청에 과도하게 답해 환각을 내는 문제를 해결하기 위해, EARS는 거절(abstention)을 코디네이터가 재라우팅·명확화·폴백(fallback)에 활용할 수 있는 설명적 실패 신호로 재정의하고, 보정된 LLM-as-a-Judge 앙상블로 큐레이션한 데이터로 하위 에이전트를 파인튜닝한다. 실무 전자상거래 BI 어시스턴트 평가에서 전체 응답 통과율이 68.5%에서 78.9%로 향상되어 하위 에이전트 측 설명적 거절이 MAS 신뢰성을 개선함을 보였다.
언어 모델은 점점 더 유지보수 작업에서 자문 시스템으로 활용되고 있다. 환각(hallucination)을 방지하기 위해 최근 시스템은 절차 문서에 모델을 그라운딩(grounding)하여 승인된 단계로 제한한다. 그러나 실제로는 운영자 질의가 이 경로에서 자주 벗어나며, 대화 중간에 범위 밖 입력을 인식해야 하는데, 이러한 역학은 현행 벤치마크에서 거의 우선순위로 다루지 않는다. 우리는 DiagFlowBench를 제안한다. 이는 소비재 제조업체의 산업용 진단 플로차트 50개를 절차 준수 발화와 범위 밖 발화가 대비되는 1,676개의 다중 턴 대화로 변환한 데이터셋이다. 상업용 및 오픈 가중치 모델 10종을 평가한 결과 거부(abstention) 비율에서 큰 편차가 드러났으며, 모델들은 사실을 날조하기보다 실제이지만 맥락적으로 부적절한 단계를 흔히 선택한다. 이렇게 매핑되었으나 잘못된 조언이 지닌 고유한 그럴듯함과 권위는 그라운딩 시스템의 어려운 취약점을 드러낸다.
세분화된 하위 그룹에서 데이터와 모순되는 예측 문제를 해결하기 위해 결정론과 통계적 일관성을 강제하고 불가능 시 예측을 보류하는 Fair Bayesian 분류기를 제안한다. 이 방법은 벤치마크 데이터셋에서 기존 모델보다 높은 정확도를 보이며 일관성 오류를 0으로 달성하여 포괄적인 공정성을 실현함을 입증했다.
랭킹 시스템은 건강, 교육, 고용과 같이 경제적·사회적으로 상당한 영향을 미칠 수 있는 고위험 도메인의 의사결정에 영향을 미친다. 이로 인해 안전성 메커니즘의 통합이 필수적이다. 그 중 하나인 기권(abstention)은 알고리즘 의사결정 시스템이 불확실하거나 신뢰도가 낮은 결정을 인간 전문가에게 위임할 수 있도록 한다. 기권은 주로 분류(classification) 태스크의 맥락에서 탐구되어 왔으며, 다른 머신러닝 패러다임에의 적용은 아직 충분히 연구되지 않았다. 본 논문에서는 쌍별 학습-투-랭크(pairwise learning-to-rank) 태스크에서의 기권을 위한 새로운 방법을 제안한다. 우리의 접근법은 랭커의 조건부 위험(conditional risk)에 대한 임계값 설정에 기반하며, 추정된 위험이 사전 정의된 임계값을 초과할 때 시스템이 결정을 기권한다. 본 연구의 기여는 세 가지로 요약된다: 최적 기권 전략에 대한 이론적 특성화, 기권 랭킹 모델 구성을 위한 모델 비종속적(model-agnostic) 플러그인 알고리즘, 그리고 여러 데이터셋에 걸친 포괄적인 실증 평가를 통해 제안 방법의 효과를 입증한다.