언어 모델(LM)이 자신의 예측에 대한 설명을 생성하도록 학습시키면 언제 피상적 모방이 아닌 충실한 내성(introspection)이 나타나는가? 우리는 입력의 어떤 특징이 자신의 행동에 영향을 미쳤는지 설명하도록 학습된 LM을 연구하며, 수정된 입력에 대한 모델의 반사실적 행동을 지도 신호로 사용한다. 놀랍게도, 자신의 이전 체크포인트에서 도출된 고정된 반사실적 설명, 또는 심지어 다른 계열의 행동이 유사한 모델에서 도출된 설명으로 학습된 LM이 학습 대상의 행동보다 자신의 현재 행동에 더 충실한 설명을 자주 생성함을 발견했다. LM 설명과 행동 간의 이러한 "내성적" 결합은 행동 자체가 변하더라도 학습 설명이 학습 과정 내내 현재 행동과 충분히 상관되어 있을 때 나타난다. 또한 내성적 결합이 행동 변화를 따라간다는 점도 보인다. 설명 학습이 다른 사후 학습 목표와 동시에 제공되면, 갱신된 지도 없이도 설명이 그에 맞게 변한다. 이 현상은 아첨(sycophancy)과 거부를 포함한 여러 과제에서 나타나며 레이블 잡음에도 견고하다. 전반적으로 우리의 결과는 고정된 반사실적 설명 데이터셋조차도 내성을 위한 확장 가능하고 일반화 가능한 사후 학습 신호를 제공할 수 있음을 보여 준다.
최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.
대규모 언어 모델(LLM)의 자체 설명(self-explanation)은 AI 감독(AI oversight)을 위한 유망한 도구로 자주 제시되지만, 모델의 실제 추론 과정에 대한 충실성(faithfulness)은 잘 이해되지 않고 있습니다. 기존의 충실성 평가 지표는 적대적 프롬프팅을 통해 불충실성을 식별하거나 추론 오류를 감지하는 데 주로 의존한다는 치명적인 한계가 있습니다. 이러한 방법들은 설명이 지닌 예측적 가치를 간과합니다. 우리는 충실한 설명이라면 관찰자가 모델의 의사결정 기준을 학습할 수 있게 하여 관련된 입력에 대한 모델의 행동을 더 잘 예측할 수 있어야 한다는 아이디어에 기반한 일반적이고 확장 가능한 지표인 정규화 시뮬레이션 가능성 이득(Normalized Simulatability Gain, NSG)을 소개합니다. 우리는 건강, 비즈니스, 윤리를 다루는 널리 쓰이는 데이터셋에서 추출한 7,000개의 반사실적(counterfactual) 사례에 대해 Gemini 3, GPT-5.2, Claude 4.5 등 18개의 최첨단 상용 및 공개 가중치 모델을 평가합니다. 그 결과, 자체 설명이 모델 행동 예측을 실질적으로 향상시킴을 확인했습니다(11-37% NSG). 또한 자체 설명은 외부 모델이 더 강력하더라도 해당 모델이 생성한 설명보다 더 많은 예측 정보를 제공합니다. 이는 외부 설명 방법이 모방할 수 없는 자기 지식(self-knowledge)에서 비롯된 이점을 시사합니다. 한편, 우리의 접근 방식은 모델 전반에 걸쳐 5-15%의 자체 설명이 심각한 오해의 소지가 있음을 보여줍니다. 이러한 불완전성에도 불구하고, 우리는 자체 설명에 대한 긍정적인 근거를 제시합니다. 즉, 자체 설명은 모델 행동을 예측하는 데 도움이 되는 정보를 인코딩하고 있습니다.
표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
도구를 사용하는 에이전트는 기록된 실행은 달라지면서 최종 결정을 반복할 수 있다. 우리는 결정 반복 가능성, 궤적 일치, 증거 조건부 충실성(evidence-conditioned faithfulness)을 구분하는 프레임워크인 결정론-충실성 보증 하네스(Determinism-Faithfulness Assurance Harness, DFAH)를 제안한다. 과제 정확성(task correctness)은 별도로 한정된 라벨과 평가가 필요하며, 증거 조건부 충실성은 과거 v2 에이전틱 실험에서 평가되지 않았다. 원 v2 연구는 세 가지 합성 금융 과제에서 4,705회의 에이전틱 실행과 21개 모델-벤치마크 구성 요약 전반에 걸친 결정-결정론/과제-라벨 일치 상관 r = -0.11을 보고했다. 이 통계는 과거 구성 테이블에서 재현 가능하지만, 이후 제외된 포트폴리오 픽스처(portfolio fixture)를 포함한다. 이는 통계적 독립성, 예측적 무용성, 또는 구조적 결정론-정확도 트레이드오프의 증거가 아니라 역사적 기술로 보존된다. 기록된 결정 집중과 도구 경로(tool-path) 변동은 숨겨진 모델 전략을 식별하지 않는다. 이번 정정은 과거 증거를 한정하고, 그러한 근거 없는 해석에서 도출된 배포 권고를 제거한다. 별도의 수정 연구인 DFAH-Bench(arXiv:2607.20491)는 결정/경로 불일치에 대한 한정된 증거를 제공한다. 여기서 유지되는 기여는 측정 프레임워크이다. 반복 가능성, 관측 가능한 실행, 증거 정렬, 정확성은 명시적 포착과 연구 경계와 함께 서로 다른 증거를 요구한다.
높은 정확도를 보이는 대규모 언어 모델(LLM)을 신뢰해도 될까? LLM은 추론 벤치마크에서 높은 정확도를 달성하지만, 정답 여부만으로는 그 답을 도출하는 데 사용된 추론의 품질을 알 수 없다. 이는 결과 기반 평가의 근본적인 한계를 드러낸다. 모델은 결함 있는 추론을 통해 정답에 도달할 수 있으며, 추론 능력이 상당히 다른 모델들도 암기나 과잉 최적화 등으로 인해 유사한 벤치마크 정확도를 보일 수 있다. 본 논문에서는 기존 벤치마크를 활용하여 결과 기반 평가를 넘어 추론 자체의 품질을 평가할 수 있는지를 탐구한다. 우리는 (1) 유사한 정확도를 가진 모델들을 변별하고, (2) 입력 프롬프트 및 생성 설정의 변화에 강건한 지표를 모색한다. 이를 위해 충실성, 일관성, 유용성, 사실성 등의 차원에서 추론 경로를 평가하는 추론 점수를 제안한다. 남은 문제는 다수의 샘플링된 경로에 걸쳐 이 점수를 어떻게 집계할 것인가이다. 단순 평균은 바람직하지 않은데, 특히 가능한 경로의 수가 급격히 증가하는 장기 수평(long-horizon) 설정에서는 신뢰도가 낮은 정답 경로가 우연에 의한 것일 가능성이 높기 때문이다. 이를 해결하기 위해 우리는 상위 K%의 가장 확신 높은 경로만을 사용하여 추론 품질을 산출하는 필터링된 추론 점수(FRS, Filtered Reasoning Score)를 제안한다. FRS로 평가하면, 표준 정확도 기준으로는 구별되지 않는 모델들이 추론 품질에서 유의미한 차이를 보인다. 또한 특정 벤치마크에서 FRS가 높은 모델은 정확도와 추론 품질 모두에서 다른 추론 벤치마크에서도 더 나은 성능을 보이는 경향이 있다. 이러한 결과들은 FRS가 모델의 전이 가능한 추론 능력을 포착함으로써 정확도를 보완함을 시사한다. 평가 코드베이스를 오픈소스로 공개한다: https://github.com/Manas2006/benchmark_reproducibility.
사고의 연쇄(CoT) 설명은 충실할 때만 감독(oversight)을 지원한다: 명시된 추론이 실제로 답을 생성해야 한다. FaithCoT-Bench의 인간 주석을 기준으로 불충실한 CoT에 대한 블랙박스(행동적) 탐지를 감사한 결과, 답의 정확성이 모든 수준에서 문제를 구조화한다는 것을 발견했다. 답의 부정확성만으로도(오라클 진단이며 배포 가능한 탐지기는 아님) 모든 목적별 신호(AUROC 0.696)를 능가하는데, 이는 주석 달린 불충실성의 69%가 오답에서 발생하기 때문이다. 정확성에 따라 층화하면 탐지가 두 체제로 나뉜다: 정답에서는 행동적 신호가 충실한 추론과 사후 추론(post-hoc reasoning)을 중간 정도로 분리한다(0.63–0.67); 불충실성이 대부분 존재하는 오답에서는 테스트된 어떤 신호도 우연 이상으로 탐지 가능하지 않다(벤치마크 전역 신호에 대해 네 모델 모두에서 재현됨). 표준 단계 제거(step-removal) 지표는 인간 라벨과 반상관하며, 이 역전은 벤치마크의 공개 점수와 힌트 의존적 반사실(counterfactually) 라벨링된 trace에서 재현된다. 선형 프로브(linear probes)는 Llama-3.1-8B에서 행동적으로 맹목적인 체제를, Qwen-2.5-7B에서 정답 체제를 해독하며, 체제 간 공유되고 양의 방향으로 정렬된 방향은 탐지되지 않는다; 지시된 답 우선(answer-first) trace(7개 모델)는 어느 주석 체제로도 전이(transfer)되지 않는 반면, 힌트로 유발된 비언어화(unverbalized) 답 전환은 모델 및 출처에 따라 전이된다. 또한 벤치마크의 라벨 의미론에서 문서-데이터 불일치를 독립적으로 검증하고 해결한다.
검색-증강 생성(RAG)은 다중 홉(multi-hop) 질문에서 높은 답변 정확도를 달성할 수 있지만, 결과 수준 보상(outcome-level rewards)은 종종 추론 추적(reasoning traces)을 약하게 그라운딩(grounding)하고 감사(audit)하기 어렵게 만듭니다. 노이즈가 있는 검색 환경에서는 모델이 정답-오답-추론(right-answer-wrong-reason) 실패를 보일 수 있으며, 이는 최종 답은 맞지만 뒷받침 논거(rationale)가 지름길(shortcuts)이나 근거 없는 증거를 활용하는 경우입니다. 따라서 우리는 검색 후 추론에서 충실성 유도 정렬(alignment)이 답변 정확도를 해치는지 묻습니다. 이 질문을 연구하기 위해, 우리는 검색-증강 다중 홉 질의응답(QA)의 응답 생성 단계를 위한 강화학습 프레임워크인 CRAFT(Calibrated Reasoning with Answer-Faithful Traces)를 제안합니다. CRAFT는 설정 가능한 감사 가능성(auditability)을 갖춘 구조화된 추론 추적을 생성하도록 모델을 학습시키며, 형식 준수(format compliance), 답변 정확성, 인용(citation) 유효성에 대한 결정적 보상(deterministic rewards)과 의미적 충실성(semantic faithfulness)을 위한 판사(judge) 기반 보상을 결합합니다. 모델 규모와 벤치마크에 걸친 실험은 CRAFT가 1.5B 이상에서 과제별 추론 역량을 끌어내어 답변 정확도와 충실성(Faithfulness)을 모두 향상시킴을 보여주며, 0.5B에서는 성능이 여전히 템플릿(template)에 급격히 의존적입니다. 7B에서는 CRAFT가 평가된 모든 설정에서 Base 모델 대비 충실성(Faithfulness)을 향상시키고, 강력한 폐쇄형(closed-source) 모델과 경쟁력 있는 수준을 유지합니다. 코드는 https://github.com/Ameame1/CRAFT 에서 이용할 수 있습니다.
대규모 언어 모델(LLM)은 텍스트 소스로부터 팟캐스트와 같은 장문 대화형 콘텐츠를 생성하는 데 점점 더 많이 사용되고 있다. 이러한 시스템은 유창하고 매력적인 내러티브를 생성하지만, 종종 그라운딩되지 않은(ungrounded) 정보를 도입한다. 본 연구에서는 문서 기반(document-grounded) 팟캐스트 생성에서의 충실성(faithfulness)에 대한 최초의 체계적 연구를 제시하며, 여기서는 장문 다중 화자 트랜스크립트의 대화 턴(conversational turns) 전반에 걸쳐 그라운딩(grounding)이 유지되어야 한다. 우리는 5개 도메인에 걸친 1,500개 이상의 문서로 데이터셋을 구축하고, 여러 LLM을 사용하여 팟캐스트 트랜스크립트를 생성한다. 우리는 대화 턴이 원본 문서에 의해 뒷받침되는지 평가하기 위한 턴 수준 LLM-as-a-judge 프레임워크를 도입하고, 인간 연구를 통해 그 신뢰성을 검증한다. 분석 결과, GPT-4o를 포함한 최신(state-of-the-art) 모델조차도 빈번하게 그라운딩되지 않은 콘텐츠를 생성함을 보여준다. 이 문제를 완화하기 위해, 우리는 대화 흐름을 유지하면서 비충실한 대화 턴을 탐지하고 재작성하는 모델 불가지(model-agnostic) 프레임워크인 catch-n-repair를 제안한다. 실험은 도메인 내(in-domain) 및 도메인 외(out-of-domain) 설정 모두에서 충실성의 일관된 개선을 보여준다.
우리는 자기설명(self-explanation)의 충실성(faithfulness)—모델이 생성한 추론이 내부 의사결정 과정을 얼마나 정확히 반영하는지—을 직접 최적화하는 강화학습(RL) 방법을 제안한다. 기존 연구는 충실성 평가에 초점을 맞추거나 추론 시점 프롬프팅(inference-time prompting) 프레임워크를 이용해 대규모 언어 모델(LLM)의 자기설명 추적 가능성(tractability)을 개선하는 데 집중하지만, 이러한 접근법은 충실한 자기설명을 생성하도록 모델 파라미터를 직접 최적화하는 메커니즘을 제공하지 않는다. 우리는 기존 충실성 지표를 RL 학습 목표로 수정하여 이 격차를 메운다. 우리는 (1) 모델이 자신의 결정에 영향을 미치는 요인을 정확히 탐지하도록 학습될 수 있는지, (2) RL이 이러한 요인의 공개(disclosure)를 직접 최적화하여 LLM 자기설명의 충실성을 향상시킬 수 있는지를 조사한다. 우리는 Phi-CCT 상관 지표에서 파생된 샘플별 보상을 사용하여 무작위 단어 삽입과 사용자 바이어스(user-bias) 삽입이라는 두 가지 개입 유형으로 실험한다. RL로 파인튜닝한 Llama3.1-8B와 Qwen3-8B는 Phi-CCT 충실성 지표에서 상당한 개선을 보이며, 분포 내(in-distribution) 점수는 거의 0에서 최대 0.664까지 상승하고, StrategyQA와 같은 홀드아웃 태스크에서 분포 외(out-of-distribution) 점수는 최대 0.691에 이른다. 개입 간 일반화(generalization)는 더 약하지만 더 흥미롭다: 사전적으로 무작위 단어 삽입만으로 학습된 모델이 사용자 바이어스 구문으로 일반화될 것으로 기대하지 않겠지만, Llama3.1-8B는 이 방향으로 0이 아닌 전이(transfer)를 보인다. 역방향과 Qwen3-8B는 이를 재현하지 않으며, 아직 설명할 수 없는 모델 의존적 및 설정 의존적 효과를 시사한다. 마지막으로 우리는 RL 학습에서 흔히 문제가 되는 보상 게이밍(reward gaming) 행동을 배제하기 위해 모델 행동을 분석한다. 궁극적으로 우리는 모델이 영향력 있는 요인을 암묵적으로 식별하고 이를 공개하도록 학습될 수 있음을 보여주며, LLM에서 불충실한 추론을 줄이는 확장 가능한 경로를 제시한다.
LLM-as-judge 시스템의 바이어스 연구는 일반적으로 LLM에게 사실에 기반한 답변과 짝을 이룰 환각(hallucinated) 답변을 생성하도록 프롬프트하여 합성 코퍼스를 구축한 뒤, 두 답변을 모두 판정자에게 제시한다. 우리는 이러한 생성 단계가 조용히 실패한 사례를 보고하고, 이 실패 모드가 우발적이기보다 구조적이라고 주장한다. 다국어(터키어/영어) 충실성(faithfulness) 판정 코퍼스에서, 판정과 생성 호출 간 공유된 디코딩 예산(decoding-budget) 매개변수가 한 producer의 환각 답변을 몇 단어로 잘라냈다. 그 결과 생성된 항목들은 크고 통계적으로 견고한 효과를 만들어냈다: 한 판정자의 선택 정확도에서 32포인트의 교차 언어적 붕괴가 N=50에서 N=500까지 재현되었고, 세 층의 기제적 설명으로 설명되었으며, 통제된 producer 교체 실험으로 확인되었으나, 이 모든 것은 실재하지 않았다. 공유 매개변수가 수정되자 효과는 상한(ceiling)으로 사라졌고, 어떠한 집계 통계 검사도 아닌 원시 생성물의 수동 열람만이 결함을 드러냈다. 두 번째로 측정된 바이어스(Markdown 서식 선호)는 조작된 것이 아니었으나 동일한 결함에 의해 왜곡되었고, 그 크기와 한 경우에는 부호가 자극 길이에 따라 변했으며, 이는 집계 지표가 첫 번째와 구별할 수 없는 양상이다. 우리는 근본적 취약점을 테스트 오라클 문제로 프레이밍한다: 부정 예제가 LLM 생성인 코퍼스는 항목 무결성을 검증할 기계적 방법이 없는 반면, gold 답변의 결정론적 교란(deterministic perturbation)으로 구축된 코퍼스는 항목 수준의 오라클을 공짜로 제공한다. 양성 대조(positive control)가 이 주장을 직접 뒷받침한다: 최소 교란 기반 코퍼스에 주입된 유사한 결함은 비용 제로·인력 제로의 gold-to-negative 문자열 비교로 100% 정확도로 잡힌다. 우리는 대부분의 현대 다국어 LLM-as-judge 코퍼스를 설명한다고 주장하는 오라클 없는(oracle-less) 체제에서 작업하는 분석가들을 위한, 우리 자신의 사례에서 도출된 검증 프로토콜로 마무리한다.
인과 발견 알고리즘은 확률 변수들 사이의 인과 의존성을 기술하는 네트워크를 학습한다. 일반적인 워크플로우는 관측 데이터의 조건부 독립성 속성을 활용해 부분적으로 방향이 지정된 인과 관계를 결정한 후, 미지의 인과 방향을 정하기 위해 개입(intervention)을 적용하는 방식으로 구성된다. 첫 번째 단계의 핵심 가정은 충실성(faithfulness)으로, 인과적으로 연결된 변수들이 통계적 의존성을 나타내야 한다는 요건이다. 많은 자연 시스템에는 시스템적 강인성을 달성하기 위해 상쇄되는 완충 및 안정화 경로가 포함되어 있다. 이러한 경로의 상쇄는 충실성을 위반하며, 그 결과 인과 발견 알고리즘이 인과 의존성을 잘못 제거하게 된다. 본 논문에서 우리는 하드 개입(hard intervention)이 구조 발견의 첫 번째 단계에서 간과되는 인과 연결의 존재/부재에 관한 정보를 담고 있다고 주장한다. 우리는 상쇄를 허용하는 완화된 가정인 개입-즉각성 충실성(intervention-immediacy faithfulness)이 하드 개입을 통해 인과 구조를 비모수적으로 식별하기에 충분함을 보인다. 이러한 결과는 개입을 인과 구조에 관한 정보의 일차적 담지자로 자리매김하며, 이는 조건부 독립성 검정보다 우선시되어야 한다. 패러다임을 전환하기 위해, 우리는 개입 범위의 한계로 인해 식별 기준이 충족되지 않을 경우의 동치류(equivalence class)도 명시한다.
13개 패밀리 75개 대규모 언어 모델(LLM)을 대상으로 자기 설명(self-explanation)의 충실도(faithfulness)를 반사실적(counterfactual) 개입 방식으로 분석하고, 기존 CCT의 한계를 개선한 phi-CCT와 F-AUROC라는 두 가지 새로운 평가 지표를 제안한다. 실험 결과, 모델 규모가 클수록 모든 지표에서 충실도가 일관되게 향상되는 명확한 스케일링 추세가 확인되었다.
실제 사용자 요청에서 수집한 310개의 복합 프롬프트로 구성된 Arena-T2I Hard 벤치마크를 제안하며, 기존 벤치마크가 최상위 텍스트-이미지(T2I) 모델에서 포화 상태임을 보인다. 각 프롬프트를 DAG 구조의 yes/no 질문 체크리스트로 분해하는 의존성 인식 충실도(faithfulness) 보상과, 그룹 분리 정규화(GDPO)를 통해 미적 보상과 결합함으로써 SD3.5-Medium 및 FLUX.1-dev에서 단일 보상 또는 단순 가중합 기반 기준선 대비 충실도-미적 트레이드오프를 개선한다.
본 논문에서는 멀티턴 검색-증강 생성(RAG) 시스템을 평가하는 SemEval-2026 Task 8(MTRAGEval)을 위한 시스템 5ting을 소개한다. 멀티턴 RAG는 문맥 이탈(context drift), 불충분한 명세(under-specification), 환각(hallucination) 위험을 수반한다. 본 시스템은 FAISS 인덱싱을 활용한 BGE-M3 밀집 검색, 이중 쿼리 병합 검색, LLM 기반 재순위화(reranking)를 결합하고, 검색된 증거에 제한된 역할 분리 생성(role-separated generation)을 후속 단계로 적용한다. 검색기는 Task A에서 nDCG@5 = 0.4719를 달성하였으며, 엔드-투-엔드 시스템은 Task C에서 조화 점수(harmonic score) 0.5597, RL_F = 0.7692로 순위에 올랐다.
기존 사실성(factuality) 및 충실성(faithfulness) 지표는 답변이 그라운딩(grounding) 문서에 의해 뒷받침되는지 또는 모순되는지를 평가하지만, 뒷받침하는 증거와 모순되는 증거가 공존하는 경우를 포착하지 못한다. 우리는 그라운딩 문서 내 상충하는 증거를 모델의 응답이 얼마나 잘 인정하는지를 정량화하는 새로운 지표 ConflictScore를 제안한다. 우리의 프레임워크는 응답을 원자적 주장(atomic claims)으로 분해하고, 각 주장을 각 그라운딩 문서에 대해 라벨링한 뒤, 이 라벨들을 두 가지 상호 보완적 측정값으로 집계한다: ConflictScore-Count(CS-C)는 충돌을 보이는 주장의 비율이고, ConflictScore-Ratio(CS-R)는 뒷받침 증거와 모순 증거 간의 균형이다. 우리는 모호성, 모순, 상이한 의견 등 다양한 형태의 충돌을 다루는 벤치마크 ConflictBench를 개발하여 이 지표를 체계적으로 평가한다. 실험 결과 ConflictScore는 다양한 도메인에서 과신하는 주장을 효과적으로 탐지할 수 있으며, TruthfulQA에서 진실성(truthfulness)을 향상시키는 교정적 피드백 메커니즘으로 활용될 수 있음을 보여준다.
언어 모델은 예측에 대해 그럴듯한 근거(rationale)를 생성할 수 있지만, 이러한 설명이 모델의 내부 추론을 충실하게 반영하지 않을 수 있다. 우리는 추론 trace에 인라인 클레임을 삽입하고, 보조 일관성 헤드를 학습하여 근거 구간 은닉 상태로부터 프로그램적 검증기 출력을 예측하는 검증기 결합 추론(verifier-coupled reasoning) 프레임워크를 제안한다. 핵심 발견은 디코드 가능성과 충실성 사이의 격차이다: 일관성 학습은 근거 표현으로부터 검증기 정보를 안정적으로 디코드 가능하게 만들지만, 디코드 가능성이 충실한 생성을 보장하지는 않는다. LeanCheck(형식 정리 증명)에서는 근거 전용 및 증명 전용 풀링이 반사실적 충돌 하에서 완벽한 방향 분리를 달성한다. KataGo(바둑 엔진)에서는 해설 구간이 10분류 승률 버킷을 81% 정확도로 인코딩한다. 그러나 코드 환경에서는 모델이 98.6% 결합을 달성하면서도 생성된 설명은 비충실하다: 유창한 산문과 올바른 구조화된 클레임을 갖추었지만, 무관한 알고리즘을 설명한다. 통제된 사전학습 대 처음부터 비교는 이 격차가 용량에 의해 주도되지 않음을 보여준다. 합성 활성화 패칭은 인과적 영향(기준선 31% 대비 73–89%)을 확인하고, FEVER는 증거 전용 풀링이 원시 정확도를 희생하는 대가로 진정한 증거 민감도를 분리함을 밝힌다. 주장별 분석은 일관성 손실이 이진적 클레임보다 세분화된 클레임에 불균형적으로 이득을 준다는 것을 보여준다. 이러한 결과는 일관성 손실이 효과적인 진단 및 표현 형성 도구이지만, 충실한 추론을 위한 충분조건은 아님을 확립한다.
사고의 연쇄(CoT) 설명은 언어 모델이 복잡한 문제를 해결하는 방식을 해석하는 데 널리 사용되지만, 이러한 단계별 설명이 모델이 실제로 답에 도달하는 방식을 반영하는지 아니면 단순한 사후적 정당화인지는 여전히 불분명합니다. 우리는 개별 추론 단계가 모델의 의사결정 과정에 충실한지 측정하는 지표인 정규화된 로짓 차이 감소(NLDD)를 제안합니다. 우리의 접근 방식은 설명에서 개별 추론 단계를 교란하고 답에 대한 모델의 확신도가 얼마나 감소하는지 측정하여 해당 단계가 진정으로 중요한지 확인합니다. 이러한 측정을 표준화함으로써, NLDD는 서로 다른 아키텍처에 걸쳐 엄격한 모델 간 비교를 가능하게 합니다. 통사적, 논리적, 산술적 작업에 걸쳐 세 가지 모델 계열을 테스트한 결과, 우리는 체인 길이의 70~85% 지점에 일관된 추론 지평선(k*)을 발견했으며, 이 지점을 넘어서는 추론 토큰은 최종 답변에 거의 영향을 미치지 않거나 부정적인 영향을 미칩니다. 또한 우리는 모델이 작업에 완전히 실패하면서도 올바른 내부 표현을 인코딩할 수 있음을 발견했습니다. 이러한 결과는 정확도만으로는 모델이 실제로 체인을 통해 추론하는지 여부를 드러내지 못함을 보여줍니다. NLDD는 CoT가 언제 중요한지 측정할 수 있는 방법을 제공합니다.