PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.02639v2cs.AI

충실성에 대한 긍정적 근거: LLM의 자체 설명은 모델 행동 예측을 돕는다

A Positive Case for Faithfulness: LLM Self-Explanations Help Predict Model Behavior

대규모 언어 모델(LLM)의 자체 설명(self-explanation)은 AI 감독(AI oversight)을 위한 유망한 도구로 자주 제시되지만, 모델의 실제 추론 과정에 대한 충실성(faithfulness)은 잘 이해되지 않고 있습니다. 기존의 충실성 평가 지표는 적대적 프롬프팅을 통해 불충실성을 식별하거나 추론 오류를 감지하는 데 주로 의존한다는 치명적인 한계가 있습니다. 이러한 방법들은 설명이 지닌 예측적 가치를 간과합니다. 우리는 충실한 설명이라면 관찰자가 모델의 의사결정 기준을 학습할 수 있게 하여 관련된 입력에 대한 모델의 행동을 더 잘 예측할 수 있어야 한다는 아이디어에 기반한 일반적이고 확장 가능한 지표인 정규화 시뮬레이션 가능성 이득(Normalized Simulatability Gain, NSG)을 소개합니다. 우리는 건강, 비즈니스, 윤리를 다루는 널리 쓰이는 데이터셋에서 추출한 7,000개의 반사실적(counterfactual) 사례에 대해 Gemini 3, GPT-5.2, Claude 4.5 등 18개의 최첨단 상용 및 공개 가중치 모델을 평가합니다. 그 결과, 자체 설명이 모델 행동 예측을 실질적으로 향상시킴을 확인했습니다(11-37% NSG). 또한 자체 설명은 외부 모델이 더 강력하더라도 해당 모델이 생성한 설명보다 더 많은 예측 정보를 제공합니다. 이는 외부 설명 방법이 모방할 수 없는 자기 지식(self-knowledge)에서 비롯된 이점을 시사합니다. 한편, 우리의 접근 방식은 모델 전반에 걸쳐 5-15%의 자체 설명이 심각한 오해의 소지가 있음을 보여줍니다. 이러한 불완전성에도 불구하고, 우리는 자체 설명에 대한 긍정적인 근거를 제시합니다. 즉, 자체 설명은 모델 행동을 예측하는 데 도움이 되는 정보를 인코딩하고 있습니다.

arXiv:2607.21090v1cs.LG

자기설명 충실성을 위한 대규모 언어 모델 학습

Training Large Language Models for Self-Explanation Faithfulness

우리는 자기설명(self-explanation)의 충실성(faithfulness)—모델이 생성한 추론이 내부 의사결정 과정을 얼마나 정확히 반영하는지—을 직접 최적화하는 강화학습(RL) 방법을 제안한다. 기존 연구는 충실성 평가에 초점을 맞추거나 추론 시점 프롬프팅(inference-time prompting) 프레임워크를 이용해 대규모 언어 모델(LLM)의 자기설명 추적 가능성(tractability)을 개선하는 데 집중하지만, 이러한 접근법은 충실한 자기설명을 생성하도록 모델 파라미터를 직접 최적화하는 메커니즘을 제공하지 않는다. 우리는 기존 충실성 지표를 RL 학습 목표로 수정하여 이 격차를 메운다. 우리는 (1) 모델이 자신의 결정에 영향을 미치는 요인을 정확히 탐지하도록 학습될 수 있는지, (2) RL이 이러한 요인의 공개(disclosure)를 직접 최적화하여 LLM 자기설명의 충실성을 향상시킬 수 있는지를 조사한다. 우리는 Phi-CCT 상관 지표에서 파생된 샘플별 보상을 사용하여 무작위 단어 삽입과 사용자 바이어스(user-bias) 삽입이라는 두 가지 개입 유형으로 실험한다. RL로 파인튜닝한 Llama3.1-8B와 Qwen3-8B는 Phi-CCT 충실성 지표에서 상당한 개선을 보이며, 분포 내(in-distribution) 점수는 거의 0에서 최대 0.664까지 상승하고, StrategyQA와 같은 홀드아웃 태스크에서 분포 외(out-of-distribution) 점수는 최대 0.691에 이른다. 개입 간 일반화(generalization)는 더 약하지만 더 흥미롭다: 사전적으로 무작위 단어 삽입만으로 학습된 모델이 사용자 바이어스 구문으로 일반화될 것으로 기대하지 않겠지만, Llama3.1-8B는 이 방향으로 0이 아닌 전이(transfer)를 보인다. 역방향과 Qwen3-8B는 이를 재현하지 않으며, 아직 설명할 수 없는 모델 의존적 및 설정 의존적 효과를 시사한다. 마지막으로 우리는 RL 학습에서 흔히 문제가 되는 보상 게이밍(reward gaming) 행동을 배제하기 위해 모델 행동을 분석한다. 궁극적으로 우리는 모델이 영향력 있는 요인을 암묵적으로 식별하고 이를 공개하도록 학습될 수 있음을 보여주며, LLM에서 불충실한 추론을 줄이는 확장 가능한 경로를 제시한다.