원문 초록
Recent language models exhibit significant logical reasoning abilities, yet the mechanisms supporting deductive inference remain poorly understood. This paper studies small transformer-based language models trained from scratch on multi-step deductive tasks, focusing on the distinction between horizontal reasoning, where intermediate steps are generated autoregressively, and vertical reasoning, where inference unfolds implicitly across layers before the first output token is produced. We analyze two synthetic tasks: logical consequence over chains of symbolic implications and root-to-leaf navigation in binary trees. Mechanistic interpretability reveals that Chain-of-Thought supervision enables models to learn rule-based inference rather than statistical shortcuts. In the horizontal setting, a shallow attention-only model develops interpretable circuits for rule completion, rule chaining, and final decision making, largely implemented through induction-head-like mechanisms. We further introduce a truncated pseudoinverse method to decode the information carried by queries, keys, and values. For vertical reasoning, Chain-of-Thought appears to act less as explicit step-by-step guidance and more as a form of curriculum learning, helping the model acquire increasingly complex reasoning patterns. Without Chain-of-Thought, models tend to memorize or exploit dataset biases. These results provide a low-level account of how transformers can implement deductive reasoning and suggest how Chain-of-Thought may serve different functions in horizontal and vertical reasoning.
요약
소규모 트랜스포머 언어 모델을 처음부터 학습시켜 수평적 추론(자기회귀적 중간 단계 생성)과 수직적 추론(레이어 간 암묵적 추론)의 메커니즘을 분석한 결과, 사고의 연쇄(Chain-of-Thought) 지도학습이 전자에서는 단계별 규칙 기반 추론 회로를 형성하고 후자에서는 커리큘럼 학습 효과를 유발함을 밝혔다. 귀납 헤드(induction head) 메커니즘과 절단 유사역행렬(truncated pseudoinverse) 기법을 통해 모델이 통계적 편향이 아닌 실제 논리 규칙을 학습함을 해석 가능성(mechanistic interpretability) 관점에서 저수준으로 규명했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2510.09340v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식
Task Context Shapes Component Roles in Language Models
대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.
SeOPD: 자체 생성된 사고의 연쇄로부터의 온라인 정책 증류를 통한 자가 진화형 대규모 언어 모델
SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought
온라인 정책 자가 증류(OPSD)의 최근 발전은 대규모 언어 모델(LLM)이 수작업 주석이나 외부 환경 피드백과 같은 외부 특권 정보(PI)를 활용하여 역량을 향상할 수 있음을 보여주었다. 그러나 정확한 주석을 확보하고 정교한 환경을 구축하는 데는 상당한 인적 노력과 연산이 요구되는 경우가 많아 OPSD의 확장성을 제한한다. 최근 몇몇 연구에서 외부 PI 없는 자가 개선을 탐색했으나 그에 따른 이득은 여전히 제한적이다. 본 연구에서는 LLM이 외부 PI 없이도 이에 필적하는 자가 개선을 달성할 수 있는지 탐구한다. 우리의 핵심 관찰은 단일 LLM이 심층 사고(deep-thinking) 모드 및 비사고(non-thinking) 모드와 같은 여러 추론(reasoning) 모드를 지원할 수 있으며, 심층 사고는 추론 과정에서 추가 정보를 생성한다는 점이다. 이러한 관찰을 바탕으로 우리는 LLM이 자체적인 사고의 연쇄(Chain-of-Thought, CoT)에서 생성된 정보를 증류하고 내재화할 수 있도록 하는 자가 진화형 온라인 정책 증류(SeOPD)를 제안한다. 구체적으로 SeOPD는 (1) 심층 사고 모드로 CoT를 생성하고, (2) 비사고 모드로 응답을 생성하며, (3) 생성된 CoT를 PI로 활용하여 비사고 응답에 토큰 수준의 감독을 제공함으로써, 추론 중 도출된 새로운 정보가 비사고 모드를 안내하고 공유된 모델 파라미터로 내재화되도록 하여 비사고 및 심층 사고 역량을 모두 향상시킨다. 다양한 LLM과 과제에 걸친 광범위한 실험은 SeOPD의 효과를 입증한다.
가중치는 특징을 읽고 쓴다: 활성화 공간에 기반한 확장 가능한 매개변수 분해
Weights Read and Write Features: Scalable Parameter Decomposition Grounded in Activation Space
활성화 공간(activation space)과 매개변수(parameter) 공간은 모델(model) 연산에 대한 상호보완적인 관점을 제공합니다. 활성화는 정보를 표현하는 반면, 가중치(weight)는 해당 정보를 읽고, 변환하며, 씁니다. 그러나 기존의 해석 가능성(interpretability) 연구 방법들은 대체로 두 공간을 개별적으로 연구하여, 표현된 정보와 매개변수 수준 연산 간의 연결 관계를 충분히 탐구하지 못했습니다. 본 논문에서는 활성화 공간과 매개변수 공간을 결합하여 분해하고, 학습된 각 가중치 컴포넌트를 그것이 읽거나 쓰는 활성화 특징(activation feature)에 그라운딩(grounding)하는 활성화 지원 매개변수 분해(ASPD, Activation-Supported Parameter Decomposition)를 소개합니다. 이러한 그라운딩은 모델의 내부 활성화를 활용하여 본래 비유일(non-unique)할 수 있는 매개변수 분해를 제한하며, 내부 재구성 목표(reconstruction objective)는 분석 대상 가중치 행렬에서 국소적인 학습 신호를 제공합니다. 종합적으로 이러한 특성들은 사전학습된 대규모 언어 모델(LLM)에서 확장 가능하고, 해석 가능하며, 인과적으로 편집 가능한 매개변수 분해를 가능하게 하며, 이는 Qwen-3-8B에서 입증되었습니다. 학습된 읽기-쓰기 컴포넌트는 매개변수 수준의 메커니즘 회로로도 조합될 수 있습니다. 우리는 ASPD를 사용하여 고전적인 IOI 회로의 기반이 되는 메커니즘을 복원하고 모델 가중치를 통한 의미론적 변환을 추적합니다.
효율적 추론 학습이 CoT 충실도와 모니터링 가능성을 항상 저해하지는 않는다
Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability
사고의 연쇄(Chain-of-Thought, CoT) 추론은 인간이 대규모 언어 모델(LLM)이 답변을 도출하는 과정을 점검하고 모델의 동작을 감독할 수 있게 해줍니다. 그러나 이러한 추론은 추론(inference) 비용 증가를 수반하므로, 모델이 더 적은 토큰을 사용하여 문제를 해결하도록 훈련시키는 효율적인 방법들이 주목받고 있습니다. 하지만 이러한 학습(training)으로 인해 모델이 중요한 추론 단계를 건너뛰게 되어 CoT가 더 이상 모델의 결정을 충실하게 반영하지 못할 수 있다는 우려가 흔히 제기됩니다. 효율화 방법마다 모델의 CoT에 길이 압박을 가하는 방식이 다르고, 모델의 결정을 충실하게 설명하는 데 필요한 토큰 수가 태스크에 따라 다르기 때문에 실제로 이러한 현상이 발생하는지, 혹은 언제 발생하는지는 불분명합니다. 이러한 역학을 이해하기 위해, 우리는 길이 압박을 서로 다르게 적용하는 세 가지 방법(고정된 생성 예산, 예시별 길이 목표, 그룹 상대적 길이 보상(reward))을 사용하여 다양한 모델을 파인튜닝(fine-tuning)합니다. 그리고 효율적 추론이 CoT 충실도(즉, CoT가 관련 입력에 대한 모델의 결정을 얼마나 잘 반영하는지)와 모니터링 가능성(즉, 입력 개입이 출력을 변경할 때 CoT가 이를 드러내는지 여부)에 어떤 영향을 미치는지 평가합니다. 그 결과, 이것이 충실도와 모니터링 가능성에 서로 다르게 영향을 미친다는 점을 발견했습니다. 충실도는 대부분의 설정에서 하락하는데, 이는 주로 학습된 모델의 일관성이 떨어지기 때문입니다. 반면 모니터링 가능성은 더 견고하여, CoT가 훨씬 짧아지더라도 모델은 자신의 답변에 미친 영향을 계속해서 드러냅니다.
질문형 대화의 속성별 제어 요약
Controlled Attribute-Specific Summarization of Interrogative Dialogues
효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.