패턴 매칭으로서의 추론: 인간과 대규모 언어 모델(LLM)의 일상 추론에 나타난 공유 메커니즘
Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning
한국어 초록
대규모 언어 모델(LLM)이 일반화에 실패하거나 추론에서 내용에 민감한 오류를 범할 때, 이는 흔히 LLM이 진정으로 추론하는 것이 아니라 일종의 패턴 매칭을 수행하고 있다는 증거로 받아들여집니다. 여기에는 인간의 추론이 원리적이고 내용 불변적인 세계 모델(world model)에 의존하기 때문에 인간의 행동은 동일한 유형의 실패를 보이지 않는다는 함의가 깔려 있습니다. 본 연구에서는 다양한 일상 상황에 대한 상식적 추론 능력을 바탕으로 인간과 LLM을 평가함으로써 이러한 가정을 검증합니다. 연구 결과, 46개의 LLM과 두 개의 인간 참가자 집단 전반에서 수렴하는 추론 패턴이 밝혀졌습니다. 이어 본 연구는 인간과 유사한 반응을 생성하는 데 있어 내용 불변적 및 내용 민감적 모델 뉴런의 역할을 규명함으로써, 이러한 행동적 수렴이 LLM이 내용 불변적 세계 모델을 획득했기 때문인지, 아니면 일련의 패턴 매칭 휴리스틱을 획득했기 때문인지를 묻습니다. 분석 결과, LLM은 내용 불변적 표상과 내용 민감적 표상을 모두 인코딩하지만, 모델을 인간과 일치시키는 데 인과적으로 기여하는 것은 내용 민감적 메커니즘인 것으로 나타났습니다. 종합하면, 본 연구 결과는 인간과 LLM의 일상적인 인과 추론이 패턴 매칭을 크게 활용하고 있음을 시사합니다.
원문 초록
When large language models (LLMs) fail to generalize or make content-sensitive errors in reasoning, it is often taken as evidence that LLMs are not truly reasoning, but rather performing a kind of pattern matching. The implication is that human behavior does not exhibit the same types of failures because human reasoning relies on principled and content-invariant world models. We test this assumption by first evaluating humans and LLMs on their ability to engage in common-sense reasoning about a variety of everyday situations. Our results reveal convergent patterns of reasoning across 46 LLMs and two cohorts of human participants. We then ask whether this behavioral convergence is due to LLMs having acquired content-invariant world models or a set of pattern-matching heuristics by characterizing the roles of content-invariant and content-sensitive model neurons in producing human-like responses. We find that while LLMs encode both content-invariant and content-sensitive representations, it is content-sensitive mechanisms which are causally responsible for aligning models with humans. Taken together, our results suggest that everyday causal reasoning in people and LLMs makes heavy use of pattern-matching.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전 기본, 사전지식 덮어쓰기: 비전-언어 모델에서 지각-지식 충돌의 인과적 메커니즘
Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models
비전-언어 모델은 시각적 증거와 기억된 세계 지식이 충돌할 때 이 둘을 조화시켜야 한다. 이러한 충돌을 어떻게 해결하는지는 멀티모달 시스템의 신뢰성을 좌우하지만, 기존 연구는 구성요소 수준의 인과적 설명 없이 이를 행동적으로만 특성화했다. 우리는 세 가지 세분성(잔차 스트림, 어텐션 헤드, MLP 서브레이어)에 걸친 activation patching, 모델 구성요소 절제(ablation) 연구, 기계론적 분석을 결합한다. 세 가지 VLM 계열에서 시각적 그라운딩(visual grounding)은 기본적으로 나타나는 반면, 사전 그라운딩(prior grounding)은 네트워크 후반부에 집중된 인과적으로 필수적인 소수의 어텐션 헤드(2.5–4.8%)에 의존함을 발견했다. 이러한 헤드는 충돌하는 시각 입력에도 불구하고 저장된 세계 지식(예: 딸기에 대해 "red")에 기반한 답을 가능하게 한다. 사전지식 프롬프트 하에서 이들을 절제하면 68–96%의 경우 지식-그라운딩된 예측이 시각적으로 그라운딩된 답으로 뒤집히지만, 시각적으로 그라운딩된 예측은 0.8–7.5%만 변화시켜 비대칭적 인과 구조를 확립한다. 식별된 헤드는 정보 흐름을 조절하는 라우팅 헤드(routing heads)와 잔차 스트림에 답 토큰을 직접 투사하는 쓰기 헤드(writing heads)로 분해된다. 이 구조는 모델 계열과 스케일 전반에 걸쳐 일관되며, VLM에서 지각-지식 충돌을 뒷받침하는 희소 인과 회로를 드러낸다.
CRAFT: 의료 비전-언어 모델의 인과적 책임 및 실패 추적
CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models
희소 오토인코더 특징 발견 점수는 무엇을 식별하는가? 활성화에서 개입까지
What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions
희소 오토인코더(SAE) 특징은 일반적으로 해당 활성화가 동작과 어떻게 공변하는지를 통해 발견되지만, 실제로는 조향(steering)이나 절제(ablation)와 같은 개입을 통해 사용되는 경우가 많습니다. 본 논문에서는 모델 출력에 대한 특정 개입의 1차 효과인 개입 귀속(intervention attribution)을 추정 대상(estimand)으로 설정합니다. 광범위한 반응 함수 클래스에 대해, 관찰 기반의 특징 발견 증거는 일반적으로 이러한 귀속을 식별하지 못함을 보이고, 선형 프로브(linear-probe) 예측과 개입 귀속 간 격차의 정확한 그래디언트 기반 분해를 도출합니다. 4개의 모델-SAE 쌍에 걸쳐 프로브 대 귀속 크기 비율의 중앙값은 수십에서 수백 배에 달하는 반면, 귀속은 작은 단계의 조향을 밀접하게 추적합니다. 0이 아닌 효과를 갖는 단일 잠재 변수 절제에 대해, 그래디언트 예측은 91~97%의 사례에서 실제 실현된 부호와 일치한 반면, 프로브가 함의하는 변화는 17~35%에 불과했습니다. 또한 귀속을 통해 선택된 집합은 상관관계, 순위 검정 또는 프로브 계수로 선택된 집합보다 홀드아웃 프롬프트에서 더 큰 절대 평균 절제 효과를 생성합니다. 종합적으로 이러한 결과는 개입 귀속이 개입을 위한 SAE 특징을 선택하는 데 있어 원칙적이고 그래디언트로 추정 가능한 목표임을 확립합니다.
조건부 공동 소거(Conditional Co-Ablation): 트랜스포머 회로에서 자기 수리 백업 복원
Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits
메커니즘적 해석가능성(mechanistic interpretability)은 행동을 인과적으로 뒷받침하는 내부 구성요소 집합인 회로(circuit)를 통해 트랜스포머 행동을 설명하려 한다. 그러나 자기 수리(self-repair)는 맹점을 만든다. 주요 구성요소를 소거(ablation)하면 휴면 상태의 백업이 활성화될 수 있어, 무손상 모델에서는 행동을 설명하던 회로가 이를 검증하기 위해 쓰인 개입 하에서는 불완전해질 수 있다. 우리는 이 공백을 조건부 회로 완성(conditional circuit completion)으로 형식화한다. 주요 집합이 주어졌을 때, 그 제거 이후 인과적으로 중요해지는 구성요소를 식별하는 것이다. 우리는 주요 집합 제거 후 소거 효과의 증가로 후보를 순위 매기는 조건부 공동 소거(CoAx)를 제안한다. 완전히 휴면인 백업은 단위별 무손상 상태(intact-state) 점수만으로는 무관한 구성요소와 구별되지 않을 수 있지만, 그 조건부 효과 변화는 제거된 집합과 연결하는 모든 상호작용 차수를 정확히 집계한다. GPT-2-small의 간접 목적어 식별(Indirect Object Identification, IOI) 회로에서 CoAx는 문서화된 백업 헤드를 ROC-AUC 0.941로 복원하며, 가장 강한 무손상 상태 속성(attribution) 기준선 0.815, 짝을 맞춘 조건부 에너지(conditional-energy) 통제 0.758보다 낫다. 행동 효과, 출력 변위, 깊이에서 짝을 맞춘 대안 구성요소 집합에서는 복원이 AUC 0.40 ± 0.13으로 떨어져, 복원이 제거된 회로에 특이함을 보인다. 복원을 넘어, CoAx로 선택된 헤드는 인과적으로 부하를 지는(load-bearing) 구성요소이다. 주요 구성요소 제거 후 이들을 동결(freezing)하면 IOI 마진이 급격히 줄고, 불완전 회로에 추가하면 불완전도가 0.75에서 0.21로 감소한다. 더 넓게, 조건부 증가는 4개 메커니즘 클러스터에 걸친 12개 보류(hold-out) 사례 중 11개에서 개입으로 도출한 수리(repair)와 정렬하며, CoAx 완성은 6개 아키텍처 계열에 걸친 GPT-2가 아닌 8개 모델 모두에서 짝을 맞춘 무작위 완성보다 우수하다. 종합하면, 자기 수리하는 트랜스포머에 대한 인과적 설명은 주요 구성요소가 실패할 때 백업 회로를 반드시 고려해야 한다.
실력 수준 증가가 고정된 체스 트랜스포머에서 더 깊은 어텐션 레이어를 동원한다
Increasing Skill Level Recruits Deeper Attention Layers in a Frozen Chess Transformer
체스는 결정론적 환경에서 복잡한 추론을 수반하므로, 트랜스포머 내부 연산 메커니즘을 연구하기에 유용한 설정이다. Maia-3 체스 트랜스포머는 경쟁 체스 실력의 척도인 Elo를 사전학습된 네트워크의 입력으로 받으며, 따라서 가중치를 바꾸지 않고도 네트워크가 조건화되는 실력을 변화시킬 수 있다. 여기서는 이 실력 다이얼을 돌리는 것이 self-attention에 어떤 영향을 미치는지 조사한다. Elo 700부터 2500까지 각 Elo에서 모든 어텐션 헤드를 어블레이션한 결과, 1) 실력이 높아질수록 측정한 모든 체스 기물과 수 유형에 대해 연산의 인과적 질량 중심이 단조적으로 더 깊은 층으로 밀려난다; 2) 깊이 이동은 다른 수 유형보다 특정 전술, 특히 나이트 포크(knight fork)에서 훨씬 크다; 3) 이동은 더 깊은 헤드가 더 전문화된 연산에 기용되는 동시에 하나의 공유된 얕은 헤드가 대략 일정한 기여를 유지하는 것으로 구성된다. 이 결과는 더 큰 트랜스포머에서 조건화 입력이 연산을 어떻게 재배치하는지에 대한 통찰을 제공할 수 있다.
지형적 학습은 뉴런 단의의성을 개선하지 않으면서 인과 회로를 집중시킨다
Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity
비전 트랜스포머의 기계론적 해석 가능성(mech interp)은 모델 연산을 사람이 읽을 수 있는 단위로 분해하려 하지만, 학습된 표현은 각 뉴런에 많은 개념을 얽혀 둔다. 특징(feature) 중첩(superposition)은 이러한 분해의 핵심 장애물로 널리 여겨지지만, 대부분의 완화 방법(희소 오토인코더, dictionary learning)은 사후적(post-hoc)이며 기저 네트워크는 그대로 둔다. 우리는 공간 지역성(spatial-locality) 학습 손실(TopoLoss)이 표준 mech-interp 도구의 해석 가능성을 높이는 경량의 학습 시점 사전(prior) 역할을 할 수 있는지 묻는다. ImageNet-100에서 여러 TopoLoss 가중치 $\alpha$로 ViT를 학습(training)하며, 활성화 패칭(activation patching)으로 지형(topographic) 클러스터의 인과적 충분성을, 동일 잔차 스트림(residual stream)에 적합한 희소 오토인코더로 특징 기하를 측정한다. $\alpha=1.0$에서 지형 클러스터는 동일 크기의 무작위 단위 집합보다 인과적으로 2.79$\times$ 더 충분하며, 효과는 $\alpha$에 단조 증가한다. SAE L0 희소성(sparsity)은 11% 감소하고 dead-feature 비율은 19배 증가하지만, 표준 뉴런 수준 단의의성(monosemanticity) 점수는 변하지 않아, 지형적 압력이 회로(circuit) 수준에서 작용하여 개별 뉴런을 분리(disentangle)하지 않고 인과적 기여를 공간적으로 지역적인 구조에 집중시킴을 나타낸다. 이러한 분리(dissociation)는 현재 뉴런 수준 단의의성 지표가 한 유형의 실질적 해석 가능성 이득에는 둔감함을 시사하며, 저렴한 구조적 사전을 사후 도구에 대한 실행 가능한 학습 시점 보완으로 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
13 pages main text, 59 pages supplementary text