PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13895v1cs.CL

작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식

Task Context Shapes Component Roles in Language Models

대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.

arXiv:2605.08348v3cs.CL

서킷은 우리에게 얼마나 많은 것을 말해주는가? 언어 모델 서킷의 일관성과 특이성 측정

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits

기계론적 해석가능성(mechanistic interpretability)의 서킷(circuit) 프레임워크는 특정 동작의 인과적 원인이 되는 모델 컴포넌트의 희소 하위 그래프를 식별하는 것을 목표로 하며, 일반적으로 필요성과 충분성을 측정하여 평가합니다. 그러나 이러한 기준은 서킷이 모델이 과업을 수행하는 방식을 일관되게 포착하는지, 또는 해당 과업에 특이적인지(specific)에 대해서는 거의 설명하지 못합니다. 본 연구에서는 6개 과업과 5개 모델에 걸쳐 일관성(consistency)과 특이성(specificity)이라는 두 가지 특성을 조사하며, 컴포넌트 수준(어텐션 헤드 및 MLP 블록)과 개별 MLP 뉴런 수준에서 서킷을 추출합니다. 그 결과 컴포넌트 수준의 서킷은 대부분의 과업에서 높은 일관성을 보이고 인과적으로 중요하지만, 특이적이지는 않다는 점을 발견했습니다. 즉, 주어진 과업에서 자체 서킷을 절제(ablation)했을 때의 정확도 하락은 다른 과업의 서킷을 절제했을 때와 거의 비슷했습니다. 반면 뉴런 수준 서킷은 과업 간에 더 높은 특이성을 보이지만, 과업 내 일관성은 훨씬 낮았습니다. 이는 서킷의 중첩으로 설명됩니다. 컴포넌트 수준 서킷은 관련 여부와 무관하게 과업 전반에 걸쳐 대부분의 컴포넌트를 공유하지만, 뉴런 수준 서킷은 밀접하게 관련된 과업 간에만 중첩됩니다. Llama-3.2-3B의 과업 서킷이 공유하는 컴포넌트에 대한 사례 연구를 통해, 이들이 주로 MLP 블록으로 구성되어 있으며 소수의 어텐션 헤드는 범용적인 역할을 수행함을 보입니다. 전반적으로 본 연구 결과는 서킷이 모델 동작에 대한 표적화된 이해와 개입을 얼마나 뒷받침할 수 있는지에 대해 의문을 제기합니다.

arXiv:2609.28117v1cs.CL

문맥 인식 기계 번역에서 그래디언트 기반 어트리뷰션을 통한 어텐션 헤드 분석의 확장

Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation

본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.

arXiv:2607.13395v1cs.LG

자기 개선은 종종 갑작스럽다: 대규모 모델을 위한 Enlightenment 스타일 파인튜닝

Self-Improving is Often Sudden: Enlightenment-style Finetuning for Large-Scale Models

대규모 기초 모델(foundation model) 시대에 자율적으로 자기 개선하는 모델을 추구하는 연구는 점점 더 많은 관심을 받고 있다. 인간 뇌의 "깨달음(enlightenment)" 또는 "아하 순간(aha moment)" 개념에서 영감을 받아, 우리는 대규모 모델이 유사한 깨달음 현상—갑작스러운 능력 향상을 위한 잠재적 역량—을 보인다고 가설한다. 그런 다음, 우리는 대규모 모델을 위한 새로운 학습 없는(training-free) 사후 튜닝(post-tuning) 패러다임인 Enlightenment를 제안한다. 우리의 접근법은 가중치 업데이트 없이 핵심 모듈/레이어에 대한 shortcut을 수정하는 반면, 기존의 학습 없는 방법들은 주로 어텐션 가중치를 조작한다. 우리는 아키텍처별 두 가지 구체화를 도입한다: i) 대규모 언어 모델(LLM)의 경우, 초기 어텐션 head의 출력을 다른 모든 타깃 head에 연결하여 어텐션 가중치를 재보정하는 attention head-mixing shortcut을 제안하며, 이는 적응형 스케일링 계수 초기화 전략으로 조절된다. ii) 비전-언어(vision-language) 모델의 경우, 디코더 레이어의 잔차 연결(residual connection)에 경량 스칼라-변조 인자를 적용하여 정보 흐름을 조절한다. 광범위한 실험을 통해 Enlightenment가 사전학습된 네트워크의 잠재적 가능성을 효율적으로 발휘하며, 다양한 벤치마크와 모델에서 현저한 성능 향상을 가져온다는 것을 보여준다.

arXiv:2607.12863v1cs.SE

트랜스포머 어텐션 헤드 내 바이어스의 위치 특정 및 수정을 향하여

Toward Localizing and Repairing Bias in Transformer Attention Heads

트랜스포머 언어 모델이 소프트웨어 구성 요소로 점점 더 많이 사용되고 있지만, 바이어스가 있는 출력은 모델 내부에서 위치를 특정하고 수정하기 어렵다. 기존 공정성 테스트 및 수정 방법은 주로 입력-출력 수준 또는 재학습(retraining) 수준에서 동작하는 반면, 최근 연구는 바이어스 관련 행동이 소수의 어텐션 헤드에 집중될 수 있음을 시사한다. 본 논문은 표적화된 추론 시점 개입을 통해 어텐션 헤드를 위치 특정하고 수정할 수 있는지를 연구한다. 우리는 공정성 프로브(fairness probes)에 대한 민감도를 사용하여 어텐션 헤드의 순위를 매기고, 선택된 헤드 출력에서 작은 바이어스 부분공간을 제거하는 화이트박스 헤드 수준 공정성 디버깅 방법인 ROBIN을 제안한다. 4개 모델 파일럿 연구에서 ROBIN은 헤드 전체 영제로(whole-head zeroing)보다 언어 모델링 품질을 더 잘 유지하면서 모든 모델에서 측정된 WinoBias 격차를 줄인다. 이러한 예비 결과는 헤드 수준 바이어스 수정이 어떤 헤드가 선택되느냐뿐만 아니라 선택된 헤드가 어떻게 수정되느냐도 고려해야 함을 시사한다.

arXiv:2607.11081v1cs.CV

어텐션 헤드를 통한 디퓨전 트랜스포머의 모션 전이 제어

Controlling Motion Transfer in Diffusion Transformers via Attention Heads

디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 고품질의 시간적으로 일관된 결과로 비디오 생성을 발전시켰다. 그러나 목표 프롬프트에 맞추면서 참조 모션을 따르는 모션 전이(motion transfer)로 이를 확장하는 것은 DiTs 내 모션 및 구조 표현에 대한 이해가 부족하여 여전히 어려운 과제이다. 우리는 비디오 DiTs를 어텐션 헤드 수준에서 분석하고, 모션과 공간 구조에 각각 특화된 별개의 헤드를 식별한다. 이러한 통찰을 바탕으로, 매개변수 업데이트가 필요 없는 헤드 인식 제어 가능 모션 전이 프레임워크를 제안한다. 제안하는 방법은 의미론적 대응 안내를 통해 모션 특화 헤드에서 모션 단서를 정제하고, 선택적 특징 주입을 통해 구조를 보존한다. 이 헤드 수준 제어는 정확한 모션 전이를 가능하게 할 뿐만 아니라, DiTs를 활용한 제어 가능한 비디오 생성을 위한 해석 가능한 기반을 제공한다.

arXiv:2604.22027v2cs.CL

Shared Lexical Task Representations Explain Behavioral Variability In LLMs

대규모 언어 모델(LLM)의 프롬프트 민감성을 설명하기 위해, 어텐션 헤드의 출력을 어휘 공간에 투영했을 때 태스크 자체를 어휘적으로 기술하는 특수한 헤드(lexical task heads)를 발견하였다. 이 헤드들은 인스트럭션 기반 및 퓨샷 예시 기반 프롬프트 방식에 걸쳐 공유되며, 이 헤드의 활성화 강도 차이가 프롬프트 간 성능 변동을 설명하고 실패 사례는 경쟁 태스크 표현이 목표 신호를 희석시키는 것에 기인함을 인과 실험으로 입증하였다.

arXiv:2510.25013v2cs.CL

어텐션 전용 트랜스포머에서 간접 목적어 식별을 위한 최소 회로의 출현

Emergence of Minimal Circuits for Indirect Object Identification in Attention-Only Transformers

기계적 해석 가능성(mechanistic interpretability)은 대규모 언어 모델(LLM)을 인간이 이해할 수 있는 계산 회로로 역공학하는 것을 목표로 한다. 그러나 사전학습된 모델의 복잡성은 특정 추론 과제에 필요한 최소 메커니즘을 종종 불분명하게 만든다. 본 연구에서는 트랜스포머에서의 상호참조(coreference) 유사 추론 연구를 위한 벤치마크인 간접 목적어 식별(IOI) 과제의 기호적 버전을 처음부터 학습하여 소규모 어텐션 전용 트랜스포머를 훈련한다. 놀랍게도, 단 두 개의 어텐션 헤드만을 가진 단일 층 모델이 MLP와 정규화 층 없이도 완벽한 IOI 정확도를 달성한다. 잔차 스트림 분해(residual stream decomposition), 스펙트럼 분석, 임베딩 개입을 통해, 두 헤드가 각각 덧셈적(additive) 및 대조적(contrastive) 서브회로로 특화되어 함께 IOI 해소를 구현함을 발견한다. 나아가, 두 층 단일 헤드 모델은 주로 쿼리-키(query-key) 상호작용을 통해 이전 층의 정보를 합성함을 보인다. 이러한 결과는 과제 특화 학습이 고도로 해석 가능한 최소 회로를 유도하며, 트랜스포머 추론의 계산적 토대를 탐구하기 위한 통제된 실험 환경을 제공함을 보여준다.

arXiv:2606.24077v1cs.CL

Sentence-Level Contextual Entrainment in Large Language Models

대규모 언어 모델(LLM)에서 컨텍스트에 등장한 토큰의 확률이 높아지는 컨텍스트 자동동조(contextual entrainment)를 토큰 수준에서 문장 수준으로 확장해 per-token 평균 log-probability로 측정하고, 26개 모델과 주관·객관 2개 데이터셋에서 프롬프트 문장이 반사실이어도 추론 시 해당 문장 확률을 크게 올리는 현상이 있음을 확인했다. 모델 크기가 커질수록 현상은 약해지며, 어텐션(attention) 헤드의 2~4%만이 이를 조절하고 이 헤드를 끄면 성능 저하 없이 완화할 수 있다.

arXiv:2606.21876v1cs.LG

단백질 접촉은 이미 어텐션에 있다: Categorical Jacobian의 단일 순전파 대안

Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian

Zhang et al. (2024)의 Categorical Jacobian(CJ)은 언어 모델에서 모든 잔기를 다른 아미노산으로 교란하여 단백질 접촉을 읽어내며, 이에 약 19L회의 순전파가 필요하다. 우리는 CJ가 재구성하는 신호가 이미 소수의 어텐션 헤드에 집중되어 있음을 보인다. 접촉 관련 상위 K개 헤드를 평균하면—레이블이 붙은 단백질 10개만으로도 선택 가능—단일 순전파로 접촉을 복원할 수 있으며, CJ가 정의되는 모든 양방향 모델에서 leakage-clean 데이터상 CJ를 능가하고, in-distribution에서는 동등하거나 CJ를 능가한다(예외는 가장 작은 8M 모델과 ESM Cambrian에서의 통계적 동률). 소거 실험은 이득이 평균화가 아니라 레이블 기반 헤드 선택에 기인함을 보여준다. 동일한 레이블 예산에서 가중치 없는 평균은 동일 헤드에 대한 지도 L1 로지스틱 회귀와 동률이므로, 매개변수 없는 평균은 선택의 최소 형태일 뿐 우위의 원천이 아니다. 주 평가는 leakage-clean이다. 선택과 평가 모두 모델이 암기했을 가능성이 있는 데이터에 접촉하지 않는 CAMEO 분할에서, 헤드 readout은 ESM-2-650M에서 CJ보다 +9%p(N=29, p<0.001) 우수하며, 사전학습 인식(pretraining-aware)이 더 넓은 설정에서 모델 내 마진이 아키텍처 전반에 재현된다. 두 방법 모두 in-distribution Zhang 수치에서 leakage-clean 수치까지 30–36%p 하락하며, 이는 상당한 사전학습 중복이 기존 수치를 부풀렸다는 것과 일치한다(CAMEO 대 Zhang 난이도 차이도 기여하므로, leakage 성분에 대한 상한으로 해석한다). 추가로 마스크드 LM 헤드가 없는 아키텍처를 위한 야코비안의 은닉 상태 일반화인 representation-CJ를 제안하고, 최적 K가 모델이 접촉 헤드를 얼마나 분산 배치하는지를 반영함을 보이며, 테스트한 두 인과적 언어 모델(ProGen2) 모두에서 두 방법이 접촉 신호를 잃음을 확인하였다. 이는 어텐션에 인코딩된 쌍(pair) 구조가 양방향 사전학습에 의존할 수 있음을 시사한다.