arXiv:2606.27449v1 cs.LG

Prism Transformer: 계층적 어텐션 처리를 위한 점진적 헤드 스케줄

Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing

Shubham Aggarwal

제출 2026-06-25

한국어 초록

다중 헤드 어텐션(multi-head attention)은 통상적으로 모든 층에서 모든 헤드에 히든 차원을 균등하게 분할하여, 모델 깊이 전반에 걸쳐 동일한 표현 부분공간 차원(dh = dmodel/h)을 강제한다. 본 연구에서는 이러한 균등 할당이 근본적인 구조적 병목이라는 점을 밝힌다: 제한된 차원 공간으로 인해 초기 층의 헤드는 복잡하고 고차원적인 문맥 패턴을 충실히 포착하지 못한다. 이를 해결하기 위해, 정적이고 균등한 헤드 구성을 점진적 헤드 스케줄로 대체하는 새로운 아키텍처 패러다임인 Prism Transformer를 제안한다. 층을 따라 헤드 수를 단조 증가시킴으로써, Prism Transformer는 자연스럽게 국소-전역 표현 계층을 형성한다: 초기 층은 더 적지만 매우 넓은 헤드로 복잡한 국소 구성(compositional) 패턴을 포착하고, 깊은 층은 많은 좁은 헤드를 배치하여 이러한 패턴을 특화된 언어적 특징으로 분해한다. 핵심적으로, 이러한 구조적 전환은 매개변수 중립적(parameter-neutral)이며 계산 중립적(compute-neutral)이고, 학습 또는 추론 오버헤드를 전혀 추가하지 않으며, 표준 트랜스포머와 동일한 가중치 행렬 및 FLOP 예산을 유지한다. 세 가지 모델 규모(124M, 354M, 757M)에 걸쳐 Prism Transformer는 균등 할당 기준선을 일관되게 능가하며, 검증 손실의 일관된 감소와 함께 다운스트림 제로샷(zero-shot) 벤치마크(PIQA, HellaSwag, ARC-Easy, WinoGrande 포함)에서 일관된 성능 향상을 달성한다. 우리의 발견은 비균등 부분공간 할당이 표준 트랜스포머 예산 내 잠재 용량을 해방하여 모델 용량의 더 효과적인 사용을 가능하게 함을 보여준다.

원문 초록

Multi-head attention conventionally partitions the hidden dimension equally across all heads at every layer, enforcing an identical representational subspace dimension (dh = dmodel/h) throughout the models depth. In this work, we identify this uniform allocation as a fundamental structural bottleneck: due to their restricted dimensional space, early-layer heads are unable to faithfully capture complex, high-dimensional contextual patterns. To resolve this, we introduce the Prism Transformer, a novel architectural paradigm that replaces the static, uniform head configuration with a progressive head schedule. By monotonically increasing the head count across layers, the Prism Transformer naturally establishes a local-to-global representational hierarchy: early layers leverage fewer, exceptionally wide heads to capture complex, local compositional patterns, while deep layers deploy many, narrow heads to decompose these patterns into specialized linguistic features. Crucially, this structural shift is parameter-neutral, compute-neutral, and introduces zero training or inference overhead, preserving identical weight matrices and FLOP budgets as the standard Transformer. Across three model scales (124M, 354M, and 757M), the Prism Transformer consistently outperforms uniform baselines, achieving consistent reductions in validation loss alongside consistent gains on downstream zero-shot benchmarks (including PIQA, HellaSwag, ARC-Easy, and WinoGrande). Our findings demonstrate that non-uniform subspace allocation unlocks latent capacity within the standard Transformer budget, enabling more effective use of model capacity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27449v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15836v1cs.CL공통 태그 Language Modeling, Representation Learning, Inductive Bias

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

arXiv:2610.13722v1cs.CL공통 태그 Language Modeling, Zero-Shot Learning

지식 그래프 기반 멀티태스크 사전학습을 통한 사전학습 언어 모델의 법률 추론 능력 향상

Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training

법률 언어 이해는 반정형 규제 문서에 대한 추론을 요구하지만, 표준 사전학습(pre-training) 목표는 이러한 구조적 역량을 명시적으로 겨냥하지 않습니다. 현재의 법률 언어 모델은 마스크 언어 모델링에만 의존하기 때문에, 법령 텍스트를 단순한 평면 토큰(token) 시퀀스로 취급하고 그 이면에 있는 계층적 제약 조건을 무시합니다. 이러한 격차를 해소하기 위해 본 연구에서는 독일 도로교통법(StVO)을 대상으로 한 멀티태스크 사전학습 방식을 제시합니다. 우리의 접근법은 다음 문장 예측(NSP), 지식 그래프(KG) 기반 클러스터링(CLU), 그리고 지식 그래프 인식 단락 분류(CLS)라는 세 가지 상호보완적인 목표를 결합합니다. 이 접근법은 구조화된 법률 지식을 모델 가중치에 직접 명시적으로 인코딩합니다. 이러한 인코딩을 통해 추론(inference) 시점에 제로샷(zero-shot) 법률 추론이 가능해지며 이산적인 그래프 순회의 필요성을 없앱니다. 우리는 9개의 트랜스포머(Transformer) 기반 인코더와 324회의 실험적 실행을 통해 제안 방식을 평가합니다. 합성 StVO 질의응답에서 본 연구의 모델은 베이스라인 대비 10.3%에서 155.0% 사이의 일관된 상대적 성능 향상을 보여줍니다. 나아가 기존에 확립된 LexGLUE 베이스라인(Chalkidis et al., 2022)과 비교하여 7개 법률 벤치마크 중 4개에서 이전 결과를 개선합니다. 또한 오스트리아 운전 규정에 대해서도 3.4%에서 15.8% 사이의 일관된 제로샷 전이 이득을 달성합니다. 이러한 실험 결과는 우리의 학습(training) 방식이 초기 학습 법률 도메인을 넘어 성공적으로 일반화됨을 나타냅니다.

arXiv:2609.29102v3cs.CL공통 태그 Language Modeling, Representation Learning

ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기

ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks

완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.

arXiv:2610.03316v2cs.AI공통 태그 Zero-Shot Learning, Scheduling

LLM을 활용한 제로샷 교차 문제 일반화를 위한 다중 작업 진화

Multi-Task Evolution for Zero-Shot Cross-Problem Generalization using LLMs

다양한 조합 최적화(combinatorial optimization) 문제를 위한 효과적인 휴리스틱(heuristic)을 설계하는 것은 상당한 전문성과 반복적인 탐색을 필요로 합니다. 대규모 언어 모델(LLM)은 휴리스틱 생성과 개선을 자동화하지만, 휴리스틱 탐색은 일반적으로 최적화 대상 문제의 평가 피드백에 의존합니다. 따라서 소스 작업 피드백만을 사용하여 새로운 문제 정의로 일반화하는 것은 여전히 핵심적인 과제로 남아 있습니다. 본 논문에서는 제로샷(zero-shot) 교차 문제 일반화를 위한 LLM 기반 다중 작업 진화 프레임워크인 MECo를 소개합니다. MECo는 작업 조건부 휴리스틱 개체군을 유지하며, 교차 작업 개체군 성능에 기반한 전이 격차(transfer gap)를 활용해 이들의 상호작용을 유도합니다. 이러한 상호작용은 휴리스틱의 전이와 재조합을 가능하게 합니다. 그런 다음 상호보완적 선택 기준을 통해 각 개체가 소스 조합에 대해 제공하는 추가적인 커버리지를 보상함으로써 간결한 휴리스틱 세트를 구성합니다. 선택된 세트는 추가적인 탐색이나 적응 과정 없이 타깃 문제에 바로 적용됩니다. 차량 경로 문제(VRP) 및 유연한 잡숍 스케줄링(FJSP) 전반에 걸친 32가지 변형 문제를 대상으로 한 실험에서, MECo는 동일한 예산 하에 8개의 자동화된 휴리스틱 설계(AHD) 기준선과 비교해 가장 낮은 평균 비용을 달성함을 보여줍니다. 도메인 외(OOD) 문제에서도 각 제품군에서 가장 강력한 기준선을 능가합니다. 나아가 MECo 프레임워크를 서로 다른 AHD 방법들과 통합했을 때 두 제품군 모두에서 ID 및 OOD 성능이 향상되어, 여러 방법 전반에 걸친 유효성을 뒷받침합니다.

arXiv:2610.03251v1cs.AI공통 태그 Language Modeling, Representation Learning

사실을 학습하는 것과 이를 인출하는 방법을 학습하는 것은 다르다

Learning a Fact Is Not Learning How to Retrieve It

"X의 수도는 Y이다"로 학습된 모델은 "X의 수도는" 뒤에 "Y"를 생성할 수 있지만, "X의 수도:" 뒤에서는 실패할 수 있습니다. 본 연구에서는 동일한 사실을 이끌어내는 이러한 서로 다른 방식들을 요청 형태(request forms)라고 부릅니다. 사실 학습과 사실 인출을 분리하기 위해, 두 개의 모델을 2단계에 걸쳐 학습(training)합니다. 1단계(요청 형태 학습)에서 한 모델은 각 사실을 5가지 형태로 보고, 다른 모델은 동일한 사실들을 진술문 형태로만 봅니다. 2단계(목표 사실 학습)에서는 두 모델 모두 새로운 사실들에 대해 모두 진술문 형태로 동일한 학습을 받습니다. 이후 두 모델 모두 진술문으로부터 새로운 사실을 거의 동등하게 잘 인출하지만, 다른 요청 형태에서는 현저한 차이를 보입니다. 따라서 모델(model)은 사실을 학습하기 전에 요청 형태를 통해 인출하는 방법을 학습할 수 있습니다. 이러한 차이를 이해하기 위해 정답 직전의 은닉 상태(hidden state)를 살펴보며, 이를 문맥 상태(context state)라고 부릅니다. 동일한 사실에 대해 서로 다른 두 가지 요청 형태가 주어졌을 때, 1단계에서 5가지 형태로 학습된 모델은 진술문으로만 학습된 모델보다 더 유사한 문맥 상태를 생성합니다. 인출 시점에 이 상태를 변경하면 이미 학습된 사실의 인출을 가능하게 하거나 방지할 수 있으며, 동일한 효과가 수도나 통화와 같은 사실 및 사실 관계 전반에 걸쳐 전이됩니다. 학습 중 문맥 상태의 역할을 검증하기 위해 목표 사실 학습 중에만 문맥 상태를 변경했습니다. 이러한 개입은 테스트 시점의 개입 없이도 이후의 인출 결과를 변화시킵니다. 종합하면, 이러한 결과들은 향후의 인출이 초기 요청 형태 경험과 사실 학습 중의 문맥 상태에 의존한다는 점을 보여줍니다.

arXiv:2610.03370v1cs.CV공통 태그 Representation Learning, Zero-Shot Learning

LAS-CLIP: CLIP 시각 인코더를 위한 경량 어댑터 스티어링 접근법

LAS-CLIP: A Lightweight Adapter Steering Approach for CLIP's Visual Encoder

CLIP의 시각 인코더는 전역(global) 이미지 표현만을 생성하므로 영역 수준 작업에서의 활용이 제한됩니다. 기존의 적응 방식들은 시각적 프롬프팅(visual prompting), 입력 마스킹, 또는 인코더 미세조정에 의존하며, 각각 사전학습된 표현을 손상시킵니다. 본 논문에서는 모든 CLIP 매개변수를 동결(frozen) 상태로 유지하는 경량 어댑터 스티어링 접근법인 LAS-CLIP을 제안합니다. 소형 MaskAdapter는 입력 마스크로부터 헤드별, 층별 어텐션 편향을 생성하여 동결된 셀프 어텐션 층에 주입함으로써 어텐션을 대상 영역으로 유도합니다. 결정적으로 백본이 엄격하게 변경되지 않은 상태로 유지되기 때문에, LAS-CLIP은 마스크가 제공되지 않을 때 바닐라 CLIP으로 원활하게 복귀하여 근본적인 제로샷(zero-shot) 능력을 보존합니다. 약 116K~145K개의 학습 가능한 매개변수와 두 대의 T4 GPU에서 100K개의 학습 샘플만으로, LAS-CLIP은 Alpha-CLIP이 수백만 개의 샘플에서 전체 인코더를 미세조정했음에도 불구하고 ImageNet-S 제로샷 분류 및 RefCOCO 지칭 표현 이해(referring expression comprehension)에서 경쟁력 있거나 우수한 결과를 달성합니다. 정성적 분석은 잘못된 마스크가 주어졌을 때와 다운스트림 생성 작업에서 더 강력한 표현 충실도를 추가로 확인해 줍니다. 프로젝트 페이지 링크는 https://github.com/AnhKhoa585/lasclip 입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.