PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04319v1cs.CL

구성적 가독성: 어텐션과 엔드투엔드 트랜스포머

Legible-by-Construction: Attention and End-to-End Transformers

동반 논문에서는 트랜스포머의 피드포워드 층이 명시적인 퍼지 집합 연산—교집합, 집합 차, 자기망각 시퀀스 양화사—으로 재구성될 수 있으며, 그 결과 은닉 유닛이 언어 모델 품질 손실 없이 명명된 논리 연산자로 읽힐 수 있음을 보였다. 이는 트랜스포머의 나머지 절반을 불투명한 채로 남겨두었다. 본 연구에서는 동일한 아이디어를 어텐션에 적용하고 두 요소를 하나의 모델로 결합한다. 메커니즘은 단순하다: 헤드의 값을 시그모이드에 통과시킴으로써 각 값 채널이 특징이 토큰에서 성립하는지 여부를 판단하는 가독 가능한 검출기가 된다. 이는 파라미터를 추가하지 않으며 표준 헤드를 그 외에는 변경하지 않는다. 불리언 변형은 더 나아가 값을 명시적인 토큰 내 교집합과 부정 가능한 집합 차로 재구성한다. 두 설계 모두에서 출력 투영은 어휘에 묶이지 않고 자유롭게 유지되는데, 이것이 핵심 결정이다: 헤드가 검출하는 것을 제한하면서 쓰는 것은 제약하지 않으면 선택적 검출기가 생성되지만, 쓰기를 제약하면 그렇지 않다. 경계가 설정된 값은 두 가지 선택성 압력에 의해 가독 가능한 검출기로 형성되는데—하나는 희소 발화를 위한 것이고 다른 하나는 경계에서의 결정적 발화를 위한 것—어떤 설계가 이를 필요로 하는지는 보편적이지 않다. 1억 2500만 파라미터 규모의 다섯 가지 특화된 어텐션 설계에 걸쳐, 44~62%의 값 채널이 명확하고 문맥적으로 선택적인 검출기가 되며, 가독성은 구두점에서만 결정화되는 것이 아니라 깊이에 따라 향상된다. 언어 모델 품질은 기존 기준선과 동등하다. 마지막으로, 불리언 어텐션을 가독 가능한 피드포워드 층과 결합하여 벤치마크 동등 수준에서 엔드투엔드 구성적 가독성 언어 모델을 학습시킨다: 이 모델의 피드포워드 유닛은 전체에 걸쳐 명명된 집합 및 양화사 연산으로 구성되며, 모델이 생성한 토큰을 가져와 이를 생성하는 데 기여한 명명된 유닛들을 읽을 수 있다.

arXiv:2606.29139v1cs.LG

토큰 영향력이 거리에 따라 감쇠하는 방식: 학습된 언어 모델의 그린 함수적 관점

How Token Influence Decays with Distance: A Green-Function View of Trained Language Models

학습된 자기회귀 트랜스포머 언어 모델에서 토큰 간 영향력이 거리에 따라 어떻게 감쇠하는지를 그린 함수(Green's function) 관점에서 분석하며, autograd로 야코비안 감도를 측정한 결과 Pythia와 Qwen2.5-0.5B 모두에서 지수 감쇠가 아닌 멱함수적 감쇠($\overline{G}(r) \approx \gamma + \beta(r+1)^{-p}$, $p \approx 0.8$–$0.9$)를 따름을 실증적으로 보였다. 이 장거리 감도 프로파일은 토큰 셔플링 후에도 유지되지만 무작위 초기화 모델에서는 나타나지 않아, 해당 특성이 학습을 통해 획득됨을 시사한다.

arXiv:2606.20678v1stat.ML

중요도를 넘어: Interchange-Sobol 민감도가 트랜스포머 구성요소의 작업별 콘텐츠 채널을 드러내다

Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components

트랜스포머 구성요소를 단일 중요도로 요약하면 작업 관련 콘텐츠 전달과 기여 제거 시 순전파 저하 역할이 섞이므로, 동일 구성요소에서 매칭된 활성화 대체와 제로 ablation을 비교해 두 Sobol형 분산 지표의 부호 차로 역할을 분리하는 IGSD(Interchange-Group Sobol Decomposition)를 제안한다. 사실 기반 기억(factual recall) 실험에서 IGSD는 GPT-2 small과 Qwen2.5-1.5B 모두에서 표준 중요도 방법이 과소평가하는 초기층 relation-frame 채널과 후기 Attn_L9H8의 subject-retrieval 채널을 식별하며, 대체와 삭제는 상호 교환 가능한 통제가 아님을 보인다.