arXiv:2606.31845v1 cs.CL

피드-포워드 층의 명시적 퍼지 논리: 자기 망각 양화사가 판독 가능한 문법 허가 검출기를 발견하다

Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors

Mark Oskin

제출 2026-06-30

한국어 초록

트랜스포머의 피드-포워드(FFN) 부층은 어텐션이 수집한 구분들을 구체화하지만, 자신이 무엇을 계산하는지에 대한 설명을 제공하지 않는다. 매개변수 중립적 대체 방식으로, 각 은닉 유닛은 시그모이드로 경계된 [0,1] 소속값에 대한 명시적 퍼지 집합 연산이다: 교집합 A*B와 집합 차 A*(1-B), 후자는 게이트/쌍선형 유닛에는 없는 한정 긍정 부정("A이지만 B는 아님")으로, 이를 부정 가능 FFN(NC-FFN)이라 한다. N-비트 패리티에서 NC-FFN은 얕은 깊이의 가장 매개변수 효율적인 추론 기반이며, 규모(125M, OpenWebText)에서는 GELU 기준선의 퍼플렉시티와 동률을 이루면서 모든 유닛이 명시적 논리 형식을 갖는다. 두 가지 한계는 하나의 원인을 공유한다: 이항 논리가 층 0에 국소화되어 학습 중 약화되고, 하나의 견고한 문법 결함이 토큰 내 연산자를 넘어서 허가와 양화사에 집중된다. 우리는 두 문제를 소규모 시퀀스 양화사 블록으로 해결한다: 소프트 존재 양화사와 소프트 비율 양화사로, 각각 고착 초기화로부터의 유닛별 학습된 망각률을 갖는다. 이는 에포크 1에서 결함을 회복하고(더 넓은 에포크 2 격차를 절반으로 줄임), LAMBADA에서 소폭 앞서며, FFN을 판독 가능하게 만든다: 구조가 이제 유지되어 깊이 방향으로 이동하고, 감쇠는 고착성을 학습 해제하며(중앙값 반감기 ~1.5 토큰; 제로 래치 유닛), 의미 층들에서 유닛들은 사전 학습(dictionary learning) 없이 문법 허가 검출기로 읽힌다: 각 유닛은 허가자(비교급, 수동 분사, 부정 극성 항목)에서 발화하고 허가된 단어(than, by, nor)를 예측하기 위해 기억을 전달한다. 이 판독 가능성은 국소화되어 있으며 분할까지만 자유롭지만(완전 불리언 FFN은 학습에서 발산함), 결과는 판독 가능하고 구조에 의해 해석 가능한 문법 메커니즘을 갖는 매개변수 중립적, 언어 모델 품질의 트랜스포머로, 피드-포워드 층이 무엇을 표현하는지뿐만 아니라 어떻게 허가하는지에 대한 설명이기도 하다.

원문 초록

A transformer's feed-forward (FFN) sublayer materializes the distinctions attention gathers, yet gives no account of what it computes. In a parameter-neutral replacement, each hidden unit is an explicit fuzzy set operation on sigmoid-bounded [0,1] memberships: intersection A*B and set-difference A*(1-B), the latter a bounded positive negation ("A but not B") that gated/bilinear units lack -- a negation-capable FFN (NC-FFN). On N-bit parity they are the most parameter-efficient reasoning basis at shallow depth; at scale (125M, OpenWebText) NC-FFN ties the GELU baseline's perplexity, every unit carrying explicit logical form. Two limits share one cause: two-operand logic localizes to layer 0 and erodes under training, and the one robust grammatical deficit concentrates in licensing and quantifiers, beyond within-token operators. We resolve both with a small block of sequence quantifiers: a soft existential and a soft proportion, each with a per-unit learned forgetting rate from a sticky init. This recovers the deficit at epoch one (halving the wider epoch-two gap), modestly leads on LAMBADA, and makes the FFN legible: the structure now holds and migrates into depth; the decay un-learns its stickiness (median half-life ~1.5 tokens; zero latch units); and at the semantic layers the units read, without dictionary learning, as grammatical licensing detectors: each fires on a licensor (a comparative, a passive participle, a negative-polarity item) and carries its memory forward to predict the licensed word (than, by, nor). This legibility is localized and free only up to a partition (a fully Boolean FFN diverges in training), but the result is a parameter-neutral, language-model-quality transformer with a readable, interpretable-by-construction grammatical mechanism -- an account not just of what a feed-forward layer represents but how it licenses.

요약

트랜스포머 FFN 서브레이어를 퍼지 집합 연산(교집합 A·B, 집합 차 A·(1-B))으로 대체한 부정 가능 FFN(NC-FFN)을 제안하며, 이를 통해 매개변수 수 변화 없이 명시적 논리 형식을 각 은닉 유닛에 부여한다. 시퀀스 수준의 자기-망각 퍼지 양화사(soft existential/proportion quantifier)를 추가함으로써 문법 허가(grammatical licensing) 결함을 회복하고, 의미 층의 유닛들이 별도의 사전 학습 없이 비교급·수동 분사·부정 극성 항목 등의 허가자를 감지하는 판독 가능한 문법 메커니즘으로 스스로 특화됨을 보인다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.31845v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10268v1cs.CL공통 태그 Language Modelling, Natural Language Understanding

언어 재생성: 재구성에 대한 정보 국소성 효과 탐구

Language Re-generation: An investigation into information locality effects on reconstruction

정보 국소성(information locality)은 구문적으로 관련된 단어들이 서로 가까이 나타나는 경향으로, 인간의 언어 처리와 언어 모델 학습 모두에 영향을 미친다. 언어 모델이 불가능한 언어(impossible language)를 습득할 수 있는지에 대한 선행 연구가 있었지만, 언어 모델이 그러한 입력으로부터 자연어를 복원할 수 있는지, 그리고 이것이 언어 모델의 귀납적 바이어스에 대해 무엇을 드러내는지는 아직 불분명하다. 우리는 학습 가능성 기반 접근법을 재구성 프레임워크로 보완함으로써 이 문제를 다룬다: 불가능한 언어로 사전학습된 GPT-2 모델을 미세조정하여 세 가지 유형의 교란(perturbation)으로부터 자연스러운 영어를 재구성한다. 우리의 결과에 따르면, 복원된 구조는 원본 텍스트보다 짧은 의존성 길이(dependency length)를 나타내며, 이는 제약 없는 언어 모델 생성에서 관찰되는 국소성 선호를 반영하고 학습 가능성 실험만으로는 드러나지 않는 아키텍처 바이어스의 정량적 특징을 제공한다. 복원 난이도는 국소성 교란의 정도에 따라 증가한다. 구조적 복원(의존성 Triple F1)은 표면적 복원(정확 일치)과 분리되며, 전역 셔플링(global shuffling) 하에서 유창성은 충실한 재구성과 분리된다. 문장 길이는 성능을 추가로 조절하는데, 긴 문장은 지역 구조가 보존될 때 복원을 촉진하지만 전역 셔플링 하에서는 완전한 붕괴를 초래한다. 마지막으로, 복원 난이도는 교란 유형 전반에 걸쳐 학습 가능성 난이도를 추적하며, 이는 정보 국소성이 두 현상 모두를 지배하는 공통 제약임을 시사한다.

arXiv:2607.04319v1cs.CL공통 태그 Language Modelling, fuzzy logic

구성적 가독성: 어텐션과 엔드투엔드 트랜스포머

Legible-by-Construction: Attention and End-to-End Transformers

동반 논문에서는 트랜스포머의 피드포워드 층이 명시적인 퍼지 집합 연산—교집합, 집합 차, 자기망각 시퀀스 양화사—으로 재구성될 수 있으며, 그 결과 은닉 유닛이 언어 모델 품질 손실 없이 명명된 논리 연산자로 읽힐 수 있음을 보였다. 이는 트랜스포머의 나머지 절반을 불투명한 채로 남겨두었다. 본 연구에서는 동일한 아이디어를 어텐션에 적용하고 두 요소를 하나의 모델로 결합한다. 메커니즘은 단순하다: 헤드의 값을 시그모이드에 통과시킴으로써 각 값 채널이 특징이 토큰에서 성립하는지 여부를 판단하는 가독 가능한 검출기가 된다. 이는 파라미터를 추가하지 않으며 표준 헤드를 그 외에는 변경하지 않는다. 불리언 변형은 더 나아가 값을 명시적인 토큰 내 교집합과 부정 가능한 집합 차로 재구성한다. 두 설계 모두에서 출력 투영은 어휘에 묶이지 않고 자유롭게 유지되는데, 이것이 핵심 결정이다: 헤드가 검출하는 것을 제한하면서 쓰는 것은 제약하지 않으면 선택적 검출기가 생성되지만, 쓰기를 제약하면 그렇지 않다. 경계가 설정된 값은 두 가지 선택성 압력에 의해 가독 가능한 검출기로 형성되는데—하나는 희소 발화를 위한 것이고 다른 하나는 경계에서의 결정적 발화를 위한 것—어떤 설계가 이를 필요로 하는지는 보편적이지 않다. 1억 2500만 파라미터 규모의 다섯 가지 특화된 어텐션 설계에 걸쳐, 44~62%의 값 채널이 명확하고 문맥적으로 선택적인 검출기가 되며, 가독성은 구두점에서만 결정화되는 것이 아니라 깊이에 따라 향상된다. 언어 모델 품질은 기존 기준선과 동등하다. 마지막으로, 불리언 어텐션을 가독 가능한 피드포워드 층과 결합하여 벤치마크 동등 수준에서 엔드투엔드 구성적 가독성 언어 모델을 학습시킨다: 이 모델의 피드포워드 유닛은 전체에 걸쳐 명명된 집합 및 양화사 연산으로 구성되며, 모델이 생성한 토큰을 가져와 이를 생성하는 데 기여한 명명된 유닛들을 읽을 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.