구성적 가독성: 어텐션과 엔드투엔드 트랜스포머
Legible-by-Construction: Attention and End-to-End Transformers
동반 논문에서는 트랜스포머의 피드포워드 층이 명시적인 퍼지 집합 연산—교집합, 집합 차, 자기망각 시퀀스 양화사—으로 재구성될 수 있으며, 그 결과 은닉 유닛이 언어 모델 품질 손실 없이 명명된 논리 연산자로 읽힐 수 있음을 보였다. 이는 트랜스포머의 나머지 절반을 불투명한 채로 남겨두었다. 본 연구에서는 동일한 아이디어를 어텐션에 적용하고 두 요소를 하나의 모델로 결합한다. 메커니즘은 단순하다: 헤드의 값을 시그모이드에 통과시킴으로써 각 값 채널이 특징이 토큰에서 성립하는지 여부를 판단하는 가독 가능한 검출기가 된다. 이는 파라미터를 추가하지 않으며 표준 헤드를 그 외에는 변경하지 않는다. 불리언 변형은 더 나아가 값을 명시적인 토큰 내 교집합과 부정 가능한 집합 차로 재구성한다. 두 설계 모두에서 출력 투영은 어휘에 묶이지 않고 자유롭게 유지되는데, 이것이 핵심 결정이다: 헤드가 검출하는 것을 제한하면서 쓰는 것은 제약하지 않으면 선택적 검출기가 생성되지만, 쓰기를 제약하면 그렇지 않다. 경계가 설정된 값은 두 가지 선택성 압력에 의해 가독 가능한 검출기로 형성되는데—하나는 희소 발화를 위한 것이고 다른 하나는 경계에서의 결정적 발화를 위한 것—어떤 설계가 이를 필요로 하는지는 보편적이지 않다. 1억 2500만 파라미터 규모의 다섯 가지 특화된 어텐션 설계에 걸쳐, 44~62%의 값 채널이 명확하고 문맥적으로 선택적인 검출기가 되며, 가독성은 구두점에서만 결정화되는 것이 아니라 깊이에 따라 향상된다. 언어 모델 품질은 기존 기준선과 동등하다. 마지막으로, 불리언 어텐션을 가독 가능한 피드포워드 층과 결합하여 벤치마크 동등 수준에서 엔드투엔드 구성적 가독성 언어 모델을 학습시킨다: 이 모델의 피드포워드 유닛은 전체에 걸쳐 명명된 집합 및 양화사 연산으로 구성되며, 모델이 생성한 토큰을 가져와 이를 생성하는 데 기여한 명명된 유닛들을 읽을 수 있다.