PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.31845v1cs.CL

피드-포워드 층의 명시적 퍼지 논리: 자기 망각 양화사가 판독 가능한 문법 허가 검출기를 발견하다

Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors

트랜스포머 FFN 서브레이어를 퍼지 집합 연산(교집합 A·B, 집합 차 A·(1-B))으로 대체한 부정 가능 FFN(NC-FFN)을 제안하며, 이를 통해 매개변수 수 변화 없이 명시적 논리 형식을 각 은닉 유닛에 부여한다. 시퀀스 수준의 자기-망각 퍼지 양화사(soft existential/proportion quantifier)를 추가함으로써 문법 허가(grammatical licensing) 결함을 회복하고, 의미 층의 유닛들이 별도의 사전 학습 없이 비교급·수동 분사·부정 극성 항목 등의 허가자를 감지하는 판독 가능한 문법 메커니즘으로 스스로 특화됨을 보인다.