미분 가능한 퍼지 추론 층: 대규모 언어 모델을 위한 단조·구성적 서열 추론 헤드
Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models
최신 언어 모델에게 "most of most students passed"를 해석하라고 하면 대개 "most"라고 답하지만, "most"를 두 번 구성하면 비율은 "some"에 더 가깝다. 우리는 이 실패를 데이터 부족이 아니라 아키텍처 선택에서 비롯된 것으로 본다. 표준 분류기 헤드는 서열 범주를 서로 독립적인 레이블로 취급하며, 자연스러운 순서를 지키거나 대수적으로 구성할 메커니즘이 없다. 우리는 미분 가능한 퍼지 추론 층(Differentiable Fuzzy Inference Layer, DFIL)을 제안한다. 이는 표준 분류기와, 순서가 있는 소속 함수(membership function) 뱅크에 기반한 스칼라 병목 분기를 짝지은 이중 경로 예측 헤드이다. DFIL은 레이블만 쓰는 헤드가 갖출 수 없는 두 가지 구조적 원시를 제공한다. 하나는 기저 양에 대한 단조성(monotonicity)이고, 다른 하나는 구성적 학습 데이터 없이 t-norm 연산으로 이루는 구성적 추론이다. 스칼라 분기는 또한 잔차 오류를 분석하기 위한 해석 가능한 인터페이스를 제공한다. 우리는 다양한 LLM 계열에 걸친 서열 자연어 과제에서 DFIL을 구현한다.