LLM에서의 구성적 추론을 위한 오퍼라드
Operads for compositional reasoning in LLMs
질문 분해(question decomposition), 즉 복잡한 질의를 더 간단한 하위 질의로 나누고 그 답변을 합성하여 최종 답변을 생성하는 방식은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 널리 사용되는 전략이지만, 현재로서는 엄밀한 수학적 기초가 결여되어 있습니다. 본 논문에서는 다중 입력 단일 출력 연산 및 그 합성을 모델링하는 수학적 구조인 오퍼라드(operads)를 질문 분해를 기술하기 위한 자연스러운 프레임워크로 제안합니다. 우리는 연산이 질문 템플릿에 해당하고 합성이 하위 답변의 치환에 해당하는 질문 오퍼라드 $Q$를 정의하고, QA(질의응답) 모델이 $Q$ 위의 대수(algebras)로 해석될 수 있음을 보여줍니다. 기존 관행을 재정립하는 것을 넘어, 이러한 오퍼라드적 관점은 새로운 방법론, 특히 QA 모델의 답변이 질문 분해 트리의 부분 축소(partial collapses) 과정에서 일치하는지를 측정하는 오퍼라드적 일관성(operadic consistency)이라는 개념을 제시합니다. 오퍼라드적 일관성에 대한 실증적 평가는 관련 논문(Bottman, Liu, and Richardson, 2026)에서 보고되었으며, 해당 연구는 12개의 LLM과 4개의 멀티홉 QA 데이터셋에서 정확도와 강한 상관관계가 있음을 확인하고 표준 온도 기반 자기 일관성(self-consistency) 기준선(baselines)보다 우수한 성능을 보였습니다. 우리는 오퍼라드가 질문 분해를 위한 자연스러운 수학적 귀착지이며, 오퍼라드적 일관성과 같은 불변량(invariants)이 다단계 추론의 신뢰성을 분석하고 개선하는 새로운 방향을 제시한다고 주장합니다.