대규모 언어 모델(LLM)을 위한 강화학습(RL)은 일반적으로 모든 성공적인 궤적의 확률을 합산하여 기대 수익을 극대화합니다. 그러나 고전적인 합산 공식은 모델 정책이 얼마나 자주 성공하는지만 나타낼 수 있을 뿐 어떤 해법이 실제로 작동했는지는 알 수 없으며, 확률의 총합이 1이기 때문에 한 해법을 강화하면 틀렸다고 입증된 적이 없는 다른 해법을 모델이 잊어버리게 만들 수 있습니다. 이로 인해 기대 수익은 구성적 추론(compositional reasoning)에 잘 맞지 않습니다. 구성적 추론에서는 모델이 분리되어 종종 실패하는 시도들 속에서 생성하지만 한 번에 함께 생성하는 경우는 드문 여러 추론 단계들을 조합하여 하나의 해법을 구성해야 하기 때문입니다. 이를 해결하기 위해 우리는 대수 구조의 단순한 변경에 기반한 트로피컬 강화학습(Tropical Reinforcement Learning)을 제안합니다. 대안적 해법들의 확률을 더하는 대신 최댓값을 취하며, 이는 트로피컬 반환(tropical semiring)으로 이어집니다. 이에 따라 상태의 가치는 재생 및 재사용이 가능한 명시적 경로와 함께, 가장 가능성이 높은 검증된 해법의 로그 확률이 됩니다. 이는 서로 다른 롤아웃에서 나온 경우라도 공유된 상태에서 만나는 최선의 접두 문맥과 최선의 접미 문맥을 결합할 수 있으므로 진정한 구성을 가능하게 합니다. 이를 실제로 적용하기 위해, 검증 가능한 결과를 갖는 결정론적이고 재설정 가능한 환경을 위한 학습 알고리즘인 TROPIC을 도입합니다. 네 가지 에이전트 태스크(Sokoban, Countdown, FrozenLake, WebShop)에서 TROPIC은 가장 강력한 온-정책(on-policy) 베이스라인 대비 최대 16%포인트 높은 성능을 보입니다. 따라서 추정기뿐만 아니라 강화학습의 대수 구조를 변경하는 것은 언어 모델의 구성적 추론을 크게 향상시킬 수 있습니다.
인간은 한 맥락에서 학습(training)한 아이디어를 실질적으로 다른 상황에 적용할 수 있습니다. 새로운 문제를 해결하기 위해 학습된 관계의 참신한 재조합을 탐색하고 구축하는 이러한 과정을 우리는 분포 외(OOD, out-of-distribution) 추론이라고 부릅니다. 대규모 언어 모델(LLM)이 OOD 추론을 지원할 수 있는 역량은 일반 지능 시스템을 위한 여러 제안의 근간이 됩니다. 그러나 대부분의 문제는 여러 방식으로 분해될 수 있으며, 일부는 얕은 하위 문제를 포함하고 다른 일부는 학습 데이터로부터 암기되었을 수 있는 하위 문제를 포함하기 때문에 이 특성을 측정하기는 까다롭습니다. 이로 인해 모델(model)이 실제로 수행해야 하는 구성적 추론의 양을 판단하기가 어렵습니다. 학습 분포에 대한 불확실성, 특정 데이터포인트와 학습 분포 사이의 거리를 측정하는 방법, 그리고 대부분의 과제를 분해하는 지수적인 가짓수로 인해 표준 자연어 처리 과제에서 현대 LLM의 OOD 추론 능력을 강건하게 측정하는 것은 다루기 어렵습니다. 본 연구에서는 모델이 데이터로부터 $GF(2)$ 상의 불리언 회로(Boolean circuit)를 점진적으로 해결하는 벤치마크를 도입합니다. 이 벤치마크는 이러한 교란 요인들로부터 OOD 추론을 격리하므로 최소화되어 있으면서도, 계산 가능한 모든 함수가 충분히 큰 $GF(2)$ 다항식으로 표현될 수 있다는 점에서 일반적입니다. 연구 결과, 독립형 모델의 다음 단계 정확도는 깊이가 깊어질수록 붕괴하는 것으로 나타났습니다. 반면, 코드 합성 및 실행을 통한 도구 사용은 소형 LLM과 프론티어 LLM 모두에서 이러한 붕괴를 방지합니다. 이러한 결과는 도구를 합성하는 것이 OOD 추론을 뒷받침하는 데 결정적인 역할을 한다는 점을 시사합니다.
전역 비전-언어 유사도(global vision-language similarity)는 이미지와 캡션을 하나의 벡터로 압축하여 의미는 보존하지만, 어떤 단어가 어떤 영역에 대응하는지 또는 그 영역들이 어떻게 배치되어 있는지는 보존하지 못한다. 그 결과 모델은 모든 단어와 객체를 인식하면서도 구성적으로 잘못된 캡션을 선호할 수 있다. 우리는 고정된(frozen) 인코더가 이러한 연관 구조를 이미 보유하고 있으며, 따라서 문제는 사전학습된 유사도 옆에 이를 재구축하는 것이 아니라 그것을 읽어내는 것이라고 주장한다. 우리는 하나의 잠재 객체 위에 구축된 쌍별(pairwise) 스코어러인 BindCLIP을 제안한다: 이는 후보 캡션들과 여러 시각적 깊이(visual depth)를 하나의 계획(plan)에 배치하는 균형 잡힌 토큰-패치-깊이 최적수송(optimal-transport) 커플링이다. 의미적, 개체적, 순서적, 공간적 증거는 이 상태의 에너지로 읽히며, 후보들을 교환하면 계획이 치환되어 점수가 정확히 반대칭(antisymmetric)이 된다. 커플링 내부의 기하학적 정제(geometric refinement)는 후보들과 시각적 깊이가 뒷받침하지 않는 이동(move)을 수축시킨다. 과제 레이블, 파서(parser), 관계 목록(relation inventory), 검출기(detector)는 전혀 사용되지 않는다. 하나의 체크포인트와 하나의 추론 경로만으로 고정된 전역 CLIP 대비 공식 What'sUp, ARO, SugarCrepe 벤치마크에서 성능이 향상되며, 관계(relation) 분할에서 가장 강한 전이(transfer) 성능을 보인다. 대조군(control) 실험은 패치 접근이나 캡션 길이를 이용한 지름길(shortcut) 가능성을 배제하며, 추론 시점의 병변(lesion) 실험은 공간적 배치 정보가 커플링에 국지화되어 있음을 보여준다.
이중 인코더 비전-언어 모델(VLM)은 제로샷 검색을 가능하게 하는 유사도 인터페이스를 제공하지만, 구성적 제약에는 실패한다. "우산과 사람 없음"과 같은 쿼리가 개념 탐지가 신뢰할 만하더라도 둘 다 포함된 이미지를 검색한다. 이를 인터페이스 수준의 Bag-of-Concepts 효과로 추적하는데, 여기서 유사도 점수는 연산자와 무관하게 개념 증거의 평균 풀링을 근사한다. 텍스트 임베딩에는 연산자 의존적 신호가 존재하지만, 순위에 영향을 미치기에는 너무 약하거나 랭킹과 부합하지 않는다. 미세조정은 이 실패를 안정적으로 해결하지 못하는데, 지배적인 병목은 인코더가 무엇을 표현하는가가 아니라 유사도가 증거를 어떻게 집합하는가에 있다. 우리는 증거 추출과 제약 실행을 분리하는 분해 추론을 제안하고, 고정된 인코더의 개념 점수를 사용해 외부에서 제약을 실행하는 학습 불필요 방법인 LCSE(Logic-Constrained Score Editing)를 도입한다. 또한 FACTOR-Bench를 도입했으며, LCSE는 최고의 미세조정 기준선 73.2% 대비 85.5% 정확도를 달성하고, SigLIP 2에 적용하면 90.7%를 달성하며, 검색 성능을 유지하면서 NegBench COCO MCQ 정확도를 27.2%에서 65.2%로 향상시킨다.
자연어 데이터의 멱함수 법칙(power-law) 분포가 조합적 추론(compositional reasoning) 학습에 오히려 유리하다는 반직관적 현상을 이론과 실험으로 규명하며, 균등 분포 대비 멱함수 법칙 분포로 학습 시 상태 추적(state tracking) 및 다단계 산술 등의 과제에서 일관되게 우수한 성능을 보임을 입증한다. 멱함수 법칙 샘플링이 유도하는 비대칭성이 손실(loss) 지형의 병목을 해소하여 고빈도 기술 조합을 먼저 습득하게 하고, 이를 발판으로 롱테일 기술까지 효율적으로 학습할 수 있음을 이론적으로 증명한다.
LLM과 인간이 자연어의 합성적 해석(compositional interpretation)에서 어떻게 다른지 평가하기 위해, Personal Relation Task를 활용하여 지시 대상을 찾는 외연적 과제(Extensional task)와 형식 표현(예: friend(parent(amber)))을 생성하는 내포적 과제(Intensional task)에서 각각의 성능을 비교하였다. 실험 결과, 인간은 외연적 과제에서, LLM은 내포적 과제에서 더 높은 성능을 보였으며, 이는 LLM 학습에서 참조적 그라운딩(referential grounding)의 부재가 인간과 유사한 언어 이해를 모방하는 데 결정적으로 누락된 요소임을 시사한다.
CDR-Bench는 대규모 언어 모델(LLM)이 다단계 데이터 정제 레시피를 순서에 맞게 충실히 실행할 수 있는지 평가하는 벤치마크로, 4개 도메인과 29개 연산자를 아우르는 3,462개의 태스크로 구성된다. 10개 이상의 최신 LLM 실험 결과, 순서 민감 레시피에서 성공률이 5% 미만으로 급격히 붕괴되는 등 현재 모델들이 조합적·순서 의존적 데이터 정제에 필요한 절차적 충실성을 결여하고 있음을 보였다.
지식 그래프 임베딩(KGE) 모델이 단일 홉(single-hop) 링크 예측에는 강하지만 학습 중 등장하지 않은 관계 체인을 추론하는 제로샷(zero-shot) 다중 홉 조합 추론에는 실패한다는 문제를 분석하기 위해, Holographic Reduced Representations(HRR)과 FHRR 두 가지 홀로그래픽 메모리 변형을 FB15k-237 데이터셋에서 실험한 결과, 두 모델 모두 단일 홉 검색에서는 경쟁력 있는 성능을 보였으나 제로샷 조합 추론에서는 완전히 실패하였으며, 그 핵심 원인이 bind-unbind 대수(algebra)나 cleanup 메커니즘이 아닌 중첩된 메모리에서의 검색 용량(retrieval capacity) 부족과 간섭(interference) 효과임을 기계적 프로브(probe) 분석을 통해 규명하였다.
검증 가능한 보상으로부터의 강화학습(RLVR)은 수학 및 코드 추론에서 빠른 발전을 이끌었지만, 과학 분야로 확장했을 때 기존 벤치마크는 무엇이 일반화되는지를 분해하지 못한다: 성능 향상이 구조적 전이, 속성 전이, 또는 암기를 반영하는가? 우리는 Mat-Pref를 소개한다. 이는 Materials Project의 밀도 범함수 이론(density functional theory) 계산에 기반하여 11개 무기 구조 계열에 걸친 10,837개의 이온 치환 문제로 구성된 벤치마크로, 분포 내 성능, 완전히 제외된 구조 계열로의 일반화, 그리고 교차 속성 전이—학습 중 형성 에너지 지도(supervision)를 통해서만 본 호스트에 밴드갭 추론을 적용하는 것—를 격리하는 세 가지 평가 분할을 제공한다. 네 개의 제로샷 프론티어 모델(70B-671B 파라미터)은 모든 분할에서 33-54% 범위에 머물며, 스케일만으로는 이 과제가 요구하는 조합적 화학 추론을 해결할 수 없음을 확인한다. 지도 미세조정에 이어 Group Relative Policy Optimization(GRPO)으로 구성된 2단계 파이프라인은 Qwen3-8B를 분포 내 65.2%, 제외된 계열에서 71.6%로 끌어올리며, 두 구조 일반화 분할 모두에서 제로샷 Qwen3-235B를 20 퍼센트포인트 이상 초과한다. 자기 일관성(self-consistency) 샘플링은 지도 미세조정 정책이 이미 정답을 생성할 수 있지만 이를 최빈 응답으로 안정적으로 표면화하지 못함을 보여준다. GRPO는 정답이 단순히 도달 가능한 것이 아니라 최빈값이 되도록 분포를 재형성하며, 이 더 명확한 확신은 메커니즘적으로도 확인된다: 로짓 렌즈(logit lens) 분석은 핵심 결정 층에서 답변 결정화(answer crystallization)에 대한 약 20pp의 이점을 드러낸다. 우리는 이 관찰을 교란자 순열 일관성 지표로 형식화하며, GRPO는 이 지표 하에서 관대한 채점(적어도 하나의 순열이 정확)과 엄격한 채점(모든 순열이 정확) 간의 격차를 24.0에서 14.3 퍼센트포인트로 좁힌다.
루프 아키텍처는 구성적 추론이 필요한 작업에 대해 단계별 절차를 학습하는 귀납적 바이어스를 제공합니다. 루핑을 통해 도달하는 유효 계층의 수는 해당 모델이 찾아내는 해결책의 품질을 결정합니다. 딥 아키텍처와 마찬가지로, 루프 아키텍처는 중단 결정이 연기됨에 따라 깊이로 인해 유발되는 신호 전파 문제에 취약합니다. 본 논문에서는 사전 정규화(pre-norm) 계층과 잔차 스케일링을 사용하여 이 신호 전파 문제를 해결합니다. 이러한 아키텍처 수정 사항을 바탕으로, 루프 아키텍처에서 고정점 수렴을 엔드-투-엔드 중단 메커니즘으로 사용하는 트랜스포머 기반 고정점 추론 모델인 FPRM을 제안합니다. 고정점 중단이 FPRM이 연산량을 작업 난이도에 맞게 적응할 수 있게 함을 보여줍니다. FPRM은 스도쿠, 미로, 상태 추적(state-tracking), ARC-AGI와 같은 일반적인 추론 벤치마크에서 효과적입니다.
대규모 언어 모델(LLM)의 합성적 추론 오류를 감지하기 위해 질의에 대한 직접 답변과 분해된 단계들의 합성 결과가 일치하는지 확인하는 오퍼라딕 일관성(OC)을 제안한다. 다양한 모델과 멀티홉 QA 데이터셋에서 OC는 정확도와 강한 상관관계를 보이며 기존 사고의 연쇄 자기 일관성(CoT-SC)보다 우수한 선택적 예측 성능을 달성했다.
질문 분해(question decomposition), 즉 복잡한 질의를 더 간단한 하위 질의로 나누고 그 답변을 합성하여 최종 답변을 생성하는 방식은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 널리 사용되는 전략이지만, 현재로서는 엄밀한 수학적 기초가 결여되어 있습니다. 본 논문에서는 다중 입력 단일 출력 연산 및 그 합성을 모델링하는 수학적 구조인 오퍼라드(operads)를 질문 분해를 기술하기 위한 자연스러운 프레임워크로 제안합니다. 우리는 연산이 질문 템플릿에 해당하고 합성이 하위 답변의 치환에 해당하는 질문 오퍼라드 $Q$를 정의하고, QA(질의응답) 모델이 $Q$ 위의 대수(algebras)로 해석될 수 있음을 보여줍니다. 기존 관행을 재정립하는 것을 넘어, 이러한 오퍼라드적 관점은 새로운 방법론, 특히 QA 모델의 답변이 질문 분해 트리의 부분 축소(partial collapses) 과정에서 일치하는지를 측정하는 오퍼라드적 일관성(operadic consistency)이라는 개념을 제시합니다. 오퍼라드적 일관성에 대한 실증적 평가는 관련 논문(Bottman, Liu, and Richardson, 2026)에서 보고되었으며, 해당 연구는 12개의 LLM과 4개의 멀티홉 QA 데이터셋에서 정확도와 강한 상관관계가 있음을 확인하고 표준 온도 기반 자기 일관성(self-consistency) 기준선(baselines)보다 우수한 성능을 보였습니다. 우리는 오퍼라드가 질문 분해를 위한 자연스러운 수학적 귀착지이며, 오퍼라드적 일관성과 같은 불변량(invariants)이 다단계 추론의 신뢰성을 분석하고 개선하는 새로운 방향을 제시한다고 주장합니다.