How should future neural reasoning systems implement extended computation? Recursive Reasoning Models (RRMs) offer a promising alternative to autoregressive sequence extension by performing iterative latent-state refinement with shared transition functions. Yet existing RRMs are largely deterministic, following a single latent trajectory and converging to a single prediction. We introduce Generative Recursive reAsoning Models (GRAM), a framework that turns recursive latent reasoning into probabilistic multi-trajectory computation. GRAM models reasoning as a stochastic latent trajectory, enabling multiple hypotheses, alternative solution strategies, and inference-time scaling through both recursive depth and parallel trajectory sampling. This yields a latent-variable generative model supporting conditional reasoning via $p_\theta(y \mid x)$ and, with fixed or absent inputs, unconditional generation via $p_\theta(x)$. Trained with amortized variational inference, GRAM improves over deterministic recurrent and recursive baselines on structured reasoning and multi-solution constraint satisfaction tasks, while demonstrating an unconditional generation capability. https://ahn-ml.github.io/gram-website
재귀 모델은 추론 및 언어 태스크에서 유망함을 보이지만, 테스트 시점 스케일링(test-time scaling)에는 궤적 선택이나 순환 깊이(recurrent depth)를 정하는 원칙적 기준이 부족하다. 본 논문은 유효한 지역·전역 구조에 대한 Hopfield형 메모리로 후보 궤적에 고유 에너지를 부여하는 에너지 유도 재귀 모델(ERM)을 제안한다. 이 에너지는 후보 선택을 유도하고 순환 깊이의 유효 범위를 제시하며, 순환을 더 깊게 한다고 해서 추론 정확도가 반드시 좋아지는 것은 아님을 시사한다. 또한 parallel tempering과 같은 샘플링으로 탐험을 개선할 수 있다. 추론 태스크에서 ERM은 Sudoku(98.97%), Pencil Puzzle Bench(PPBench, 88.04%), Maze(99.30%)에서 최적해에 도달하여 재귀 모델링 최고 정확도를 기록했다. 언어 모델링에서는 미미한 추론 오버헤드로 RedPajama-V2 perplexity를 1.74% 낮췄다. 이 결과는 에너지 유도가 재귀 모델의 테스트 시점 스케일링을 개선하는 실용적 프레임워크임을 뒷받침한다.
재귀 추론 모델은 양자화 오류가 출력 토큰이 아니라 재귀 사이클을 거치며 누적되어, 공격적 압축 시 셀 정확도는 유지되지만 퍼즐 완전 정확도는 0으로 붕괴하는 전역 추론 손실이 나타난다. per-channel 보정 INT4와 carry-trajectory fidelity로 이를 진단·복구할 수 있으며, flash-streamed embeddings와 INT8 단일 사이클 구성으로 8MB SoC, 보정 INT4로 4MB MCU 배포가 가능하다.
불완전한 관찰에서 에이전트의 신념을 추론하는 Theory of Mind(ToM) 문제를 해결하기 위해, 순환적 관점 구성을 통해 중첩된 신념을 명시적으로 모델링하는 RecToM 프레임워크를 소개한다. 이 방법은 다양한 LLM 백본을 사용한 벤치마크에서 기존 접근 방식을 능가하는 최첨단 성능을 달성했다.