효과적인 학습의 일반적인 원리는 이미 숙달되었거나 진전을 이룰 수 없을 정도로 너무 어렵지 않은 내용을 연습하는 것입니다. 본 연구에서는 스도쿠(Sudoku) 및 미로 찾기(maze solving)와 같은 구조적 추론 작업에 이 원리를 어떻게 적용할 수 있는지 질문을 던집니다. 이러한 작업에서 모델은 불완전하거나 부정확한 후보 해(candidate solution)가 문제의 제약 조건을 만족할 때까지 이를 반복적으로 수정할 수 있습니다. 이 궤적을 따르는 중간 후보 해들은 자연스러운 학습(training) 예시를 제공합니다. 어떤 것은 이미 해결되었고, 어떤 것은 아직 모델이 수정할 수 없으며, 또 어떤 것은 모델이 현재 달성 가능한 진전의 최전선(frontier)에 놓여 있습니다. 이에 따라 사전학습(pre-training)된 언어 모델(LLM)이 이러한 상태를 수정하는 방법을 학습할 수 있는지, 그리고 이 최전선의 상태에 대해 학습하는 것이 더 넓은 범위의 추론 능력을 향상시키는지 조사합니다. 이를 위해 사전학습된 언어 모델 백본(backbone)과 명시적 해 상태를 반복적으로 수정하는 순환 업데이트기(recurrent updater)를 결합하여, 매 업데이트 단계마다 동일한 파라미터를 사용하도록 합니다. 더 나아가 현재 모델이 생성한 궤적에서 학습 상태를 선별하는 FOCUS(Frontier-Oriented Curation Using Self-trajectories)를 소개합니다. FOCUS는 고정된 횟수의 순환 업데이트 내에서 모델이 각 상태를 얼마나 개선하는지 측정하고, 상당한 진전을 이룰 수 있는 상태를 우선순위에 둡니다. Qwen3-1.7B를 사용했을 때 FOCUS는 Sudoku-Extreme에서 64.4%, Maze-Hard에서 91.1%의 완전 해결 정확도(exact solve accuracy)를 달성했으며, 1.7B에서 8B 파라미터에 이르는 5개의 Qwen 및 Llama 백본 전반에서 유사한 성능 향상이 관찰되었습니다. 또한 순환 업데이트기를 비활성화하고 다운스트림 미세조정(fine-tuning)을 수행하지 않았을 때도, 적응된 LLM이 수학적 추론 및 코드 실행으로 제로샷(zero-shot) 전이되는 것을 확인했습니다.
멀티모달 대규모 언어 모델(MLLM)의 추론은 의료 영상 분야에서 큰 가능성을 보여주었습니다. 그러나 이러한 추론은 대개 최종 답변으로만 평가되는 자유 형식의 텍스트인 경우가 많아, 진단이 스캔 영상의 근거로 추적 가능해야 하는 3D 방사선학에서는 해석 및 검증이 특히 어렵습니다. 기존의 흉부 CT 질의응답 데이터셋은 전문 방사선과 판독 보고서를 단순 답변 쌍으로 축소하여 소견과 결론을 연결하는 추론 과정을 누락하고 임상의가 의존하는 환자 병력을 생략함으로써 이러한 문제를 심화시킵니다. 그 결과, 모델을 학습(training)하는 데 필요한 구조화된 지도(supervision)나 추론을 검증하는 데 필요한 프로토콜이 아직 존재하지 않아 추론 능력을 갖춘 3D 흉부 CT MLLM 개발은 여전히 요원한 상태입니다. 본 논문에서는 3D 흉부 CT를 위한 구조화된 추론 벤치마크인 CORTEX(Clinically Organized Reasoning and sTructured EXplanation)를 소개합니다. CORTEX는 각 질문에 대해 방사선 전문의의 워크플로를 반영하는 4단계 진단 추적(과제 이해, 시각적 관찰, 진단 추론, 답변 종합)을 통해 누락된 추론을 복원합니다. 광범위한 의료 및 일반 영역 지식을 갖춘 최첨단 대규모 언어 모델(LLM)을 사용하여 이러한 추적을 생성한 후, 자동화된 루브릭 채점과 전문 방사선과 의사의 검토를 결합한 단계별 평가(evaluation) 프로토콜을 통해 필터링하고 검증합니다. 결정적으로, 추론 구조와 평가 루브릭은 모두 임상의와의 긴밀한 협력을 통해 설계되었습니다. 추론 주석이 없는 대규모 공개 흉부 CT 데이터셋인 CT-RATE를 기반으로 구축된 CORTEX는 개방형 VQA, 폐쇄형 VQA, 보고서 생성에 걸쳐 검증된 76,177개의 추론 추적을 포함하며, 3D 흉부 CT를 위한 신뢰할 수 있는 추론 모델을 구축하고 평가하는 데 필요한 구조화된 지도 및 단계별 평가 프로토콜을 모두 제공합니다. 데이터셋과 평가 코드는 https://huggingface.co/datasets/aneesurhashmi/cortex 에서 이용할 수 있습니다.
대규모 언어 모델(LLM)은 긴 사고의 연쇄를 생성하는 데 뛰어나지만, 긴 추론 궤적은 종종 장황하고 메모리 효율이 낮다. 본 연구에서는 추론을 교대로 반복되는 <try>와 <outcome> 블록으로 구성하는 프레임워크인 Structured Thoughts를 소개한다: <try>는 탐색적 스크래치 작업을 포착하고, <outcome>은 해당 단계의 증류된 결론을 담는다. 우리는 추론 궤적을 <try> 블록으로 분할하고 LLM에 각 단계를 해당 <outcome>으로 요약하도록 프롬프트함으로써 구조화된 사고의 데이터셋을 구성한다. 이 재구성된 데이터로 사전학습된 기반 모델을 미세조정하면 구조화된 추론 방식을 채택하는 모델이 생성되며, 표준 SFT 대비 추론 벤치마크에서 최대 8.08%의 성능 향상을 달성한다. 명시적 구조는 또한 컨텍스트 가지치기를 가능하게 한다: 각 <try>/<outcome> 쌍 이후 <try>를 가지치기할 수 있어, 모델이 컨텍스트에 전체 스크래치 작업을 보존하지 않고도 결론을 유지할 수 있다. 개념 증명 가지치기 구현은 수학적 과제 전반에 걸쳐 평균 85%의 메모리/컨텍스트 절감과 8.67%의 성능 저하를 달성한다.
씬 그래프 씽킹(SaGe)은 평면적 이미지-텍스트 쌍을 계층적 씬 그래프로 변환하는 자동화 데이터 엔진을 통해 120K개의 구조적 학습 데이터를 구축하고, 지도 파인튜닝과 노드-프록시(node-as-proxy) 그래프 보상 기반 강화 파인튜닝의 2단계 사후학습으로 멀티모달 대규모 언어 모델(MLLM)에 세밀하고 관계 인식적인 시각 추론 능력을 내재화하는 패러다임이다. 8개의 멀티모달 벤치마크에서 세밀한 인식 및 추론 태스크에 걸쳐 일관된 성능 향상을 달성하며, 개별 객체 중심의 기존 접근법이 간과하던 구조적 장면 관계를 명시적으로 모델링하는 데 강력한 효과를 입증한다.
Discrete flow models have recently shown promising performance on few-step text generation; however, when naively applied to structured reasoning tasks such as Sudoku and Zebra puzzles, they converge confidently to incorrect answers (solving only $\sim$36% of Sudoku puzzles). We introduce Flow Reasoning Models (FRMs), a training and test-time-scaling framework for structured reasoning with flow models. We make the observation that, despite their poor solve rate, flow models can act as their own verifiers. A correct answer is a stable fixed point of the denoising dynamics, returning to itself when re-noised and re-solved. This enables a test-time-scaling paradigm: propose many candidate solutions and keep those that are dynamically stable, which alone reaches high solve rates on Sudoku-Shah (~$100\%$) and Zebra ($95.9\%$). This even generalizes to harder out-of-distribution puzzles like Sudoku-Extreme ($96.1\%$), without ever training on that distribution. This pure search, however, wastes a great deal of computation generating incorrect candidate solutions. We therefore design a training recipe to improve the base model's efficiency. First, we train flow models with a self-conditioning channel and close it at inference, letting them refine their own past predictions. Second, we train models to avoid their own failed generations using direct preference optimization. These changes substantially improve the base model's efficiency, letting it reach $99.2\%$ on Sudoku in just $7$ forward passes, over $8\times$ fewer than the strongest matched masked-diffusion baseline we compare needs for the same accuracy. When combined with test-time scaling, this lets flow models solve hard out-of-distribution puzzles (e.g. Sudoku-Extreme) far more efficiently.
Modern Hopfield trajectory memory로 증강한 검색 워밍 에너지 기반 추론(RW-EBR)에 5-arm ablation 방법론을 적용해 클래스 사전 바이어스 이동, 확률적 워밍스타트, 그래프 정렬 value 재사용을 분리한다. connectivity-2에서는 per-graph 정렬이 균형 정확도 +35pp 격차를 주는 지배 요인이나 배포 가능한 cold 파이프라인은 저장 value 품질에서 acceptance gate를 통과하지 못하고, Sudoku에서는 key 품질이 첫 차단 구성 요소로 드러난다.
비정형 업무·규제 문서에서 조건 분기와 병렬 실행을 포함한 비즈니스 규칙 흐름을 구조화하는 Logic Gap을 해소하기 위해 30개 이상 도메인의 409개 문서와 2,855개 전문가 주석 규칙으로 구성된 BREX 벤치마크와 구조 인식 추론 프레임워크 ExIde를 제안한다. 13개 대규모 언어 모델(LLM) 평가에서 실행 가능한 그라운딩(executable grounding) 의사코드 생성이 일반 프롬프트보다 규칙 추출에 우수했고, 추론 최적화 모델이 장거리·비선형 규칙 의존성 추적에서 더 나은 성능을 보였다.