최근 대규모 언어 모델(LLM)의 발전은 인상적인 추론 능력을 보여주었으며, 검증 가능한 보상을 활용한 강화학습(RLVR)은 유망한 성능 향상 전략으로 주목받고 있다. 그러나 기존 보상 메커니즘은 결과 수준의 정확성에 국한되어 있어, 모델이 다양한 해법을 고려하도록 유도하는 명시적인 신호가 부족하다. 대조적으로, 인간의 문제 해결은 일반적으로 여러 잠재적 접근법을 평가하고 가장 신뢰할 수 있는 해법을 선택하는 과정을 거치지만, 현재의 RLVR 프레임워크는 이러한 인지 과정을 명시적으로 유도하지 않는다. 이에 영감을 받아, 본 연구에서는 모델이 먼저 모든 잠재적 후보 해법의 개요를 힌트로 나열한 다음 추가 추론을 위해 가장 신뢰할 수 있는 해법을 선택하도록 하는 힌트 유도 다양화 정책 최적화(HDPO)를 제안한다. HDPO는 구조화된 추론을 위한 콜드 스타트(Cold Start for Structured Reasoning)와 힌트 유도 다양화 강화학습(Hint-Guided Diversified Reinforcement Learning)의 두 단계로 구성되어, 모델이 '제안-선택-사고(propose-select-think)' 궤적을 따라 다양하고 신뢰할 수 있는 해법을 생성하도록 장려한다. 실험 결과는 HDPO가 LLM의 추론 성능을 효과적으로 향상시키고, 후보 해법의 다양성뿐만 아니라 신뢰할 수 있는 해법을 식별하는 LLM의 능력 또한 향상시킴을 보여준다.
기존 사후학습(post-training) 방법이 정신 건강 평가에서 인간의 인지 과정과 정렬되지 않는 문제를 해결하기 위해 단계별 불확실성 모델링을 통합한 강화학습(Reinforcement Learning) 프레임워크인 CRPO를 제안한다. CRPO로 학습된 Mental-R1 모델은 8개 데이터셋(dataset)에서 기존 최고 강화학습 기준선 대비 가중 F1 점수를 평균 10.4% 향상시키며 추론 능력을 개선했다.
언어 모델(language model)의 추론 능력은 단일 경로(trace) 내의 순차적 추론, 독립적으로 샘플링된 병렬 경로, 그리고 여러 추론 경로를 하나의 최종 응답으로 취합(aggregation)하는 것과 같은 다양한 기본 요소(primitive)에 걸쳐 추론 연산량을 확장하는 스캐폴드를 통해 테스트 시점에 크게 향상될 수 있습니다. 그러나 사후 학습(post-training) 과정에서 언어 모델은 일반적으로 단일 경로 내의 순차적 추론에 대해서만 최적화됩니다. 본 논문에서는 통일된 추론 연산 파이프라인의 일환으로 언어 모델이 이 세 가지 기본 요소를 모두 활용하도록 학습시키는 프레임워크인 SPIRAL(Sequential-Parallel-Aggregative Reinforcement Learning)을 제안합니다. 구체적으로, 언어 모델은 먼저 순차적 사고의 연쇄(Chain-of-Thought) 추론을 통해 생성된 독립적인 경로 집합을 병렬로 샘플링한 다음, 해당 경로들을 조건으로 하여 최종 취합 경로를 생성합니다. 이때 모든 구성요소는 최종 취합된 응답의 보상(reward)을 기준으로 엔드투엔드로 최적화됩니다. 이러한 시스템을 학습시키기 위해, SPIRAL은 집합 강화학습(set reinforcement learning)을 사용하여 모델이 취합기(aggregator)에 집합적으로 유용한 경로 집합을 생성하도록 유도하고, 표준 강화학습을 통해 해당 집합을 더 개선된 최종 응답으로 취합하도록 학습시킵니다. 추론 태스크에 대한 실험 결과에 따르면 SPIRAL은 추론 연산량에 따라 효과적으로 확장되며, 세 가지 연산 기본 요소를 모두 확장했을 때 GRPO 대비 최대 11배의 스케일링 효율성과 15% 더 높은 성능을 달성함을 보여줍니다.
확산 언어 모델(Diffusion Language Models, DLM)은 뛰어난 추론 능력으로 상당한 주목을 받아왔습니다. 그러나 양방향 어텐션(bidirectional attention) 메커니즘 하에서 DLM은 자기회귀 모델(autoregressive models, ARM)에 비해 기하급수적으로 큰 탐험(exploration) 공간에서 작동하므로, 무작위 마스킹 환경에서 추론을 유도하는 토큰에 집중하기 어렵습니다. 본 논문에서는 전체 시퀀스를 포괄하며 올바른 추론 궤적으로 명시적인 가이드를 제공하는 토큰 체인을 인과적 지름길(causal shortcut)로 정의합니다. DLM의 추론 정확도와 수렴(convergence) 속도에 인과적 지름길이 미치는 영향을 분석한 결과, 정답 수렴 효율성과 생성 정확도가 크게 향상됨을 확인했습니다. 이에 영감을 받아, 본 연구에서는 DLM을 위한 인과적 지름길 학습(Causal Shortcut Learning, CSL) 프레임워크를 제안합니다. 구체적으로, 데이터에서 인과적 지름길을 추출하는 단계별 토큰 추출 절차를 도입하고, 학습(training) 중 이러한 토큰들에 병렬 우선순위 마스킹을 적용하여 인과적 지름길을 통해 정답으로의 효율적이고 정확한 수렴을 가능하게 합니다. 여러 추론 벤치마크와 두 가지 기본 모델에 걸친 광범위한 실험을 통해 CSL이 기존 SFT 변형 베이스라인들을 일관되게 능가하며, SFT 전용 모델 대비 평균 $1.92\%$, MATH-500에서는 최대 $4.20\%$의 향상을 달성함을 입증합니다. 코드는 \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning 에서 확인할 수 있습니다.
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 패러다임으로 부상했다. 그러나 규칙 기반 및 보상 모델 기반과 같은 기존 보상 시스템은 불안정한 최적화와 보상 해킹(reward hacking) 같은 문제를 자주 보인다. 본 연구에서는 기하학적 관점에서 LLM의 일반 추론을 재검토하고, 이를 논리적 연역, 평가, 표현의 세 가지 상호 의존적 부분 매니폴드(sub-manifold)로 구성된 결합 매니폴드(coupled manifold)로 개념화한다. 이 관점에 따르면 RL에서의 응답 생성은 평가 매니폴드로부터의 분리(decoupling) 과정으로, 보상 추정은 논리적 연역 매니폴드로부터의 분리 과정으로 해석할 수 있다. 규칙 기반 및 보상 모델 RL 시스템의 한계는 RL 과정에서 정책-보상 매니폴드의 불일치로 기하학적으로 해석할 수 있다. 앞서 언급한 정렬 불일치를 해결하기 위해 Decoupling and Coupling Reinforcement Learning(DCRL) 프레임워크를 제안한다. 이는 두 가지 핵심 구성 요소를 포함한다: (1) 보상 매니폴드의 표현력(expressiveness)을 높이기 위해 보상 루브릭을 동적으로 정교화하는 삼단논법(syllogistic logic) 기반 프�mp트 진화 메커니즘; (2) 일관된 평가를 보장하고 학습 중 매니폴드 불일치를 완화하기 위해 보상 모델과 정책 모델을 공동으로 갱신하는 정책-보상 재결합(re-coupling) 메커니즘. 다양한 추론 영역에 걸친 이론 분석과 광범위한 실험은 DCRL이 규칙 기반 및 보상 모델 기준선 모두를 일관되게 능가함을 보여준다. 특히 DCRL로 학습된 Qwen3-4B 모델은 Qwen3-32B 기준선을 넘어서며 Qwen3-235B 모델의 성능에 근접하여, RL에서의 뛰어난 효과와 일반화를 부각한다.
GRPO를 이용한 RL 기반 사후 학습은 개별 추론 태스크에서 대규모 언어 모델(LLM)을 개선하는 데 널리 사용된다. 그러나 실제 배포 환경에서는 다양한 태스크 전반에 걸쳐 신뢰할 수 있는 성능이 요구된다. GRPO의 단순한 멀티태스크 적용은 종종 불균형한 결과를 초래하며, 일부 태스크가 최적화를 지배하고 다른 태스크는 정체된다. 또한 태스크마다 프롬프트가 zero advantage(따라서 zero gradient)를 산출하는 빈도가 크게 달라, 이는 최적화 신호에 대한 각 태스크의 유효 기여도를 더 왜곡한다. 이러한 문제를 해결하기 위해, 우리는 (i) 최악 태스크 성능을 명시적으로 최적화하고 태스크 간 균형 잡힌 진행을 촉진하도록 태스크 가중치를 동적으로 조정하고, (ii) 태스크별 정책 그래디언트가 조정된 가중치를 반영하도록 ratio-preserving sampler를 도입하는 새로운 Multi-Task GRPO(MT-GRPO) 알고리즘을 제안한다. 3-태스크 및 9-태스크 설정 모두에서의 실험은 MT-GRPO가 최악 태스크 정확도에서 베이스라인을 일관되게 능가함을 보여준다. 특히 MT-GRPO는 평균 정확도를 경쟁력 있게 유지하면서, 최악 태스크 성능에서 표준 GRPO 및 DAPO 대비 각각 16-28% 및 6%의 절대 개선을 달성한다. 또한 MT-GRPO는 3-태스크 설정에서 50% 최악 태스크 정확도에 도달하는 데 필요한 학습 단계를 50% 줄여, 태스크 전반에 걸친 신뢰할 수 있는 성능 달성에서 실질적으로 향상된 효율성을 보여준다.
불필요하게 긴 추론 롤아웃으로 인한 문제를 해결하기 위해, 대규모 언어 모델(LLM)이 자체 요약을 통해 추론 궤적을 압축하고 관리하는 ReSum 프레임워크를 제안한다. 이 방법은 적응형 롤아웃 메커니즘을 도입하여 성능을 평균 4% 향상시키면서 롤아웃 길이를 18.6% 감소시킨다.
본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.
테스트 타임 스케일링(test-time scaling)은 어려운 추론 과제에서 언어 모델을 개선하는 효과적인 방법으로 부상했다. 그러나 기존 방법의 대부분은 각 문제를 독립적으로 다루며, 이전 추론 궤적(trajectory)의 지식을 체계적으로 재사용하지 않는다. 특히 절차적 지식—문제를 재구성하고, 접근 방식을 선택하며, 필요할 때 검증하거나 되돌아가는 방법—을 충분히 활용하지 못한다. 우리는 Reasoning Memory를 제안한다. 이는 추론 모델을 위한 검색-증강 생성(RAG) 프레임워크로, 절차적 지식을 대규모로 명시적으로 검색하고 재사용한다. 기존의 단계별 추론 궤적 코퍼스에서 출발하여, 각 궤적을 자기완결적인 하위 질문-서브루틴(subroutine) 쌍으로 분해하고, 이를 통해 3,200만 개의 간결한 절차적 지식 항목으로 이루어진 데이터스토어를 구축한다. 추론 시, 경량 in-thought 프롬프트를 통해 모델이 핵심 하위 질문을 언어화하고, 추론 trace 내에서 관련 서브루틴을 검색하며, 다양하게 검색된 서브루틴을 암묵적 절차적 사전(prior)으로 삼아 추론한다. 수학, 과학, 코딩 벤치마크 6개에 걸쳐 Reasoning Memory는 문서, 궤적, 템플릿 지식을 활용한 RAG와, 연산량이 맞춰진 테스트 타임 스케일링 기준선을 일관되게 능가한다. 더 높은 추론 예산 하에서, 모델과 과제 전체에 걸친 평균적으로 검색 없음 대비 19.5%, 연산량이 맞춰진 기준선 대비 8.9% 개선을 보인다. 소거 연구(ablation study)는 이러한 이득이 두 가지 핵심 요인에서 비롯됨을 보여준다: 원본 궤적의 넓은 절차적 커버리지와, 절차적 지식의 효과적인 추출 및 재사용을 함께 가능하게 하는 우리의 분해 및 검색 설계. 실험 코드는 https://github.com/facebookresearch/reasoning-memory 에서 이용할 수 있다.
우리는 Gemma 모델 패밀리의 새로운 세대인 오픈 가중치(open-weight) 네이티브 멀티모달 언어 모델 Gemma 4를 소개한다. 컴퓨팅 효율성과 추론 능력 향상을 목표로 설계된 Gemma 4 모델 스위트는 2.3B에서 31B 파라미터에 이르는 밀집(dense) 및 전문가 혼합(MoE) 아키텍처를 갖춘다. 전 모델 크기에 걸쳐 향상된 비전 및 오디오 인코더와 함께, 원시 오디오 및 이미지 패치를 직접 입력받는 12B 모델을 위한 통합 인코더-프리(encoder-free) 아키텍처를 제안한다. 또한 사고 모드(thinking mode)를 통합하여 Gemma 모델이 응답 전에 추론 트레이스(reasoning trace)를 생성할 수 있도록 한다. 핵심적인 설계 선택을 통해 추론(inference) 속도, 메모리, 컴퓨팅 효율성 및 장문 컨텍스트 처리 능력을 개선하였다. Gemma 4는 STEM, 멀티모달, 장문 컨텍스트 벤치마크 전반에서 성능의 비약적 향상을 달성하며, 인간 평가 태스크에서 더 대규모의 프론티어 오픈 모델들에 필적하는 수준을 보인다.
추론 대규모 언어 모델(R-LLM)은 복잡한 추론 과제에서 크게 발전했지만, 사실성에서는 종종 어려움을 겪으며 장문 사실성 벤치마크에서 비추론 모델에 비해 상당히 더 많은 환각을 생성한다. 그러나 최근 R-LLM 발전의 핵심 요소인 온라인 강화학습(RL)을 장문 사실성 설정으로 확장하는 것은 신뢰할 수 있는 검증 방법의 부재로 인해 여러 고유한 과제를 제기한다. 이전 연구는 FActScore와 같은 자동 사실성 평가 프레임워크를 활용하여 오프라인 RL 설정에서 선호도 데이터를 구축했지만, 이러한 방법을 온라인 RL의 보상으로 직접 활용하면 덜 상세하거나 관련성이 낮은 응답을 생성하는 등 여러 방식의 보상 해킹이 발생함을 확인했다. 우리는 사실적 정밀도, 응답 상세도, 답변 관련성을 동시에 고려하는 새로운 보상 함수를 제안하고, 온라인 RL을 적용하여 고품질의 사실적 추론을 학습한다. 6개의 장문 사실성 벤치마크에서 평가한 결과, 우리의 사실적 추론 모델은 환각률을 평균 23.1%p 감소, 답변 상세도 23% 증가, 전체 응답 유용성 저하 없음을 달성했다.
검증 가능 보상 강화학습(RLVR)은 언어 모델 추론에 신뢰할 수 있는 결과 감독을 제공하지만, 스칼라 궤적 보상은 토큰 수준 지도를 제한적으로만 제공한다. 기존 자기 증류(self-distillation) 방법은 특권 교사(privileged teacher)를 추가하지만 일반적으로 고정된 역할을 부여한다: 직접적인 분포 매칭(distribution matching)은 성공적인 행동을 불안정하게 만들 수 있고, 크기만 조절(magnitude-only modulation)하는 방식은 실패 이후에는 거의 교정적 지도를 제공하지 못한다. 우리는 성공한 궤적과 실패한 궤적이 서로 다른 형태의 후견(hindsight) 지도를 필요로 한다는 점을 관찰한다. 성공적인 응답은 이미 유효한 학생(student)이 생성한 추론 경로를 포함하므로, 외부 근거로 대체되기보다 특권 컨텍스트로 활용될 수 있다. 반면 실패한 응답은 교정을 위한 참조 정보가 필요하다. 우리는 Hybrid Hindsight Self-Distillation($\mathrm{H}^{2}\mathrm{SD}$)을 제안한다. 이 방법은 교사 컨텍스트와 업데이트 전략을 궤적의 정확성에 맞게 공동으로 적응시킨다. 성공한 궤적에 대해서는 검증된 응답과 재구성(rephrasing) 지시문으로 교사 컨텍스트를 구성하고, 교사는 원래 응답 토큰을 재평가하는 데만 사용한다. 이렇게 얻은 확률은 보상이 결정한 방향을 바꾸지 않으면서 토큰 신용 할당(credit assignment)을 정교화한다. 실패한 궤적에 대해서는 검증된 참조 힌트가 역 KL 증류(reverse-KL distillation)를 통해 교정적 지도를 제공한다. 도전적인 추론 벤치마크에서의 실험은 H$^2$SD가 대표적인 RLVR 및 자기 증류 베이스라인 중 최고의 전반적 성능을 달성하며, 안정적인 최적화와 유리한 정확도-효율 트레이드오프를 보여준다.
기존 통념은 추론 모델이 문제가 모델의 능력을 초과할 때 실패한다고 본다. 그러나 우리는 최전선 추론 모델이 때로는 문제를 풀기 위한 필요한 능력을 갖추고 있음에도 불구하고, 조기의 자기 의심으로 인해 실패한다는 것을 발견한다 — 이 현상은 비공식적으로 컨텍스트 불안(context anxiety)으로 알려져 있다. 우리는 컨텍스트 불안에 대한 최초의 체계적 연구를 제공하며, 이는 부분적으로 작업 완료에 필요한 토큰(token) 수를 정확히 추정하지 못하는 모델의 한계에서 비롯됨을 보여준다. 또한 우리는 모델이 인지된 제약 하에서 작동할 때 컨텍스트 불안이 실질적인 효율성 손실로 이어짐을 보여준다. 이 분석을 바탕으로, 우리는 모델이 컨텍스트 불안을 보이지 않으면서 장기 지평(long-horizon) 문제를 해결하는 대안적 전략을 학습할 수 있음을 추가로 보여주며, 이는 성능 향상이 모델 역량의 스케일링(scaling)을 통해가 아니라 모델이 자신의 한계를 정확히 평가하고 그에 적응하는 능력을 개선함으로써 달성될 수 있음을 시사한다.
대규모 추론 모델(LRM)의 내부 메커니즘을 규명하기 위해 토큰 엔트로피와 로짓 그라디언트 간의 음의 상관관계인 엔트로피-그라디언트 반전(Entropy-Gradient Inversion)을 정의하고, 이를 강화학습(RL) 보상 정규화에 반영한 CorR-PO를 제안합니다. 다양한 추론 벤치마크에서 제안된 방법이 최신 기법을 상회하며, 해당 반전 현상이 우수한 추론 성능과 밀접한 관련이 있음을 확인했습니다.
DeepSeek-R1-Distill-Qwen-7B와 같은 사고의 연쇄(Chain-of-Thought) 추론 모델은 이분형 수렴 패턴을 보인다: 생성은 토큰 예산 내에서 종료되거나(수렴), 결론에 도달하지 못한 채 예산을 소진한다(비수렴). 우리는 이 현상을 실증적으로 특성화하며, 수렴한 생성은 AIME 1983-2024에서 90.3% 정확도를 달성하는 반면 비수렴된 생성은 6.6%에 그치며, 전체 수렴률은 62.0%임을 보인다. 그다음 우리는 내부 모델 표현을 사용하여 사고 사슬 초기에 이 결과가 탐지 가능한지 묻는다. 토큰 위치 50-300에서 은닉 상태 활성화에 선형 프로브를 학습(training)한 결과, 토큰 150에서의 20층(layer) 활성화가 AUC 0.608(±0.080, 5-fold CV)을 달성하며, 토큰 50에서조차도 우연보다 확실히 높다. 활성화 프로브는 토큰 엔트로피 및 반복 통계에서 파생된 행동 기준선을 일관되게 능가한다. 스윕 수준 순열 검정은 p=0.063(100,000회 순열)을 산출하며, 이는 표본 크기로는 통상적 임계값에서 확인할 수 없는 완만한 신호와 일치한다. 이러한 발견은 수렴(convergence) 운명이 생성이 끝나기 훨씬 전부터 중간 표현에 부분적으로 인코딩되어 있음을 시사하며, 조기 종료 추론(inference) 및 적응형 연산 할당으로의 길을 연다.
Domyn-Small을 소개한다. 이 모델은 MIT 라이선스로 공개된 100억 매개변수 오픈 웨이트(open-weight) 추론 언어 모델이다. Domyn-Small은 9조 토큰 다국어 데이터에 대한 초기 사전학습 단계와, 추론, 인스트럭션 수행(instruction following), 컨텍스트 확장을 위한 사후 학습 파이프라인의 결과물이다. 후자에 대해서는 기본 컨텍스트 윈도우(context window)를 32K 토큰으로 두 배 확장하는 지속 사전학습(Continued Pre-Training, CPT) 단계를 수행했으며, 이어 수학 중심 어닐링(annealing) 실행과 함께 SFT를 진행했다. 마지막으로 RL 단계에는 검증 가능한 보상을 사용한 GRPO, DPO, 그리고 수학, 코드, 객관식 QA, 인스트럭션 수행, 도구 호출(tool calling)의 다섯 작업 도메인에 걸친 다중 환경 GRPO 단계가 포함된다. 32K 토큰 기본 컨텍스트는 YaRN을 통해 추론 시 128K로 확장되며, 채팅 템플릿(chat-template) 토글이 이중 모드 추론을 가능하게 한다. 7--10B급 동급 모델(Qwen3.5-9B, OLMo-3-7B-Think, Nemotron-Nano-8B, Ministral-3-8B)과 비교했을 때, Domyn-Small은 강력한 정확도-효율 균형을 달성한다. 핵심 추론 벤치마크에서 Qwen3.5-9B 대비 약 3분의 1, OLMo-3-7B-Think의 토큰 예산(token budget) 대비 약 35%의 토큰을 생성하면서도, 뛰어난 인스트럭션 수행(IFEval 79.9)과 경쟁력 있는 과학 추론(GPQA-Diamond 50.0) 성능을 제공한다. 본 연구 과정에서 개발되어 전 과정에 사용된 HPC 클러스터에서 확장 가능한 LLM 추론을 위한 오픈소스 프레임워크인 Domyn Swarm(Apache 2.0)과 함께 가중치와 사후 학습 레시피를 공개한다.
독점 대규모 언어 모델(LLM)은 상당한 지적·재정적 투자를 수반하므로 가치 있는 지적 재산(IP)이다. 그러나 블랙박스 API를 통해 배포되는 경우에도, 이러한 모델은 무단 지식 증류에 취약하여 적대자가 저렴하게 모델 역량을 추출·복제할 수 있다. 이 문제를 해결하기 위해 반-증류(anti-distillation, AD)가 제안되었으며, 이는 사후 검증에 의존하는 워터마킹 기반 접근법의 한계를 극복하면서 증류 효과를 저해하는 방어적 출력을 생성한다. 그러나 내부 모델 교란에 기반한 기존 AD 방법은 반-증류 가능성과 추론 trace의 유틸리티(예: 답변 정확도 및 자연스러움) 간 균형을 맞추기 어려우며, 더 강한 방어는 종종 상당한 유틸리티 손실을 야기한다. 이 공백을 메우기 위해, 우리는 반-증류를 위한 사후 trace 수정을 수행하는 Answer-then-Edit 프레임워크인 Skeleton-Guided Reasoning Editing(SGRE)을 제안한다. 답변(answer) 단계에서 교사 모델은 먼저 깨끗한 추론 trace를 생성하여 원래의 추론 정확도를 보존하면서 trace 자연스러움에 대한 더 유연한 제어를 가능하게 한다. 편집(editing) 단계에서 우리는 인지 부하 이론(Cognitive Load Theory, CLT)에서 영감을 받아 추론 골격 추출, 골격 그래프 거칠화(skeleton graph coarsening), 골격 언어화(skeleton verbalization)로 구성된 3단계 전략을 도입한다. 이 연산들은 추론 구조를 공동으로 교란하고 텍스트 복잡도를 증가시켜 학생 모델(student model)에 대한 외재적 부하(extraneous load)를 증폭하여 기저 추론 패턴의 습득을 방해한다. 다양한 LLM에 걸친 광범위한 실험은 SGRE가 증류 효과 감소에서 최첨단(state-of-the-art) 성능을 달성하면서, 무손실(lossless) 추론 정확도와 우수한 trace 자연스러움을 유지함을 보여준다.
대규모 오디오-언어 모델은 청각 인지에서 놀라운 진전을 이루었지만, 고품질 오디오 추론 데이터의 부족으로 인해 텍스트 기반 대규모 언어 모델(LLM)에 비해 깊은 논리적 추론에서는 여전히 뒤처진다. 이 격차를 메우기 위해, 우리는 강력한 텍스트 교사 모델로부터 오디오-언어 학생 모델로 추론 능력을 전달하는 교차 모달(cross-modal) 온-정책 지식 증류 프레임워크인 X$^3$-OPD를 제안한다. 학습 중 학생 모델은 자체 음향 인지에 조건화된 추론 궤적을 생성하고, 교사는 매칭된 텍스트 입력과 검증된 답변을 사용하여 토큰 수준의 지도를 제공한다. 또한 우리는 음성으로 변환된 텍스트 추론, 복잡한 음향 장면에 기반한 오디오 이벤트 추론, 그리고 초언어적(paralinguistic) 단서를 포함하는 구어 대화 추론을 포괯하는 3단계 대칭 코퍼스를 구축한다. 이 설계는 교차 모달 증류를 텍스트로 복원 가능한 콘텐츠를 넘어 비언어적 이벤트, 운율(prosody), 대화 맥락에 기반한 추론까지 확장한다. MMSU, MMAU, BIG Bench Audio, MMAR에서의 실험은 X$^3$-OPD가 도메인 이동(domain shift) 하에서 모델의 기존 능력을 대체로 유지하면서 오디오 기반 추론과 사고의 연쇄(Chain-of-Thought) 품질을 크게 향상시킴을 보여준다.
확산 대규모 언어 모델(dLLM)은 자기회귀(autoregressive) LLM에 대한 유망한 대안을 제시하지만, 강화학습(RL)을 포함한 효과적인 사후 학습 기법의 부재는 dLLM, 특히 다운스트림 응용에서 핵심 과제로 남아 있다. 기존 접근법은 편향된 가능도 근사를 요구하는 시퀀스 수준 관점에 의존하는 경우가 많다. 본 연구에서는 dLLM의 마르코프(Markovian) 특성을 활용하여 전체 시퀀스가 아닌 개별 디노이징(denoising) 단계를 최적화하는 정책 그래디언트 알고리즘인 Amortized Group Relative Policy Optimization(AGRPO)을 제안한다. 우리 접근법은 학습된 정책과 추론 과정 간의 정렬을 개선하며, 새로운 시간 단계(timestep) 추정 방식을 통해 효율적이고 편향 없는 그래디언트 업데이트도 가능하게 한다. 수학 및 추론 과제에서 AGRPO의 효과를 입증하며, 기본 LLaDA 모델 대비 Countdown과 Sudoku에서 각각 +59.4% 및 +69.7%의 절대 정확도 향상을 달성하여 diffu-GRPO와 같은 유사 방법을 능가했다. 코드는 https://github.com/probablyabot/agrpo 에서 제공된다.
대규모 추론 모델(LRM)은 중복된 검증 단계로 인해 과도한 사고(overthinking) 문제가 자주 발생한다. 과도한 사고를 완화하기 위한 기존 접근법들, 예를 들어 빠른-느린 사고 전환(fast-slow thinking switching)과 추론 궤적 압축(reasoning trajectory compression)은 LRM의 추론 과정 내 유익한 단계와 중복 단계를 세밀하게 구분하지 못하며, 따라서 효율성을 추구하는 과정에서 추론 능력을 저하시킬 수 있다. 추론 효율성과 능력을 동시에 향상시키기 위해, 우리는 중복 검증을 줄이고 새로운 추론 경로의 탐험을 장려하는 프레임워크 EvoThink를 제안한다. EvoThink는 두 가지 핵심 구성 요소로 이루어진다: 반복적으로 중복 추론 단계를 가지치기하고 간결한 궤적에 대해 자기 학습(self-trains)하는 비지도 방법인 자기 가지치기 학습(Self-Pruning Training, SPT); 그리고 유전 알고리즘(genetic algorithms)에서 영감을 받아 가치 있는 실패 추론 시도를 식별하고, 잘못에서 올바름으로의(from-wrong-to-right) 아하 모멘트(aha-moment) 데이터를 합성하며, 모델이 이 추론 패턴을 내재화하도록 최적화하는 아하 모멘트 선호 최적화(Aha-Moment Preference Optimization, AMPO). 수학적 추론 및 코드 생성 벤치마크에 걸친 광범위한 평가 결과, EvoThink는 추론 시 토큰 사용량을 상당히 줄일 뿐만 아니라 LRM의 추론 능력도 향상시킴을 보여준다.