PyTorchKR Papers

최신 논문

총 87편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19824v1cs.AI

LLM 선호 정렬을 위한 더 나은 사고 보상

Rewarding Better Thinking for LLM Preference Alignment

대규모 언어 모델(LLM) 선호 정렬은 다양한 사용자 지시에 걸쳐 모델을 인간 선호에 맞게 최적화하는 것을 목표로 한다. 강화학습(RL)은 이 목표를 위한 주요 사후 학습 접근법이 되었지만, 기존 프록시 보상은 종종 결과 수준(outcome-level)으로, 주로 최종 응답을 평가하면서 추론 궤적(reasoning trajectory)에 대한 제한적인 지침만 제공한다. 이로 인해 여러 응답이 유사한 최종 점수를 받을 때 크레딧 할당(credit assignment)이 거칠어질 수 있으며, 궤적 수준의 선호가 불충분하게 명시된다. 이 한계를 해결하기 위해, 우리는 RL 기반 선호 정렬을 위한 과정 지향적(process-oriented) 보상인 Thinking Checklist Reward(TCR)를 제안한다. TCR은 선호 쌍을 샘플별 사고 체크리스트로 변환하고, 이를 사용하여 생성된 추론 trace가 선호가 함의하는 고려사항을 다루는지 평가한다. 결과 수준 감독과의 중복을 줄이기 위해, TCR은 결과 보상에서 예측 가능한 것을 넘어서는 상보적인 사고 잉여(thinking surplus)를 분리하기 위해 지수 이동 평균(EMA) 잔차(residual) 공식화를 추가로 도입한다. 세 가지 모델 계열의 다섯 모델에 대한 실험은 TCR이 다양한 벤치마크에서 정렬 성능을 일관되게 향상시킴을 보여주며, ablation은 EMA 기반 잔차 공식화와 샘플별 체크리스트 감독의 중요성을 추가로 검증한다.

arXiv:2607.14552v1cs.CL

정답 조건부 사고의 연쇄는 대규모 언어 모델에서 검증 가능한 추론 증류를 저하시킨다

Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models

대규모 언어 모델(LLM)의 추론 능력을 증류하는 표준 방법은 모델로부터 사고의 연쇄(chain of thought)를 샘플링하고, 정확한 최종 답에 도달하는 것만 남긴 뒤, 그 샘플에 대해 미세조정하는 것이다. 샘플링이 실패할 때 흔한 해결책은 생성기에 정답(gold answer)을 보여주고 그 답에 도달하는 연쇄를 작성하게 하는 것이다. 우리는 이 두 번째 단계가 정확성 필터링으로는 포착할 수 없는 방식으로 학습 데이터를 저하시킨다는 것을 보인다. 우리는 생성기, 문제 집합, 정확성 필터를 고정하고 연쇄가 정답 조건부(answer-conditioning)—정답을 보여준 뒤 그에 도달하도록 요청하는 방식—로 생성되는지 여부만 바꾸는 통제 실험을 수행한다. 강력한 인스트럭션 튜닝(instruction tuning) 추론 모델을 자신의 정답 조건부 연쇄로 학습시키면 검증 가능한 추론(verifiable-reasoning) 정확도가 급격히 떨어진다. 손실은 난이도에 따라 커져, 가장 어려운 경쟁 문제에서 최대 약 27점에 달한다. 메커니즘은 연쇄 자체에서 읽을 수 있는데, 연쇄는 답을 유도하기보다 제시된 답에서 거꾸로 정당화하며, 초기 최종 답 진술이 측정 가능한 증상이다. 피해는 생성기가 아니라 데이터의 속성이며, 어떤 미세조정 전에도 라벨 없는 생성물에서 읽을 수 있고, 네 계열의 여덟 개 thinking 모델에 걸쳐 페널티 순서를 정하며, 교사(teacher) 모델 계열 간에도 전이된다. 프롬프트 ablation은 이를 정답의 단순 노출이 아니라 그 답을 향해 정당화하라는 지시에 국한한다. 실무적 시사점은 정답을 모른 채(answer-blind) 생성해야 한다는 것인데, 어떤 정확성 필터도 데이터 속 이 손상을 볼 수 없기 때문이다.

arXiv:2512.14332v2cs.CL

Step-Tagging: 단계 모니터링을 통한 언어 추론 모델(LRM) 생성 제어

Step-Tagging: Toward controlling the generation of Language Reasoning Models through step monitoring

최근 몇 년간 언어 추론 모델(LRM) 분야는 매우 활발했으며, 학습 및 추론 기법의 발전으로 LRM이 더 길고 더 정확하게 추론할 수 있게 되었다. 그러나 점점 더 많은 연구들이 LRM이 여전히 비효율적이며, 검증 및 반성(reflection) 단계를 과도하게 생성한다는 것을 보여준다. 이 문제에 대응하기 위해, LRM이 생성하는 추론 단계의 유형을 실시간으로 주석화할 수 있는 경량 문장 분류기인 Step-Tagging 프레임워크를 제안한다. 추론 행동을 모니터링하기 위해, 추론 단계에 대한 새로운 분류 체계인 ReasonType을 도입했다. 이 프레임워크를 기반으로, 특정 단계 수의 온라인 모니터링이 LRM 추론의 효과적이고 해석 가능한 조기 종료 기준을 만들 수 있음을 입증했다. Step-Tagging 프레임워크를 표준 벤치마크 데이터셋 MATH500, GSM8K, AIME 및 비수학적 과제(GPQA, MMLU-Pro)에 대해 세 개의 오픈 소스 추론 모델로 평가했다. 표준 생성과 비슷한 정확도를 유지하면서 20~50% 토큰 감소를 달성했으며, 가장 큰 이득은 계산량이 더 많은 과제에서 관찰되었다. 이 연구는 LRM 생성에 대한 제어를 강화하는 새로운 방법과 LRM 행동을 연구하는 새로운 도구를 제공한다.

arXiv:2607.15161v1cs.LG

온-정책 델타 증류

On-Policy Delta Distillation

온-정책 증류(on-policy distillation)는 강화학습(RL)에서 보상 모델이 부과하는 제약을 완화하는 대안적인 사후 학습 방법으로, 교사 모델로부터 토큰 수준의 지도를 제공한다. 온-정책 증류는 다양한 설정에서 연구되고 적용되어 왔지만, 그 근본적인 설계는 여전히 충분히 탐구되지 않았다. 본 논문에서는 교사 모델의 출력 분포를 직접 모방하는 대신 델타 신호(delta signal)라고 부르는 새로운 증류 보상을 제안한다. 델타 신호는 추론 능력을 위한 지시 미세조정 이전의 기본 모델과 교사 모델 간의 차이로 정의되며, 따라서 추론 튜닝에 의해 유발된 변화를 포착하고 추론 능력 전이를 위한 보다 직접적인 신호를 제공한다. 광범위한 실증적 증거를 통해 델타 신호가 온-정책 증류를 크게 개선함을 보이며, 이 새로운 증류 방법을 온-정책 델타 증류(On-Policy Delta Distillation, OPD$^2$)라고 명명한다. 수학, 과학, 코드 추론 벤치마크에 걸친 실험에서 OPD$^2$는 기존 온-정책 증류를 일관되게 능가하며, 짧은 사후 학습 기간만으로도 추론 대규모 언어 모델(LLM)이 강력한 성능을 달성할 수 있게 한다. 코드는 https://github.com/naver-ai/opd2 에서 제공될 예정이다.

arXiv:2605.24902v2cs.CL

추론이 해를 끼칠 때: 임상 SOAP 노트 생성을 위한 프론티어 LLM의 소스 인식 평가

When Reasoning Hurts: Source-Aware Evaluation of Frontier LLMs for Clinical SOAP Note Generation

추론(reasoning) 기능이 활성화된 대규모 언어 모델(LLM)은 의료 추론 벤치마크에서 강한 성능을 보이지만, 이러한 이득이 구조화된 임상 문서 작성으로 이전되는지는 여전히 불분명하다. 본 연구는 OMI Health, ACI-Bench, PriMock57에 걸친 소스 인식(source-aware) 벤치마크에서 임상 대화로부터 SOAP 노트 생성을 사용하여 이 질문을 조사한다. 우리는 공급자 네이티브(provider-native) 추론과 동일 소스(same-source) 검색-증강 생성(RAG)을 독립적으로 전환하는 통제된 2×2 설계에서 GPT-5.4, DeepSeek-V4-Flash, Gemma-4-E4B를 평가한다. 출력은 참조 인식(reference-aware) LLM 심사관 2개와 함께 7개의 자동 지표로 평가된다. 두 평가 방식 모두 비추론(non-reasoning) GPT-5.4 구성이 전반적 품질에서 최고 성능을 달성한다는 데 동의하며, DeepSeek-V4-Flash는 추론 활성화 구성 중에서 최고 성능을 보인다. 추론을 활성화하면 세 데이터셋 전체에서 GPT-5.4 성능이 유의미하게 저하되는 반면, 동일 소스 RAG는 더 작고 모델에 따라 다른 개선을 가져온다. 전반적으로, 이러한 발견은 충실도(fidelity)에 민감한 SOAP 노트 생성에서 더 강한 추론 능력이 향상을 가져올 것이라고 가정해서는 안 되며, 전용의 과제별 평가 없이는 그렇지 않음을 시사한다.

arXiv:2607.13643v1cs.LG

라벨 없는 자기 증류를 위한 특권 컨텍스트로서의 합의

Consensus as Privileged Context for Label-Free Self-Distillation

여러 해답을 샘플링하고 다수결 답을 반환하는 방식은, 라벨 없이 대규모 언어 모델(LLM)의 추론 정확도를 높이는 가장 신뢰할 수 있는 방법 중 하나이며, 점점 더 많은 방법군이 이 합의(consensus) 신호를 학습 감독(supervision)으로 변환하고 있다. 그러나 기존 접근법들은 합의를 제한된 형태로만 사용한다: 미세조정을 위한 해답 선별 필터, 답변 간 선호도, 또는 강화학습의 스칼라 보상으로, 동의하는 해답들이 담고 있는 정보의 대부분을 버린다. 우리는 CANON(Consensus-ANchored self-distillatiON)을 제안한다. 이는 합의를 밀집적 토큰 수준의 감독으로 변환하는 라벨 없는 학습 방법이다. 각 라벨 없는 프롬프트에 대해 CANON은 여러 해답을 샘플링하고, 다수결 답을 추출한 뒤, 이를 달성하는 해답에 조건을 걸어 고정된 모델 스냅샷을 사용한다. 이 합의-고정(consensus-anchored) 교사는 모델이 자체 롤아웃(rollout)에서 생성하는 모든 토큰을 감독한다. 수학 및 과학 추론 벤치마크 실험에서 CANON은 pass@1을 최대 12포인트 향상시키며, 라벨 없는 강화학습을 7분의 1의 연산량으로 6포인트 능가하고, 정답(gold) 해답에 조건을 건 교사에 근접한다. 풀링된 라벨 없는 데이터로 학습하면 보류(hold-out) 벤치마크로 전이되며, 정답 라벨을 사용하는 학습 방법과 맞먹는다. 분석에 따르면 이러한 개선은 순수한 분포 샤프닝(sharpening)만은 아니다: 학습 후 모델은 이전에 32번 시도해도 풀지 못했던 문제를 해결하고, 다수결 투표 자체의 정확도도 높아진다.

arXiv:2607.14049v1cs.AI

Deep Interaction: 대규모 추론 모델을 위한 효율적인 인간-AI 상호작용 방법

Deep Interaction: An Efficient Human-AI Interaction Method for Large Reasoning Models

사고의 연쇄(Chain-of-Thought, CoT) 추론의 등장은 대규모 언어 모델(LLM)이 복잡한 다단계 작업을 해결하는 능력을 크게 향상시켰다. 그러나 오류가 발생하면, 현재의 상호작용 방식은 일반적으로 실수를 다시 범할 수 있는 다른 응답을 재생성하거나, 사용자가 후속 턴에서 오류 단계를 번거롭게 표시해야 하는데, 이때 <You are right, I made a mistake here>와 같은 응답을 받을 수 있으며 이후에도 유사한 오류가 반복될 수 있다. 이 문제를 해결하기 위해, 우리는 LLM의 추론 오류를 정밀하게 수정하기 위한 효율적인 인간 개입 메커니즘인 Deep Interaction을 제안한다. 우리의 접근법은 원본 응답을 직접 편집할 수 있게 하여, 정확한 추론 단계는 보존하면서 오류가 있는 부분만 수정할 수 있다. 편집된 CoT를 정제하여 증류된 프롬프트로 만들고, 이를 통해 LLM이 수정된 추론 경로를 따르도록 유도한다. 실험 결과, 우리 방법은 기준선 접근법과 비교하여 STEM 추론 작업에서 수정 성공률을 25% 이상 향상시키고 토큰 사용량을 약 40% 줄이는 것으로 나타났다.

arXiv:2607.10805v1cs.CL

온-정책 자기 증류에서의 사고 붕괴 진단 및 완화

Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation

온-정책 자기 증류(On-Policy Self-Distillation, OPSD)는 대규모 언어 모델(LLM)의 성능 향상 및 정렬을 위한 핵심 패러다임으로 부상했다. 그러나 복잡한 추론 과제에서 OPSD는 역설적으로 다운스트림 성능을 저하시킨다. 본 논문에서는 이 병리 현상을 체계적으로 규명하고, 우리가 \textbf{사고 붕괴(Thinking Collapse)}로 정의하는 심각한 최적화 함정을 식별한다. 이는 인식론적 토큰 밀도(ET per 1k)로 측정되는 모델 고유의 중간 추론 행동이 급격히 감소하는 현상이다. 엔트로피 기반 그래디언트 마스킹과 토큰 수준의 목표 분석을 통해, 이 붕괴가 학생 모델의 인식론적 토큰이 교사 모델의 비인식론적 목표로 빈번히 억압되고 높은 포인트별 학생-교사 발산 영역에 집중되는 고-학생-엔트로피 결정 분기점에서의 공격적인 교사 그래디언트에 의해 유발됨을 보인다. 이 최적화 병리를 해결하기 위해, 우리는 자기 증류 목표를 동적으로 조절하는 강건한 제어 프레임워크인 \textbf{적응형 이중-관점 OPSD(Adaptive Dual-Perspective OPSD, AD-OPSD)}를 제안한다. AD-OPSD는 비대칭 포인트별 발산 게이트를 통해 동결된 기반 모델에서 도출된 참조 사전분포에 억압 위험이 높은 샌드박스 토큰을 선택적으로 고정함으로써, OPSD의 오류 수정 능력을 유지하면서 고유한 사고 능력을 보존한다. 경쟁적 수학 벤치마크에 걸친 광범위한 실험에서 AD-OPSD는 다양한 모델 규모와 데이터셋에 걸쳐 표준 OPSD 대비 절대 평균 정확도를 최대 \textbf{+4.1\%} 향상시킨다. 추가 분석을 통해 AD-OPSD가 사고 붕괴를 완화하고 다양한 사후 학습 패러다임에 강건하게 일반화됨을 보인다.

arXiv:2607.09693v1cs.LG

학습 불필요 LLM 추론을 위한 깊이-엔트로피 유도 샘플링

Depth-Entropy Guided Sampling for Training-Free LLM Reasoning

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었지만, 고비용의 학습과 정제된 데이터, 보상 신호를 필요로 한다. 최근 연구에서 테스트 시점에 날카롭게 조정된 기반 모델 분포로부터 샘플링하면 RL 이득의 상당 부분을 회복할 수 있음을 보였으나, 기존 방법들은 출력 층의 가능도에만 의존하며 트랜스포머 내부의 순전파 동역학을 무시한다. 우리는 층별 엔트로피 붕괴(entropy collapse)를 내재적 품질 신호로 활용하는 학습 불필요 테스트 시간 방법인 깊이-엔트로피 유도 샘플링(Depth-Entropy Guided Sampling, DEGS)을 제안한다. RL 사후학습 변형을 포함한 더 강력한 추론 모델들이 독특한 "후기 붕괴(late collapse)" 패턴을 나타냄을 관찰한다: 로짓 렌즈(logit-lens)로 디코딩된 엔트로피가 더 깊은 층에 이르러서야 수렴하기 시작하며 그 전까지는 높은 수준을 유지한다. 우리는 시퀀스별 붕괴 깊이 $D(\mathbf{x})$와, 시퀀스 가능도를 이 깊이-엔트로피 구조와 결합하는 결합 목적 함수 $π(\mathbf{x}) \propto p(\mathbf{x})^α\exp(βD(\mathbf{x}))$를 정의하고, 이를 MCMC 파워 샘플링 프레임워크(DEGS-MCMC) 내에서 구현한다. 3개의 오픈-가중치 모델과 4개의 추론 벤치마크에 걸쳐, 후보당 거의 우연 수준에 불과한 이 신호가 샘플링 궤적 전반에 걸쳐 누적되어 학습 불필요 방법 중 최첨단 정확도를 달성하며, 도메인 외부 및 어려운 분할에서 가장 큰 향상을 보인다—이는 정확히 가능도만으로는 부족한 상황이다—단 한 자릿수 퍼센트의 벽시계 시간 오버헤드로 이를 실현한다. DEGS는 GRPO가 학습된 수학 분할에서 자체 GRPO 기준선에 근소하게 못 미치지만, 세 모델 모두에서 GPQA 도메인 외부 성능은 이를 능가하며, 어떠한 학습, 보상 모델, 레이블 데이터도 사용하지 않는다.

arXiv:2604.00130v2cs.CL

계층적 사고의 연쇄: LLM 추론 성능과 효율성 향상

Hierarchical Chain-of-Thought: Enhancing LLM Reasoning Performance and Efficiency

사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰다. 그러나 기존의 CoT는 중복성과 준최적 성능 문제를 겪는 비구조적이고 평탄한 추론 체인에 의존하는 경우가 많다. 본 연구에서는 복잡한 다단계 추론의 과제를 해결하기 위해 특별히 설계된 구조적 추론 패러다임인 계층적 사고의 연쇄(Hierarchical Chain-of-Thought, Hi-CoT)를 제안한다. Hi-CoT는 지시적 계획과 단계별 실행을 교대로 수행함으로써 추론 과정을 계층적 하위 단계로 분해한다. 이러한 분해는 LLM이 긴 추론 구간을 더 잘 관리하고 논리적 일관성을 유지할 수 있도록 한다. 다양한 LLM과 수학적 추론 벤치마크에 대한 광범위한 평가에서 Hi-CoT는 CoT 대비 추론 경로 길이를 13.9% 줄이면서 평균 정확도를 6.2%(일부 모델 및 과제에서 최대 61.4%) 일관되게 향상시키는 것으로 나타났다. 또한 모델이 계층적 구조를 엄격히 준수할 때 정확도와 효율성이 최대화됨을 보인다. 코드는 https://github.com/XingshuaiHuang/Hi-CoT에서 확인할 수 있다.

arXiv:2606.00726v2cs.AI

잠재 보상 조향: 추론 LLM에서 인지적 행동을 암묵적으로 촉진하는 적응형 추론 시간 프레임워크

Latent Reward Steering: An Adaptive Inference-Time Framework that Implicitly Promotes Cognitive Behaviors in Reasoning LLMs

강력한 추론은 모델의 지식뿐만 아니라 생성 과정에서 인지적 행동이 얼마나 효과적으로 발휘되는지에도 달려 있다. 기존 방법들은 명시적인 행동 수준 제어에 의존하는 경우가 많아, 추론 상태·과제·모델에 따라 실패 양상과 필요한 교정이 달라질 때 충분히 적응하지 못한다. 이를 위해 우리는 잠재 보상 조향(LRS, Latent Reward Steering)을 제안한다. LRS는 인지적 행동을 암묵적으로 담고 있는 희소 오토인코더(SAE, sparse-autoencoder) 잠재 상태를 최적화함으로써 인지적 행동을 촉진하는 적응형 추론 시간 프레임워크이다. 사전에 정의된 인지적 행동이나 그로부터 도출된 조향 방향에 의존하는 대신, LRS는 최종 답안의 정확성을 기준으로 추론 궤적 위에서 잠재 보상 모델을 학습하여 중간 잠재 상태의 품질을 추정한다. 추론 시에는 보상 그래디언트가 취약한 잠재 상태에 대한 상태별 교정 방향을 제공하며, 보상 및 신뢰도 게이트가 보상 신호가 취약하다고 표시한 상태에만 개입을 제한한다. 여러 추론 LLM 백본과 벤치마크에서 수행한 실험은 LRS가 다양한 기준선 대비 일관되게 성능을 향상시킴을 보여주며, 사후 분석을 통해 LRS가 원래의 추론 오류를 수정하는 바람직한 인지적 행동을 암묵적으로 촉진함을 확인하였다. 코드는 https://github.com/jiakanglee/Latent-Reward-Steering 에서 확인할 수 있다.

arXiv:2604.20140v2cs.AI

HiPO: 대규모 언어 모델의 적응적 추론을 위한 계층적 선호 최적화

HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

직접 선호 최적화(DPO)는 대규모 언어 모델(LLM)을 인간의 선호에 정렬하기 위한 효과적인 프레임워크이지만, 복잡한 추론 작업에서 어려움을 겪는다. DPO는 선호 응답이 비선호 응답보다 전체적으로 생성될 가능도를 최적화하며, 추론 작업에서 전형적인 다단계 풀이의 부분 구간에 피드백을 제공할 세밀함이 부족하다. 기존 방법들은 안정적인 선호 학습(예: KTO, RSO 같은 DPO 변형)이나 구조화된 추론(예: ReMA의 멀티 에이전트 강화학습(RL) 프레임워크, Tree of Thoughts) 중 하나에는 뛰어나지만, 이 두 가지 상호보완적인 강점을 결합하는 데는 실패한다. 우리는 HiPO(Hierarchical Preference Optimization)를 제안한다. 이는 DPO의 확장으로, 응답을 추론 구간(질의 명확화 및 맥락, 추론 단계, 답변)으로 분리하고 각 구간의 DPO 손실의 가중합으로 전체 손실을 계산한다. 우리의 접근 방식은 구간별 학습을 가능하게 하면서 DPO의 연산 효율성과 학습 안정성을 유지한다. Math Stack Exchange 선호 데이터셋을 사용하여 HiPO와 DPO로 파인튜닝된 여러 7B LLM에 대해, HiPO로 학습된 모델이 다양한 일반적인 수학 벤치마크에서 다른 모델들을 능가하고, GPT-4.1로 측정한 구성력, 논리적 흐름, 일관성에서도 더 우수함을 입증한다.

arXiv:2607.05339v1cs.LG

TREK: 탐험을 위한 증류, 정제를 위한 강화

TREK: Distill to Explore, Reinforce to Refine

GRPO는 학생 모델의 온-정책 지지 범위 밖에 정답 모드가 있는 어려운 프롬프트에서 정체되는 문제를 해결하기 위해, TREK은 지식 증류를 모방이 아닌 탐험 지지 범위 확장 수단으로 활용하는 단계적 프레임워크를 제안한다. 교사 모델(블랙박스·화이트박스 모두 지원)로부터 검증된 후보 궤적을 선별해 순방향 KL로 학생 모델의 지지 범위를 확장한 뒤 표준 GRPO 정제로 복귀하는 방식으로, Qwen3-8B 기준 AIME 2025에서 36.9→40.3, ALFWorld에서 75.8→82.8의 성능 향상을 달성했다.

arXiv:2511.00602v4cs.CL

OpenSIR: 개방형 자기 개선 추론기

OpenSIR: Open-Ended Self-Improving Reasoner

강화학습을 통한 대규모 언어 모델(LLM) 추론의 최근 발전은 검증 가능한 보상을 위해 주석이 달린 데이터셋에 의존하며, 이는 모델이 인간 수준의 성능을 초월하는 능력을 제한할 수 있다. 셀프 플레이(self-play)는 유망한 대안을 제시하지만, 기존 방법들은 사후학습된 모델에서 미미하거나 오히려 부정적인 성능 향상을 보이는데, 이는 새로운 개념을 발견하기보다 친숙한 개념 주변에 집중된 문제를 생성하기 때문이다. 우리는 단일 LLM이 교사와 학생 역할을 번갈아 수행하여 외부 검증기나 주석 데이터 없이 새로운 문제를 생성하고 풀어내는 셀프 플레이 프레임워크인 OpenSIR(Open-Ended Self-Improving Reasoner)을 소개한다. 단일 시드 문제에서 시작하여, OpenSIR은 모델을 낯선 개념으로 유도하는 다양성 보상과 문제를 학습 가능한 수준으로 유지하는 난이도 조정을 통해 개방형 탐험을 지속한다. 7개의 수학 벤치마크에 걸쳐, OpenSIR은 모든 모델에서 일관되게 성능을 향상시키며 인스트럭션 모델에서 평균 +3.6점, 추론 모델에서 +3.1점을 기록하는 반면, 최근의 셀프 플레이 기준선들은 미미하거나 오히려 부정적인 성능 향상을 보인다. 단일한 사소한 시드에서 시작하여, 7천 개 이상의 주석 예제로 학습된 GRPO 기준선도 능가한다. 자기 생성된 수학 데이터만으로 학습함에도 불구하고, OpenSIR은 일반 추론으로 전이되는 유일한 셀프 플레이 방법으로, 추론 모델에서 최소 +4.4점의 성능 향상을 달성한다.

arXiv:2607.05185v1cs.AI

ClassicLogic: 조합적 일반화 평가를 위한 고전 퍼즐 게임의 지식 기반 벤치마크

ClassicLogic: A Knowledge-Driven Benchmark of Classic Puzzle Games for Evaluating Compositional Generalization

조합적 일반화(compositional generalization)는 알려진 구성 요소의 새로운 조합을 이해하고 생성하는 능력으로, 현대 인공지능에 있어 근본적인 도전 과제로 남아 있다. 기존 벤치마크는 소수에 불과하며, 대부분 언어적 과제에 초점을 맞추고 있어 복잡하고 명시적인 조합 구조가 부족하다. 우리는 에이전트의 문제 해결 전략 학습 및 조합 능력을 평가하기 위해 설계된 새로운 벤치마크 스위트인 ClassicLogic을 소개한다. 이 벤치마크는 스도쿠(Sudoku), 켄켄(KenKen), 카쿠로(Kakuro), 후토시키(Futoshiki)의 네 가지 고전 논리 퍼즐로 구성된다. 핵심 혁신은 각 게임에 대한 계층적이고 명시적인 지식 베이스로, 복잡한 풀이 전략이 더 단순하고 기초적인 전략들의 조합으로 형식적으로 정의된다. 이 구조는 기본 규칙 학습부터 수학적으로 검증된 난이도가 점진적으로 증가하는 퍼즐을 풀기 위한 다단계 조합 전략 적용에 이르기까지, 에이전트의 추론 능력에 대한 세밀한 평가를 가능하게 한다. 오픈소스로 제공되는 이 벤치마크는 신경-기호(neuro-symbolic) 및 기타 고급 AI 추론 시스템의 발전을 위한 도전적인 새 테스트베드를 제공한다.

arXiv:2603.02112v2cs.LG

Recursive Models for Long-Horizon Reasoning

재귀적 모델(recursive model)은 대규모 언어 모델(LLM)이 단일 컨텍스트 윈도우의 한계를 극복하기 위해 `call`/`return` 두 가지 도구만으로 서브태스크를 격리된 컨텍스트에서 재귀적으로 처리하는 방식으로, 임의의 계산 가능한 문제를 표준 자기회귀 모델 대비 지수적으로 작은 활성 컨텍스트로 풀 수 있음을 이론적으로 증명하였다. SAT 풀이와 4×4 Go 게임 트리 탐색 실험에서 작은 활성 컨텍스트로도 장기 추론(long-horizon reasoning) 정확도가 향상됨을 확인하였으며, 재귀 모델이 에이전트 시스템 전반에서 최적의 계산 능력을 달성함을 보였다.

arXiv:2607.02234v1cs.AI

Purified OPSD: On-Policy Self-Distillation Without Losing How to Think

온-폴리시 자기 증류(OPSD)가 long-CoT 추론 모델에 적용될 때 성능을 오히려 저하시키는 근본 원인을 분석한 결과, 교사 모델의 감독 신호가 문제 해결에 전이 불가능한 참조 답안 암기 성분에 지배되고 있음을 규명했다. 이를 해결하기 위해 참조 답안만으로 조건화된 교사를 활용해 비전이 성분을 제거하고, 점별 상호정보량(PMI)으로 전이 가능한 교정 신호만을 추출하는 Purified OPSD를 제안하여, 4개의 long-CoT 모델에서 표준 OPSD 대비 일관된 성능 향상과 반성적 추론 능력 보존을 달성했다.

arXiv:2607.02502v1cs.LG

DemoPSD: 불일치 조절 정책 자기 증류

DemoPSD: Disagreement-Modulated Policy Self-Distillation

온-정책 자기 증류(OPSD)에서 발생하는 특권 정보 누출(privileged information leakage) 문제를 해결하기 위해, DemoPSD는 교사-학생 분포 간 불일치(disagreement)를 측정하여 각 토큰 위치에서 역방향-KL 중심점 타깃(reverse-KL barycenter target)으로 혼합 비율을 적응적으로 조절하는 새로운 자기 증류 프레임워크를 제안한다. SciKnowEval 4개 과학 분야 실험에서 DemoPSD는 GRPO와 SDPO를 능가하면서 35–97% 높은 학습 엔트로피를 유지하고, 분포 외 벤치마크 GPQA에서도 강건한 일반화 성능을 보였다.

arXiv:2607.00248v1cs.AI

Seed2.0 Model Card: Towards Intelligence Frontier for Real-World Complexity

We present Seed2.0, a model series that takes a meaningful step toward solving complex, real-world tasks. Our approach begins with identifying users' genuine needs and constructing a reliable, forward-looking evaluation system by selecting and abstracting benchmarks grounded in these needs and in realistic, complex scenarios. Guided by this evaluation system, Seed2.0 targets two persistent challenges, long-tail knowledge and complex instruction following, substantially improving the model's reliability on intricate, long-horizon tasks. Beyond these, Seed2.0 delivers world-leading reasoning intelligence, visual understanding, and search capabilities that address the most common needs of a broad user base. Through extensive real-world use cases documented in this model card, we demonstrate that Seed2.0 begins to exhibit the ability to handle initial complex real-world tasks, delivering greater value to hundreds of millions of users.

arXiv:2511.05747v3cs.AI

CoT-X: An Adaptive Framework for Cross-Model Chain-of-Thought Transfer and Optimization

Chain-of-Thought (CoT) reasoning enhances the problem-solving ability of large language models (LLMs) but leads to substantial inference overhead, limiting deployment in resource-constrained settings. This paper investigates efficient CoT transfer across models of different scales and architectures through an adaptive reasoning summarization framework. The proposed method compresses reasoning traces via semantic segmentation with importance scoring, budget-aware dynamic compression, and coherence reconstruction, preserving critical reasoning steps while significantly reducing token usage. Experiments on 7{,}501 medical examination questions across 10 specialties show up to 40% higher accuracy than truncation under the same token budgets. Evaluations on 64 model pairs from eight LLMs (1.5B-32B parameters, including DeepSeek-R1 and Qwen3) confirm strong cross-model transferability. Furthermore, a Gaussian Process-based Bayesian optimization module reduces evaluation cost by 84% and reveals a power-law relationship between model size and cross-domain robustness. These results demonstrate that reasoning summarization provides a practical path toward efficient CoT transfer, enabling advanced reasoning under tight computational constraints. Code will be released upon publication.