PyTorchKR Papers

최신 논문

총 26편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12796v3cs.CL

단어 하나 센서스: 44개 언어 모델 전반의 답변 선택 동조 현상

The One-Word Census: Answer-Choice Conformity Across 44 Language Models

언어 모델이 동등하게 유효한 수많은 선택지 중에서 단 하나의 답변을 선택해야 할 때 어떤 답을 선택하며, 그 답은 다른 모든 모델이 선택하는 답과 얼마나 자주 일치할까요? "단어 하나를 고르라"는 요청을 받았을 때, 20개 이상의 연구소에서 개발된 105개 언어 모델은 46%의 비율로 'serendipity'를 선택했습니다. 저자들은 유효한 한 단어 정답이 다수 존재하는 범주를 제시하는 96개의 단일 턴 프롬프트("나무 이름을 하나 대시오" 등)를 활용하여 이러한 수렴(convergence)과 각 모델의 기여도를 측정했습니다. 각 프롬프트는 모델당 8회씩 주어졌으며, 임베딩이나 별도의 판정 모델 없이 정확 일치(exact match) 방식으로 점수를 매겼습니다. 모델의 답변 선택 놀람도(surprisal)는 다른 모든 모델의 풀링된 답변 분포 하에서 해당 모델 답변의 평균 -log2 확률로 정의됩니다. 96개 범주 중 28개에서는 단일 답변이 전체 답변의 80% 이상을 차지했습니다. 이러한 집중도는 소형 모델이나 페르소나 튜닝(persona-tuned) 모델에 기인한 것이 아니며, 87개의 주요 연구소 모델들은 전체 모델 군집 못지않게 집중된 양상을 보였습니다. 사후 학습(post-training)이 가볍게 적용되었거나 페르소나 튜닝된 모델이 가장 분산된 양상을 보인 반면, 주요 연구소의 고도 사후 학습을 거친 어시스턴트 모델들이 가장 높은 동조(conformist) 성향을 나타냈습니다. 최빈 답변을 피한 모델들 또한 대부분 동일한 차순위 답변으로 수렴했습니다. 주요 공급업체들의 계열 내에서는 모델 등급(tier)을 통제했을 때 출시 순서에 따른 전반적인 경향성은 나타나지 않았습니다. GPT, Gemini, Grok, Qwen은 출시를 거듭할수록 동조 성향이 강해졌으나 Claude의 5세대 릴리스에서는 이러한 경향이 역전되었습니다. 세 가지 사후 학습 파이프라인의 오픈 체크포인트를 분석한 결과, 지도 미세조정(supervised fine-tuning)이 전체 모델 군집의 답변 방향으로 수렴하는 데 가장 큰 기여를 하는 단계인 것으로 나타났습니다. 인간의 범주 생성 규준(category-production norms)과 비교했을 때, 모델 군집은 공유된 20개 범주 중 18개에서 인간보다 더 집중된 분포를 보였습니다. 모든 프롬프트, 트랜스크립트 및 코드는 공개되어 있습니다.

arXiv:2610.00949v1cs.AI

PG-SFT: 오프라인 에이전트 미세조정에서 능력 획득과 유지 간의 균형 잡기

PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning

오프라인 에이전트(agent) 궤적에 대한 지도 미세조정(SFT)은 특화된 도구 사용 에이전트를 학습(training)하기 위한 표준적인 접근법이지만, 모델이 추론과 행동을 토큰(token) 단위로 모방하도록 강제하는 것은 베이스 모델의 다른 능력(예: 일반 추론, 도구 호출, 코드 생성)을 손상시킬 수 있습니다. 본 연구에서는 에이전트 궤적 SFT 과정에서 새로운 능력을 획득하는 것과 기존 능력을 보존하는 것 사이의 트레이드오프(trade-off)를 어떻게 더 잘 균형 잡을 수 있는지에 대해 중점적으로 연구합니다. 본 실험 환경에서 여러 베이스라인을 비교한 결과, 표준 SFT는 목표 벤치마크 점수를 향상시키는 반면 목표 외 여러 벤치마크 점수를 낮추었습니다. 한편, KL 페널티를 사용해 분포 드리프트를 단순히 억제하거나 업데이트 크기를 제한하는 방식으로는 이러한 성능 저하 추세를 피할 수 없었습니다. 최근의 토큰별 적응형 학습 목표에서 영감을 받아, 본 연구에서는 에이전트 궤적의 턴(turn) 수준 정보 이득을 지표로 활용하여 지도(supervision) 강도를 조절하는 Privilege-Guided SFT(PG-SFT)를 제안합니다. PG-SFT는 평가된 벤치마크에서 목표 작업 성능의 미미한 저하를 대가로 분포 드리프트와 광범위한 능력 저하를 대폭 줄여, 관찰된 트레이드오프를 훨씬 더 유리하게 만듭니다. 본 연구의 결과는 획득-유지 간의 트레이드오프 균형이 모델이 기본 동작에 고정되어 있는지 여부뿐만 아니라, 지도가 해당 동작에서 어디서 얼마나 강하게 벗어나야 하는지에도 달려 있음을 시사합니다.

arXiv:2609.27717v1cs.CL

SkillGym: 실제 문제 해결을 위해 인간의 스킬을 LLM에 내재화하기

SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving

사람이 작성한 에이전트 스킬(skill)은 실제 문제 해결을 위한 풍부한 워크플로를 담고 있지만, 일반적으로 재사용 가능한 모델 역량으로 내재화되지 못한 채 추론 시점의 외부 지침으로만 사용된다. 본 논문에서는 이러한 스킬을 대규모 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크인 \texttt{SkillGym}을 소개한다. SkillGym의 스킬-태스크 파이프라인은 구체적인 태스크를 생성하고, 코드 기반 검사기로 결과를 검증하며, 대조 실행(contrastive execution)을 통해 스킬에 대한 경험적 의존도를 평가한다. 우리는 12개 범주에 걸쳐 2,756개의 환경을 구축하여 공개하고, 여러 모델과 하네스(harness)에서 성공한 궤적(trajectory) 8,364개를 수집했으며, 이 궤적은 평균 49회의 도구 호출과 6만 개가 넘는 로깅된 텍스트 토큰으로 구성된다. 이러한 자원은 검증된 워크플로에 대한 지도 미세조정과 결과 기반 보상을 사용하는 강화학습을 지원한다. Claude Code 환경에서 지도 미세조정은 Qwen3.5-35B-A3B의 성능을 GDPval-AA v2에서 199 Elo, Terminal-Bench 2.1에서 19.10%p 향상시켰으며, SkillsBench v1.1에서는 스킬을 사용한 경우와 사용하지 않은 경우 각각 28.13점과 12.38점 향상시켰다. 35B 규모의 \texttt{SkillGym-Agent}는 스킬을 활용한 SkillsBench에서 51.47\%를 달성하여 Claude Sonnet 4.6, GPT-5.4 Mini, DeepSeek V4 Pro의 보고된 점수를 넘어선다. 또한 스킬 없이도 Codex와 Claude Code 환경에서 스킬을 활용한 기본 모델들을 능가하며, 이는 재사용 가능한 절차적 역량을 시사한다.

arXiv:2607.24459v1cs.AI

실행에서 역량으로: 절차적 지식 합성을 통한 과학적 경험 통합

From Execution to Capability: Scientific Experience Consolidation via Procedural Knowledge Synthesis

대규모 언어 모델(LLM)은 점점 더 과학 컴퓨팅 과제를 해결하지만, 한 문제에서 얻은 실행 가능한 피드백이 이후 문제에서 지속적인 역량으로 이어지는 경우는 드뭅니다. 본 연구는 과학 컴퓨팅 경험 통합을 다룹니다. 즉, 검증된 런타임 경험을 전이 가능한 절차적 지식과 지속적인 모델 개선으로 전환하는 것입니다. 이 설정은 두 가지 과제를 제시합니다. 궤적(trajectory)에서 파생된 산출물이 과제 간 계산 메커니즘이 아닌 출처 특정적 수정을 인코딩할 수 있다는 점, 그리고 더 약한 타깃 모델이 그렇지 않으면 유효한 추상 절차를 실행적으로 활용하지 못할 수 있다는 점—추상화-실행 간극(abstraction-execution gap)입니다. SciConsolidate를 제안합니다. 이는 검증된 성공과 실패를 대비하여 과제 간 절차를 유도하고, 개발-검증(validation) 게이트를 통해 이를 선별하며, 사전에 존재하는 참조 답 없이도 통합 데이터를 확장하기 위해 실패 정보 기반의 답 없는(answer-free) 쿼리 합성을 사용합니다. 타깃 모델이 이러한 추상화를 직접 실행하지 못할 수 있기 때문에, 더 강한 모델이 이를 실행 가능한 코드 supervision으로 구체화하여 표준적인 절차 없는(procedure-free) SFT에 사용합니다. 절차 없는(no-procedure) 교사 분기를 매칭하여 절차적 안내의 가치를 분리합니다. SciCode에서 런타임 절차 주입은 Qwen3.6-27B를 하위 단계/주요 문제에서 각각 +3.85/+6.26점 향상시키지만, Qwen3.5-9B에서는 거의 집계된 주요 문제 향상을 얻지 못하여 추상화-실행 간극에 대한 운영적 증거를 제공합니다. 절차 안내 기반 구체화 이후, 9B 학생 모델은 절차 없는 배포에서 절차 없는 SFT 대조군 대비 +3.89/+6.25점, 원래 9B 모델 대비 +5.62/+11.25점 향상됩니다. 이 결과는 과학 컴퓨팅을 위한 경험-역량 경로를 확립하고, 자기 개선형 과학 지원을 확장하기 위한 실용적 출발점을 제공합니다.

arXiv:2607.22642v1cs.AI

CRAFT: 스키마를 학습하고 계획을 실행

CRAFT: Learn the Schema, Execute the Plan

기업용 코딩 에이전트는 자연어 분석 요청을 독점 API, 스키마, 지표 정의 위에서 실행 가능한 코드로 변환한다. 그러나 각 프롬프트에 포괄적인 스키마 및 도구 문서를 주입하는 지배적인 배포 패턴은 추론 오버헤드를 증가시키고, 스키마 진화를 복잡하게 하며, 다중 턴 분석에서의 신뢰성을 저하시킨다. 우리는 대신 사후 학습을 통해 안정적인 스키마 지식과 도구 사용 행동을 습득할 수 있는지, 동시에 프로덕션 대면 분석에 필요한 일관성을 유지할 수 있는지 조사한다. 우리는 스키마 기반 코딩 에이전트를 위한 2단계 사후 학습 레시피인 CRAFT를 제안한다. 첫째, 스키마 제거 PLAN 지도 미세조정은 포괄적인 프롬프트 시점 스키마 주입 없이 검증된 궤적로부터 도메인 구조화 계획과 실행 가능한 행동을 학습한다. 둘째, 실행 형태 강화학습은 도구 선택, 코드 품질, 계획-코드 일관성, 실패한 실행으로부터의 복구를 위해 정책을 정렬한다. 학습 궤적은 실행 검증, 데이터 무결성 검사, LLM 판사 추론 감사를 결합한 Tri-Gate 필터를 통해 선별된다. 우리는 광고 분석에서의 계획된 롤아웃을 위해 CRAFT를 평가하며, 캠페인 성과 분석, 지표 드릴다운, 엔티티 수준 성과 분석, 다중 턴 분석 정제를 다룬다. 기업 평가 환경은 에이전트 대면 도구 표면으로 베타 API를 통합하며, 25개의 스키마 연결 핵심 엔티티와 30개의 에이전트형 워크플로를 포괄한다. 스키마 과다 주입 기준선 대비 CRAFT는 복합 Agent Score를 +9.6 pp, 일관성을 +4.1 pp, 다중 턴 일관성을 +4.2 pp 향상시키며, 입력 토큰 부담을 약 9배, 스키마 발견 루프를 최대 5배 감소시킨다. 우리는 또한 배포 트레이드오프, 보상 형성 한계, 기업 환경에서 다중 턴 도구 사용 강화학습에 필요한 학습 인프라 확장을 보고한다.

arXiv:2607.22039v1cs.CL

적당하면 충분하다: LLM에서 강화학습이 과제 충돌을 완화하는 방식에 대한 종합 분석

Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs

모델 병합(model merging)은 여러 특화 모델을 하나의 통합 모델로 결합하는 데 중요한 역할을 하며, 특히 대규모 언어 모델(LLM) 시대에 더욱 그렇다. 최근 연구는 주로 학습된 모델 간 병합 성능을 높이는 전략 개발에 집중해 왔지만, 지도 미세조정(SFT)과 강화학습(RL) 같은 학습 패러다임이 모델 병합 효과에 미치는 영향은 아직 충분히 탐구되지 않았다. 본 연구에서는 전통적인 SFT로 학습된 모델과 비교하여 RL로 학습된 LLM의 병합 거동을 체계적으로 탐구한다. 다섯 가지 대표 과제에 걸친 종합 평가를 통해, RL이 과제 충돌을 크게 줄이고 병합 후 성능 저하도 더 적게 만든다는 것을 확인했으며, 이로 인해 RL로 학습된 모델이 이 과정에 특히 적합하다. 모델 병합에 RL이 더 적합한 이유를 밝히기 위해 광범위한 실증 실험과 이론적 분석을 수행했다. 분석 결과 세 가지 핵심 요인이 드러났다: (1) RL의 온-정책 학습 데이터는 그래디언트 업데이트의 크기를 더 작게 제어하여, 모델 내 다른 과제의 기존 지식을 덮어쓸 위험을 줄인다. (2) ``적당한 것이 충분하다(enough is as good as a feast)''를 선호하는 RL 최적화 목표는 모델이 수렴함에 따라 충돌 매개변수 업데이트의 크기와 횟수를 점진적으로 줄인다. (3) RL에서 긍정·부정 예시의 공동 최적화는 모델을 편향되지 않은 과제별 매개변수 부분공간으로 이끌어, 견고한 성능을 유지하면서 매개변수 충돌을 더욱 방지한다.

arXiv:2607.13753v2cs.CL

사후 학습이 신뢰도를 변화시킨다: SFT, RL, OPD가 CoT 전·중·후 보정을 형성하는 방식에 대한 3단계 분석

Post-Training Shifts Confidence: A Three-Stage Analysis of How SFT, RL, and OPD Shape CoT Calibration

대규모 언어 모델(LLM)은 지도 미세조정, 강화학습, 온-정책 증류를 통해 추론 능력에서 큰 향상을 이루었지만, 이러한 사후 학습 방법들은 보통 최종 답변 정확도로만 평가된다. 우리는 추론 과정에서 이들이 신뢰도(confidence)를 어떻게 재구성하는지 연구한다. 우리는 사고의 연쇄(Chain-of-Thought) 생성 전, 중, 후의 신뢰도를 평가하는 3단계 보정 프레임워크를 도입하며, 이는 각각 난이도 추정, 조기 종료, 답변 집계에 대응한다. 수학적 추론 벤치마크에서의 통제된 비교를 통해, OPD가 사전 추론 신뢰도에 가장 유용하고, SFT가 조기 종료를 위한 최상의 온라인 신호를 제공하며, RL이 집계를 위한 가장 신뢰할 수 있는 trace 수준 신호를 생성함을 발견한다. 또한 신뢰도의 신뢰성은 위치에 따라 달라짐을 보인다: RL 신뢰도는 경로 확정(path-commitment) 단계 이후에 정보를 제공하기 시작하는 반면, OPD 신뢰도는 초기에는 유용하지만 이후 역보정(inversely calibrated)될 수 있다. 이 관찰에 기반하여, 신뢰할 수 있는 상대 위치 구간에서만 신뢰도를 사용하는 위치 인식(position-aware) 신뢰도 전략 PosConf를 제안한다. PosConf는 다수결 투표(majority voting) 대비 RL 답변 집계를 6.1점 향상시키며, 촘촘한 토큰 예산 하에서 OPD 조기 종료를 일관되게 개선하여, 후반 역보정 구간을 피함으로써 최대 4.3점의 이득을 보인다. 이는 추론 모델에서 신뢰도를 단계별로 그리고 위치 인식적으로 사용해야 함을 보여준다. 코드는 https://github.com/EIT-NLP/Post-Training-Calibration 에서 제공된다.

arXiv:2607.14371v1cs.LG

지도 미세조정 vs. 문맥 내 학습: 혼잡 하에서 LLM 개인화의 균형 분석

Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion

대규모 언어 모델(LLM)은 AI 서비스를 혁신했지만, 중요한 긴장이 발생한다. 개인화는 모델 성능을 향상시키지만, 사용자들이 공유해야 하는 희소한 계산 자원을 소비한다. 사용자는 언제 값비싼 지도 미세조정(SFT)에 투자해야 하고, 언제 경량적인 문맥 내 학습(ICL)을 선택해야 하는가? 다른 사용자들의 개인화 선택으로 인한 혼잡이 이러한 인센티브를 어떻게 재편하는가? 그리고 플랫폼이 여러 개인화 알고리즘을 제공할 때 어떤 전략을 채택해야 하는가? 우리는 사용자가 직면하는 통계-경제적 트레이드오프를 포착하는 LLM 서빙을 위한 다루기 쉬운 프레임워크를 개발한다. 우리의 분석은 여러 놀라운 통찰을 제공한다. 첫째, ICL과 SFT는 사전학습(pre-training) 커버리지와 데이터 신호 대 잡음비(signal-to-noise ratio) 간의 상호작용에 의해 결정되는 서로 다른 영역에서 각각 우세함을 보임을 보인다. 그러나 혼잡은 이러한 순위를 뒤바꿀 수 있다. 둘째, 균형 상태에서의 자원 소비는 뚜렷한 비단조성(non-monotonicity)을 보인다. 사전학습 정밀도를 높이면 혼잡이 감소하지만, 더 넓은 사전학습 커버리지와 더 어려운 태스크는 때때로 혼잡을 증가시킨다. 셋째, 계산 부하를 잠재적으로 증가시킬 수 있음에도 불구하고, 두 개인화 방법을 모두 제공하는 것이 플랫폼의 최대 수익을 절대로 해치지 않음을 증명한다. 선형 회귀 태스크에서 GPT-2를 사용한 실험은 알고리즘 성능에 대한 우리의 이론적 예측을 검증한다. 이 결과를 보완하여, 21개 주요 AI 플랫폼의 문서를 검토한 결과, SFT와 ICL을 모두 제공하는 비율이 2021년 9.5%에서 2025년 71.4%로 증가했으며, 이는 우리의 플랫폼 설계 시사점과 일치한다.

arXiv:2606.26102v3cs.CL

유용성이 해를 끼친다: 사후 학습에서 중간 학습된 공감 가치의 도메인 의존적 저하

Helpfulness Hurts: Domain-Dependent Degradation of Mid-Trained Compassion Values Under Post-Training

표준 사후 학습 파이프라인은 언어 모델을 유용하게 만들기 위해 지도 미세조정(SFT)과 강화학습(RL)을 적용하지만, 이러한 과정은 사전학습 동안 주입된 가치를 의도치 않게 저하시킬 수 있다. 우리는 사후 학습 데이터의 도메인이 공감 지향 합성 데이터로 중간 학습된 Llama 3.1 8B 모델에서 동물에 대한 공감 가치의 유지에 차등적으로 영향을 미치는지 조사한다. SFT(유용성: Dolly-15k vs. 코딩: Magicoder-110K)와 GRPO(유용성: RLHFlow vs. 코딩: Magicoder)를 모두 사용하며, ANIMA 2.2 벤치마크와 MORU 벤치마크(Moral Reasoning Under Uncertainty, 불확실성 하 도덕적 추론)에서 평가한다. ANIMA에서 유용성 학습은 코딩 학습에 비해 동물에 대한 공감을 유의미하게 저하시킨다(SFT: 35.7% vs. 65.2%; GRPO: 18.7% vs. 32.0%). 이는 두 개의 독립적인 유용성 데이터셋과 두 가지 학습 패러다임에서 재현된다. 영어 MORU 항목에서 유용성 학습은 일반적 도덕적 추론을 25.5%p 저하시킨다(46.4% vs. 71.9%). 이 격차는 공감 효과와 크기 면에서 필적하는 눈에 띄는 차이다. 그러나 이 효과는 언어 간 이전되지 않는다. 다국어 MORU 벤치마크에서는 도메인 효과가 사라진다(SFT: 52.3% vs. 51.2%). 대조적으로, 동물에 대한 공감 효과는 언어에 걸쳐 일관되게 이전되며, Magicoder의 기본 모델 대비 ANIMA %p 향상은 영어 항목보다 비영어 항목에서 4.5배 크다. 이러한 � divergence는 중간 학습을 통해 주입된 가치가 도메인 특화 사후 학습에서 얻는 추론 향상보다 더 깊고 언어 간적으로 인코딩된다는 것을 시사한다. 이 결과는 가치 중심 중간 학습을 기반으로 구축하는 연구소에 있어, 코딩 도메인 사후 학습이 일반적 추론 능력을 해치지 않으면서 중간 학습된 가치를 유용성 사후 학습보다 더 잘 보존할 수 있음을 시사한다.

arXiv:2607.07748v1cs.LG

Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation

Julia, Ballerina 등 저자원 프로그래밍 언어(LRPL)에서 소규모 언어 모델(SLM)의 코드 생성 성능을 높이기 위해, 오프라인 추론 시점 컴퓨트로 검증된 합성 데이터를 생성한 뒤 SFT와 RLVR을 순차적으로 적용하는 3단계 파이프라인을 제안한다. Qwen3-8B에 적용 시 Julia 기준 MultiPL-E에서 최대 +7.6포인트, Agnostics LiveCodeBench에서 +14.2포인트를 달성하며 이전 SOTA 대비 데이터 1/3, 비용 1/6만으로 경쟁력 있는 성능을 보였다.

arXiv:2604.11290v2cs.CL

폴리글랏 교사: 다국어 합성 데이터 생성을 위한 언어 모델 평가

Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation

다국어 SFT 데이터 합성 시 교사 모델 선택이 흔히 최대 규모 모델로 임의 결정되는 문제를 분석하고자, Polyglot Score(PG-Score)라는 내재적·외재적 평가 지표를 도입해 6개 언어에서 10개 언어 모델을 체계적으로 비교했다. 모델 규모보다 프롬프트 다양성, 길이, 응답 유창성 같은 데이터 품질 요소가 학생 모델 성능의 93.3% 이상을 설명하며, Gemma 3 27B와 Aya Expanse 32B가 일관되게 우수한 다국어 교사 모델로 나타났다.

arXiv:2607.04395v1cs.LG

NKI-Agent: 뉴런 커널 생성을 위한 도메인 특화 미세조정과 에이전트 도구 활용

NKI-Agent: Domain-Specific Fine-Tuning and Agentic Tool Use for Neuron Kernel Generation

AWS Trainium과 Inferentia 같은 신규 AI 가속기용 Neuron Kernel Interface(NKI) 커널 자동 생성을 위해, 도메인 특화 지도 미세조정(SFT)과 컴파일-검증-수정 에이전트 루프를 결합한 최초의 시스템 NKI-Agent를 제안한다. 실제 Trn1 하드웨어에서 Claude Opus 4.8 기반 NKI-Agent는 NKIGen-Bench에서 77.3%의 통과율을 달성한 반면, 에이전트 도구 없는 단일 시도 모드에서는 6%에 그쳐 도구 활용의 중요성을 입증했으며, SFT로 학습된 Qwen3-Coder-30B-A3B는 1/100 비용으로 Claude Sonnet 4(15.0%)를 상회하는 25.0%를 기록했다.

arXiv:2606.30923v1cs.LG

Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback

Imitation Learning is a natural framework for learning in sequential decision-making systems and has emerged as the dominant paradigm through which we understand language model training. A central puzzle is that, while in theory offline IL can be horizon-free and optimal, in practice online methods such as on-policy distillation often outperform offline methods such as supervised fine-tuning. We propose a noisy expert model to explain this gap, in which the learner only has access to a noisy version of the expert's policy, but wishes to compete against the reward achieved by a clean expert, motivated by the fact that in many applications, e.g. training language models to perform long chains of thought, the expert is often imperfect. In this setting, we show a sharp separation between offline and online IL. Offline learning from noisy trajectories is fundamentally hard: to compete with the clean expert, the sample complexity must grow exponentially, in contradistinction to the clean expert setting where no explicit horizon dependence exists. In contrast, we prove that online interaction with the noisy expert via a novel variant of OPD enables polynomial dependence on the horizon in general. We further show that, under a natural condition on the expert noise distribution, which we show to be necessary for any horizon-free sample complexity, one can obtain such a guarantee, although our proposed algorithm sacrifices statistical efficiency in its dependence on the size of the policy class. Our analysis leads to an alternative loss function that is commonly considered empirically for LM training. We further provide algorithms and lower bounds, and extend our results to the more realistic setting of unknown corruption when the clean expert is deterministic, thereby providing a theoretical foundation for why OPD can outperform SFT when training language models from imperfect teachers.

arXiv:2510.18874v3cs.LG

행함으로 유지하기: 망각 완화에서 온-정책 데이터의 역할

Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting

사후학습(post-training) 과정에서 지도 미세조정(SFT)이 강화학습(RL)보다 치명적 망각(catastrophic forgetting)을 더 심하게 유발한다는 사실을 Llama, Qwen 계열 모델로 체계적으로 실증하며, 이 차이의 핵심 원인이 RL의 온-정책(on-policy) 데이터 활용에 있음을 이론적·실험적으로 규명하였다. 더 나아가 매 에폭(epoch) 시작 시 생성한 근사 온-정책 데이터만으로도 망각을 크게 줄일 수 있음을 보여, 효율적인 사후학습을 위한 실용적 지침을 제시한다.

arXiv:2606.26671v1cs.AI

NebulaExp-8B: 전규모 ablation 연구를 통한 경험적 사후 학습 파이프라인

NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research

Qwen3-8B-base 기반의 투명한 ablation 사후 학습 파이프라인 NebulaExp는 instruct와 추론 특화 두 분기에서 384만 SFT 샘플·20만 RL 후보 풀과 응답 증류·필터링·난이도 등급 등 end-to-end 데이터 처리 스택을 공개하고 SFT, GRPO, OPD(MOPD)를 체계적으로 검증한다. Instruct 분기는 평균 벤치마크를 55.01에서 61.85로, Reasoning 분기는 중간 난이도 GRPO로 추론 점수를 73.88에서 75.17로 올리며, 데이터 정확성 필터링이 1차 최적화 요인이고 소량 샘플의 OPD·MOPD가 RL 기준선을 능가할 수 있음을 보인다.

arXiv:2606.26027v1cs.CL

Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

다단계 도구 사용 에이전트 강화학습(RL)은 특정 제어 토큰의 확률 급등으로 도구 호출 구조가 무너지는 구조적 붕괴가 발생할 수 있으나, 추론 능력 자체는 유지된다는 점을 분석했다. 오프폴리시 감독, 힌트 기반 안내, 오류 궤적·과정 반성 감독 등 여러 감독 신호를 비교한 결과, RL과 지도 미세조정(SFT)을 교차하는 학습이 안정성을 크게 높였지만 형식·내용 분포 외(OOD) 평가에서는 성능이 떨어질 수 있음을 보였다.

arXiv:2606.23049v2cs.CL

에이전트형 스마트폰 사용을 위한 오픈 모델 학습

PhoneBuddy: Training Open Models for Agentic Phone Use

PhoneBuddy는 실제 앱 환경과 GUI 사용 구조로 재구성한 mock 앱 환경 PhoneWorld를 결합해, 두 환경의 궤적로 지도 미세조정(SFT) 후 real-app RL과 mixed RL을 적용하는 에이전트형 스마트폰 사용 오픈 모델 학습 레시피를 제안한다. 실제 스마트폰 150개 과제 평가에서 과제 성공률이 SFT 36.67%에서 real-app RL 40.67%, mixed RL 45.33%로 오르고 AndroidWorld에서는 60.3%에서 83.2%까지 향상되어, mock 앱 학습이 real-app RL을 대체하지 않고 확장 가능한 보완 신호를 제공함을 보인다.

arXiv:2606.21502v1cs.CL

수학 오류 교정을 위한 교육학적 정렬 LLM 튜터

Towards Pedagogically Aligned LLM Tutors for Math Mistake Remediation

대규모 언어 모델(LLM)은 지능형 튜터링 시스템에 활용될 강한 잠재력을 지니지만, 최종 답을 공개하지 않고 학생을 안내하는 것과 같은 효과적인 교육학적 전략을 따르는 데 종종 실패한다. 본 연구는 튜터링 대화에 대한 지도 미세조정과 합성 선호 쌍에 대한 직접 선호 최적화(Direct Preference Optimization)를 결합한, 수학 오류 교정을 위한 2단계 정렬 파이프라인의 적용을 다룬다. 우리는 기존 튜터링 코퍼스와 스캐폴딩(scaffolding) 및 사실성(factuality)과 같은 교육학적 차원을 따라 생성된 합성 데이터를 통합한 데이터셋을 구축하고, 해법 정확성과 정답(gold answers)을 포함하는 다양한 입력 구성을 연구한다. 실험 결과, 이 접근법은 기본 모델 및 기존 튜터링 모델 대비 사실적 정확도와 교육학적 품질 모두를 향상시킨다. 인간 평가는 우리의 최고 모델이 강력한 독점 기준선과 경쟁력 있는 수준이며, 공개성, 투명성, 재현성 측면에서 추가적인 이점을 제공함을 추가로 보여준다. 우리 결과는 선호 기반 교육학적 정렬의 효과를 강조하는 동시에, 튜터링 품질을 신뢰성 있게 평가하는 데 따른 과제도 드러낸다.

arXiv:2606.18521v1cs.LG

희소성의 저주: 모델 병합을 통한 RLVR 모델 매개변수 공간의 이해

Sparsity Curse: Understanding RLVR Model Parameter Space from Model Merging

RLVR 모델의 희소·비주성(off-principal) 매개변수 업데이트는 병합에 유리할 것 같지만, 실제로는 매개변수 공간에서 멀리 떨어져 거의 직교하는 경로를 만들어 표준 병합에서 심각한 성능 저하를 일으키는 희소성의 저주(sparsity curse)를 밝혔다. Fisher Information 기반 민감도 중재와 크기 인식 희소화·재조정을 결합한 SAR-Merging을 제안했으며, 수학·코딩 벤치마크에서 기존 병합 방법을 크게 능가했다.

arXiv:2606.18487v1cs.LG

RLVR 하에서 엔트로피 붕괴를 매개로 한 SFT 과도한 학습은 순위 역전을 예측합니다

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

SFT를 과도하게 진행하면 롤아웃 분포가 압축되어 엔트로피 붕괴가 일어나고, pass@1이 가장 높은 체크포인트를 GRPO(그룹 상대 정책 최적화)에 쓰는 관행이 Qwen2.5-Coder-3B에서 RL 이전 성능은 오르는데 GRPO pass@10은 0.806에서 0.481로 떨어지는 순위 역전을 유발할 수 있음을 보인다. RL 이전 엔트로피 선별과 초기 GRPO 엔트로피 모니터링을 결합한 2단계 진단으로 고위험 체크포인트를 조기에 걸러낼 수 있으며, KL 정규화와 레이블 스무딩은 붕괴된 체크포인트를 복구하지 못했다.