PyTorchKR Papers

최신 논문

총 56편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04412v3cs.AI

LLM-as-a-Tutor: 비검증 강화학습을 위한 정책 인식 프롬프트 적응

LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

Reinforcement learning (RL) for non-verifiable instruction following increasingly relies on LLM judges with prompt-specific rubrics as reward signals. While recent methods adapt these rubrics to the evolving policy during training, the training prompts themselves remain static, drawn from fixed corpora. This static approach often results in a critical misalignment between prompt difficulty and policy capability, leaving the judge unable to recover a discriminative reward signal when prompts fail to elicit quality variance among rollouts. To address this misalignment, we introduce LLM-as-a-Tutor, a framework that extends the LLM's role from judge to tutor: a single model serves as an examiner that pairwise-compares policy rollouts to detect non-challenging prompts, and as a generator that appends atomic constraints to them. This append-only design preserves the original prompt while adding constraints to increase difficulty in step with the policy's capability, producing a self-calibrating training signal without external difficulty schedules. On three complex instruction-following benchmarks, our method outperforms both policy-unaware baselines and prior policy-adaptive methods that adapt rubrics or rewrite prompts, on average and on four of five metrics, suggesting prompt adaptation as an underexplored axis of policy-awareness in non-verifiable RL for constraint-heavy instruction following.

arXiv:2608.13545v3cs.CL

LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.

arXiv:2610.13669v1cs.AI

한 단계 더 어렵게, 지나치지 않게: GRPO에서 커리큘럼 난이도 점진적 확장의 이점과 한계

A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO

커리큘럼 학습(Curriculum learning)은 일반적으로 학습 샘플을 쉬운 것부터 어려운 순서로 구성합니다. GRPO에서는 중간 난이도 샘플이 유익한 그룹 상대적 학습 신호를 생성할 가능성이 더 높기 때문에 온라인 선택 시 매력적이며, 이를 우선시하면 학습 효율성을 향상시킬 수 있습니다. 그러나 이러한 샘플을 지속적으로 선택하는 것이 최종 모델 성능의 극대화로 이어지는지, 또는 더 어려운 샘플로 점진적으로 나아가는 것이 학습에 도움이 될 수 있는지는 여전히 불분명합니다. 한편, 정책(policy)이 발전함에 따라 샘플 난이도 또한 변화하므로, 고정된 난이도 추정치는 현재 정책과 불일치할 수 있습니다. 따라서 본 연구에서는 현재 정책에 따라 샘플 난이도를 재추정하고, 쉬운 것부터 어려운 것으로 진행하는 커리큘럼 학습의 원리에 착안하여 활성 난이도 구간을 점진적으로 더 어려운 샘플 쪽으로 전환하는 단계별 커리큘럼을 설계하고 평가합니다. GSM8K 실험 결과, 지속적인 중간 난이도 선택이 가장 우수한 성능을 달성하지는 못하는 것으로 나타났습니다. 3개의 무작위 시드 전반에 걸쳐, 적당히 더 어려운 난이도 구간으로 진행했을 때 테스트 정확도는 고정 중간 커리큘럼의 $0.6449 \pm 0.0024$와 비교하여 $0.6591 \pm 0.0077$로 향상되었습니다. 그러나 난이도 구간을 더 어렵게 추가로 확장하면 정확도가 $0.6405 \pm 0.0053$으로 감소합니다. 이러한 결과는 단계별 난이도 확장이 지속적인 중간 난이도 선택보다 뛰어난 성능을 보일 수 있지만, 그 이점이 단조적이지는 않음을 보여줍니다. 따라서 효과적인 GRPO 커리큘럼은 중간 난이도를 넘어 확장함으로써 이점을 얻을 수 있지만, 지나치게 어려운 샘플로의 과도한 진행은 피해야 합니다.

arXiv:2602.14868v3cs.LG

골디락스 RL: 추론을 위한 희소 보상 탈출을 위한 작업 난이도 조율

Goldilocks RL: Tuning Task Difficulty to Escape Sparse Rewards for Reasoning

강화학습(RL)은 언어 모델에서 추론 능력을 이끌어내기 위한 강력한 패러다임으로 부상했습니다. 그러나 희소 보상(sparse reward)에 의존하는 방식은 모델이 최소한의 피드백만으로 방대한 탐색 공간을 탐색해야 하므로 표본 효율성(sample efficiency)을 크게 떨어뜨립니다. 고전적인 커리큘럼 학습(curriculum learning)은 복잡도를 기준으로 데이터를 정렬하여 이를 완화하고자 하지만, 기존 연구들은 주로 소규모 데이터셋을 대상으로 하여 현대 언어 모델 학습에 일반적인 대규모 설정으로 직접 전이되지 않습니다. 또한, 특정 모델에 적합한 데이터 순서를 파악하기 어려운 경우가 많습니다. 이를 해결하기 위해, 각 후보 문제에 대한 모델의 롤아웃 전반에 걸친 보상의 표준편차를 예측하는 선택기(Selector) 네트워크를 활용하는 적응형 데이터 선택 전략인 골디락스(Goldilocks)를 제안합니다. 이 선택기는 GRPO로 모델을 학습시키는 동안 모델의 현재 능력에 비해 너무 쉽지도 너무 어렵지도 않은 문제(골디락스 원리)에 해당하는, 예측된 보상 변동성이 높은 문제를 우선시합니다. 이미 본 샘플에 대한 모델의 성능을 활용함으로써 선택기는 모델의 진화하는 능력에 지속적으로 적응합니다. OpenMathReasoning 및 Polaris 데이터셋 전반에서 골디락스는 표준 GRPO 대비 일관된 성능 향상을 보였으며, 해당 GRPO 성능에 도달하는 데 최대 78% 적은 최적화 단계를 필요로 했습니다.

arXiv:2610.00979v1cs.AI

RISED: 에이전트 다중 환경 선택 및 자기 증류를 위한 루브릭

RISED: RubrIcs for agentic multi-environment Selection and sElf-Distillation

다양한 상호작용 환경에서 단일 대규모 언어 모델(LLM) 에이전트를 공동으로 학습(training)시키는 것은 제너럴리스트 에이전트로 나아가는 경로로서 점점 더 많은 주목을 받고 있습니다. 기존의 커리큘럼 및 데이터 선택 전략은 종종 환경(environment) 수준에서 학습을 할당하거나 국소적인 보상(reward) 기반 신호에 우선순위를 두며, 프롬프트(prompt) 그룹 선택 시 환경 간 현재 롤아웃(rollout) 사이의 관계를 명시적으로 고려하지 않습니다. 한편, 환경마다 학습되는 속도가 다르기 때문에 배치(batch) 내에 전체 실패 및 전체 성공 롤아웃 그룹이 공존할 수 있으며, 이로 인해 해당 데이터에는 그룹 상대적 보상 신호가 남지 않게 됩니다. 이러한 두 가지 과제는 다중 환경 강화학습(RL)에서 스칼라 보상에만 의존하는 것의 한계를 부각합니다. 즉, 스칼라 보상은 환경 간 관계에 대한 제한적인 정보만 제공하며, 보상이 동일할 때는 그룹 내 보상 대조를 제공하지 못합니다. 이는 학습을 유도하기 위해 롤아웃 행동을 기술하는 루브릭(rubric)과 같은 더 풍부한 텍스트 피드백의 필요성을 동기부여합니다. 보상으로서의 루브릭 활용을 넘어, 본 연구는 온라인 데이터 선택과 정책 감독을 모두 유도하도록 루브릭을 재목적화합니다. LLM 판별기(judge)는 환경 전반에 걸쳐 공유되는 사전 정의된 루브릭 어휘를 사용하여 각 롤아웃에 태그를 지정합니다. 생성된 프로필은 이미 선택된 데이터와의 중복을 제한하면서 혼합 환경 배치의 전반적인 행동 구성과 일치하는 데이터 선택을 안내합니다. 사용 가능한 긍정적 루브릭(바람직한 행동 설명)은 온-정책(on-policy) 자기 증류 교사 모델(model)을 위한 특권적 맥락(privileged context)을 제공하여 추가적인 토큰(token) 수준의 감독을 공급하는 반면, 부정적 루브릭(원치 않는 행동 설명)은 이후의 롤아웃 생성이 반복되는 실패 모드에서 벗어나도록 유도합니다. 이러한 구성 요소들이 결합하여 RISED를 형성합니다. 여러 모델 백본에 걸쳐 RISED는 환경 전반에서 가장 높은 평균 통과율을 달성하며 모든 개별 환경에서 1위 또는 2위를 기록합니다. RISED에 대한 루브릭 기반 분석은 이러한 성능 향상에 수반되는 행동 변화를 추가로 규명할 수 있습니다.

arXiv:2610.00906v1cs.AI

ActiveSaddler: 에이전트 하네스 최적화를 위한 자동 커리큘럼 학습

ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization

자동화된 하네스 최적화(harness optimization)는 실행 피드백을 바탕으로 프롬프트, 도구 인터페이스, 제어 로직을 반복적으로 업데이트함으로써 대규모 언어 모델(LLM) 에이전트를 크게 향상시킬 수 있습니다. 그러나 기존 방법들은 하네스가 업데이트되는 방식을 최적화하는 데 주로 집중하며, 이러한 업데이트를 이끄는 피드백을 생성하는 학습 시나리오를 대체로 고정해 둡니다. 하네스가 진화함에 따라 추가 최적화에 가장 유용한 시나리오도 변할 수 있으며, 이는 학습 커리큘럼 자체가 하네스와 함께 적응해야 함을 시사합니다. 본 논문에서는 하네스 최적화에서 결여되었던 이러한 차원을 자동 커리큘럼 학습(automated curriculum learning) 문제로 정식화하고 ActiveSaddler를 소개합니다. ActiveSaddler는 진화하는 커리큘럼을 동적으로 인스턴스화되는 최적화 대상을 갖춘 비정상 밴딧(non-stationary bandit)으로 모델링합니다. 이 방법은 반복되는 실패를 재사용 가능한 실패 패턴 암(arm)으로 추상화하고, 각 패턴을 추가로 목표 삼았을 때 얻을 수 있는 잠재적 학습 진행도를 추정하며, 알려진 약점을 다시 탐색하는 것과 새로운 약점을 찾기 위해 미확인 시나리오를 탐색하는 것 사이의 균형을 적응적으로 맞춥니다. 최적화 결과는 발견된 실패 패턴 집합과 그 우선순위를 지속적으로 업데이트하여 커리큘럼이 하네스와 함께 공동 진화할 수 있도록 합니다. GAIA2 및 Terminal-Bench 2.0에 대한 실험 결과, ActiveSaddler는 지속적으로 더 강력한 하네스를 발견하여 최적화 전에 고정된 시나리오 순서를 사용하는 동일한 하네스 옵티마이저 대비 테스트 Pass@1을 각각 4.4%p 및 7.5%p 향상시키는 것으로 나타났습니다. 추가 절제 연구(ablation study)는 이러한 향상이 최적화 대상을 동적으로 구성하고, 진화하는 유용성을 추정하며, 지속적인 최적화와 새로운 실패 발견 간의 균형을 맞추는 데 기인함을 보여줍니다. 종합적으로 이러한 결과는 자동 커리큘럼 학습이 하네스 최적화를 위한 핵심적인 새로운 최적화 차원임을 입증합니다.

arXiv:2610.00234v1cs.AI

상충하는 감독은 역량이 아닌 전념을 이동시킨다: 관례 무관 점수 하에서는 정확히 0이 되는 12.29σ의 배치 효과

Conflicting Supervision Moves Commitment, Not Capability: A 12.29σ arrangement effect that is exactly zero under a convention-agnostic score

둘 다 맞지만 서로 양립할 수 없는 두 가지 관례로 작성된 동일한 문제들로 모델을 학습(training)시키고, 이러한 데이터의 순서가 파라미터에 무엇을 새겨 넣는지 질문해 본다. 학습률 스케줄(learning-rate schedule)은 그 질문에 대한 배경 조건에 불과한 것이 아니다. 그것은 평균화 연산자(averaging operator)이며, 그 해답을 결정한다. 우리는 순서 효과에 배치와 스케줄이 서로 곱해지는 분리된 인수로 들어가는 경계를 증명한다. 배치는 오직 블록 주기(block period)로서만, 스케줄은 종점이 실행 과정의 특정 시점에 얼마나 많은 가중치를 둘 수 있는지로서만 관여한다. 감쇠하는 스케줄(decaying schedule)은 동일한 시점에 큰 보폭(step size)과 수축되지 않은 잔차를 동시에 둘 수 없지만, 상수 스케줄은 마지막 스텝에서 정확히 그렇게 한다. 감쇠가 순서 효과를 완화한다는 점은 사전학습(pre-training)에서 보고된 바 있으나, 그 메커니즘과 분리, 그리고 두 부분에 대한 통제된 측정은 본 연구의 성과이다. 하나의 말뭉치, 하나의 예산으로 경로 외의 모든 것을 고정한 채 10가지 순서로 lr_scheduler_type만 다르고 다른 것은 동일한 군(family) 하에서 두 번 실행하였다. 상수 학습률에서는 내부가 할당에서 0.2221, 11.63의 대비 하한을 차지하며 배치가 얼마나 블록화되어 있는지에 따라 단조성을 띤다. 기발표된 모든 실험군(arm)이 사용하는 단일 코사인 하에서는, 동일한 10개의 실험군이 자체 해상도로는 약 10개를 허용함에도 식별 가능한 2개의 상태를 차지한다. '순서가 중요하다'와 '순서가 중요하지 않다'는 하나의 조절 노브의 양쪽 끝에 해당한다. 경로가 새겨 넣는 것은 모델이 어느 관례에 전념(commit)하는지이며, 어떤 완전 일치(exact-match) 벤치마크도 이를 감지할 수 없다. 12개의 실험군 전반에서 acc_A+acc_B는 9.7% 이내로 일정한 반면 할당 비율은 0.04에서 0.87까지 변동하므로, 본 논문에서 측정하는 12.29-시그마 배치 전환은 관례 무관(convention-agnostic) 지표 하에서는 정확히 0이다. 이러한 보존 법칙은 감쇠군 전체에서 인용된 것으로, 상수 학습률군은 이를 확인하기에 더 노이즈가 많은 환경이다. 프롬프트에 관례를 명시하면 이러한 전환이 붕괴되어 합집합 상한(union ceiling)의 87.5%에 도달한다.

arXiv:2606.19483v2cs.CV

Dyna-DINO: 적응형 표현 앵커링을 통한 효율적인 ViT 증류

Dyna-DINO: Efficient ViT Distillation Via Adaptive Representation Anchoring

DINOv2와 같이 비전 트랜스포머(ViT) 백본을 사용하는 비전 파운데이션 모델(VFM)은 객체 인식 및 시맨틱 분할(semantic segmentation)과 같은 다운스트림 작업에 필수적인 요소가 되었다. 백본의 막대한 연산 요구량으로 인해 엣지 배포를 위해서는 더 작은 아키텍처로의 증류가 필요한 경우가 많다. 특징 기반 지식 증류(KD)는 흔히 교사-학생 간 격차(teacher-student gap) 문제를 겪는데, 이는 학생 모델이 제한된 용량으로 인해 교사의 복잡한 특징 맵을 모방하는 데 어려움을 겪기 때문이다. 이러한 병목을 완화하기 위해, 우리는 ViT 특징 기반 지식 증류를 위한 학습 커리큘럼인 Dyna-DINO: 적응형 표현 앵커링을 통한 효율적인 ViT 증류를 제안한다. 교사의 중간 특징 맵을 점진적으로 난이도가 높아지는 일련의 목표로 활용함으로써, 우리의 커리큘럼은 학생이 더 높은 수준의 추상화를 다루기 전에 기초적인 표현을 구축할 수 있도록 한다. 실험 결과는 이 패러다임이 다양한 학생 모델 크기와 데이터셋 규모에 걸쳐 적응적 난이도 선택을 통해 수렴을 크게 가속화함을 보여준다. 우리의 커리큘럼을 적용하면, Dyna-DINO로 증류된 ViT-S는 ImageNet-100에서 90.1%의 정확도를 달성하며, 이는 기준선 대비 +12.24%의 향상이다. ImageNet-1K에서 Dyna-DINO는 Oxford 및 Paris 데이터셋의 인스턴스 검색(instance retrieval) 작업에서 각각 +3.9% 및 +6.09%의 향상을, 시맨틱 분할 작업에서 +1.93%의 향상을 달성했으며, 분류 작업에서도 의미 있는 성능 향상을 보였다. 또한, 이 커리큘럼은 학습 초기 단계에서 교사 추론에 조기 종료(early-stopping)를 적용함으로써 ImageNet-100에서 학습 FLOPs의 25.1%와 학습 시간의 21%를 절감할 수 있게 한다. 코드는 https://github.com/KevinZ0217/Dyna-DINO 에서 확인할 수 있다.

arXiv:2609.28085v1cs.LG

잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝

Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling

잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.

arXiv:2609.19801v2cs.LG

DeliveryGym: An RL Environment for Long-Horizon Embodied Agent Planning with Adaptive Curriculum

The user asked for a JSON-only translation response with no markdown fences. Here is the result: {"title_ko": "DeliveryGym: 적응형 커리큘럼 기반 장기 체화 에이전트 계획을 위한 강화학습 환경", "abstract_ko": "실행 가능한 환경은 LLM 에이전트가 자신의 행동 결과로부터 학습할 수 있게 한다. 체화 에이전트의 경우, 그 결과는 현재 과제의 성공 여부를 넘어선다. 배달을 완료하는 것은 이후 작업에 필요한 시간, 에너지, 또는 돈을 소모할 수 있다. 따라서 계획 학습을 위해서는 이러한 의존성을 보존하고 완전한 궤적에 걸쳐 이를 피드백으로 전환하는 환경이 필요하다.\n\n우리는 연속적인 배달원 근무 교대를 대상으로 에이전트를 평가하고 학습하는 3D 환경인 DeliveryGym을 제안한다. 이는 다중 모달 도구 상호작용과 지속적인 세계 동역학을 결합하고, 시뮬레이터 이벤트로부터 궤적 보상을 계산하여 에이전트 결정의 비용을 강화학습(RL)에 사용할 수 있게 한다. 또한 평가는 고정한 채, 환경은 정책에서 관찰된 약점에 맞춰 향후 학습 교대를 적응시킨다.\n\n6개 모델과 13개 도시 맵에 걸쳐, 평가는 할당된 배달을 안정적으로 수행하는 것과 한 교대 동안 업무를 선택하고 순서를 정하는 것 사이의 격차를 드러낸다. 보지 못한 도시 테스트 세트에서 RL은 Qwen3-VL-4B의 순수익을 54.3% 향상시켜, 완전한 교대로부터 학습하면 이러한 결합된 제약 하에서 성능이 개선됨을 보여준다. 학습 환경을 적응시키면 100회 업데이트에서 균일 샘pling 대비 평가 수익이 18% 개선되어, 에이전트가 연습하는 상황이 무엇인지도 중요함을 시사한다. DeliveryGym은 에피소드 내에서 배달을 조율하고 이후 주문을 위해 자원을 보존하는 방법을 에이전트가 학습하는 과정을 연구할 수 있는 실행 가능한 설정을 제공한다."}

arXiv:2609.19717v2cs.LG

자신의 생각을 학습하기: 추상 토큰 커리큘럼

Learn Your Own Thoughts: Abstract Token Curriculum

대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought, CoT)를 중간 사고 단계를 위한 스크래치패드(scratchpad)로 활용함으로써 뛰어난 추론 능력을 달성해 왔다. 그러나 CoT 기법은 사고 토큰에 대한 명시적 지도(supervision)를 필요로 하며, 이는 풍부하고 과제별(task-specific) 데이터를 요구한다. 본 연구에서는 직접적인 지도나 수동 스크래치패드 설계 없이 효과적인 연속 중간 표현을 이끌어내는 새로운 커리큘럼 학습(curriculum learning) 프레임워크인 추상 토큰 커리큘럼(Abstract Token Curriculum, ATC)을 제안한다. ATC는 분포의 연속을 통해 문제 복잡도를 점진적으로 높이며, 모델이 연속 표현 공간에서 내부적인 추상적 ``사고(thoughts)''를 형성하도록 학습한다. 본 논문은 ATC의 이점과 연속 사고를 학습하는 기존 방법 대비 장점에 대한 이론적·실험적 근거를 모두 제시한다. 이론적으로, ATC를 사용하여 단층 소프트맥스 어텐션으로 parity 함수를 학습할 때, 어텐션이 다음 토큰 예측에 대한 ``가장 쉬운 경로(easiest path)''를 제공하는 문맥 속 CoT 토큰에 자연스럽게 집중함을 보인다. 실험적으로 그래프 도달성(graph reachability) 및 산술 학습 과제에서 ATC의 효과를 보인다.

arXiv:2609.25890v1cs.CL

길이 기반 학습 재고: 음성 토큰 언어 모델에서 배치 구성과 손실 정규화

Rethinking Length-Based Training: Batch Composition and Loss Normalization in Speech Token Language Models

짧은 것에서 긴 것으로의 학습(short-to-long training)은 음성 모델을 위한 단순한 커리큘럼이지만, 그 효과를 해석하기 어려울 수 있다. 음성 토큰 언어 모델에서 길이 기반 학습은 배치 평균(batch-mean) 손실 하에서 셔플 정책, 배치 구성, 토큰 유지율, 토큰 가중치를 바꿀 수 있다. 우리는 대응 비교(matched comparisons)를 통해 이러한 요인들을 분리한다. 검증한 설정에서는 배치 구성과 토큰 노출을 고정했을 때 short-to-long 순서만으로는 독립적인 이득이 나타나지 않는다. 첫 에포크 그룹화는 배치 평균 손실 하에서 Mimi의 perplexity를 낮추지만, 토큰 균형(token-balanced) 손실 하에서는 이 이득이 관찰되지 않는다. 교차 토크나이저 결과는 청크 길이 변동과 토큰 가중치 사이의 연관성과 일치한다. 본 연구는 가변 길이 음성 모델에서 길이 기반 학습을 연구하기 위한 체계적인 분석 프로토콜을 제공한다.

arXiv:2609.24105v1cs.NE

DCL-GPGLS: 대규모 차량 경로 문제를 위한 유전 프로그래밍 유도 국소 탐색 기반 동적 커리큘럼 학습

DCL-GPGLS: Dynamic Curriculum Learning for Genetic Programming Guided Local Search in Large-Scale Vehicle Routing

유전 프로그래밍 유도 국소 탐색(GPGLS)은 대규모 차량 경로 문제(LSVRP)의 유도 국소 탐색에 사용할 효용 함수(utility function)를 진화시키기 위해 유전 프로그래밍을 활용합니다. 매 세대마다 모든 학습(training) 인스턴스에 걸쳐 모든 GP 개체를 평가(evaluation)하는 것은 비용이 많이 들기 때문에, GPGLS는 통상적으로 작은 인스턴스 배치(batch)로 학습됩니다. 기존의 커리큘럼 기반 GPGLS는 주로 인스턴스 크기에 따라 이러한 배치의 순서를 정합니다. 적응형 커리큘럼 학습 GPGLS(ACL-GPGLS)는 고정된 커리큘럼 단계 간 이동 시점을 조정하여 학습 효율을 개선하지만, 인스턴스 난이도 순서는 여전히 사전에 정의된 상태로 유지됩니다. 본 논문에서는 현재 모집단(population)의 해 품질을 바탕으로 각 학습 인스턴스의 난이도를 추정하고 진화 과정 동안 이를 업데이트하는 DCL-GPGLS를 제안합니다. 이후 각 세대는 계획된 난이도 수준에 근접한 배치를 전달받으며, 동일 인스턴스의 반복 선택을 제한하는 보정이 함께 적용됩니다. CVRPLIB X 세트의 고정된 학습-테스트 분할에 대한 실험 결과, DCL-GPGLS는 6가지 학습 정책 중 가장 우수한 평균 순위와 평균 테스트 비용을 달성함을 보여줍니다. 또한 65개의 미확인(unseen) 테스트 인스턴스 중 36개에서 가장 낮은 평균 비용을 기록했으며, 총 평가자 호출 횟수가 동일한 정적 피드백 기반 커리큘럼과 비교했을 때 6개 인스턴스에서 유의미하게 우수했고 나머지 59개 인스턴스에서는 유의미한 차이가 없었습니다.

arXiv:2606.09052v4cs.LG

INFUSER: 영향도 기반 자기 진화가 추론을 향상시킨다

INFUSER: Influence-Guided Self-Evolution Improves Reasoning

자기 진화(self-evolution)는 더 강한 추론으로 가는 확장 가능한 경로를 제공한다. 사전학습된 언어 모델이 최소한의 외부 감독만으로 스스로를 개선하는 방식이다. 그러나 기존 방법들은 광범위하게 큐레이션되거나 교사가 생성한 학습 데이터에 의존하거나, 생성기가 비지도로 동작할 때는 Solver를 실제로 개선하지 않을 수도 있는 난이도 휴리스틱으로 보상한다. 우리는 INFUSER를 제안한다. 이는 두 가지 공진화하는 역할을 갖는 반복적 공동 학습(co-training) 프레임워크로, 구조화되지 않은 자동 수집 문서 풀에서 질문과 참조 golden 답변을 작성하는 Generator와 이를 통해 학습하며 개선되는 Solver로 구성된다. Solver는 생성기가 제공한 답변에 대한 표준 정확성 보상으로 학습되고, 생성기는 각 제안된 질문이 목표 분포에서 Solver를 실제로 개선할지를 측정하는 옵티마이저 인식 영향도(influence) 점수로 보상된다. 이 연속적이고 노이즈가 많은 영향도 점수는 표준 GRPO로는 잘 다루기 어렵기 때문에, 생성기 학습을 위해 GRPO의 이중 정규화(dual-normalized) 변형인 DuGRPO를 제안한다. 이를 통해 문서 풀은 단순히 어려운 질문이 아니라 현재 Solver에 유용한 질문을 선호하는 적응형 커리큘럼으로 전환된다. Qwen3-8B-Base에서 INFUSER는 강력한 자기 진화 기준선들을 능가하며 Olympiad 및 SuperGPQA 벤치마크에서 20% 이상의 상대적 개선을 달성한다. 또한 8B INFUSER의 공진화 생성기는 수학과 코딩에서 고정된 32B thinking 생성기를 능가한다. Ablation은 각 설계 선택이 필수적임을 확인했으며, 인스트럭션 파인튜닝(instruction-finetuned) 앵커에 INFUSER를 적용하고 rule-verifiable RLVR 데이터로 보강하는 두 가지 확장은 프레임워크의 유연성과 일반화 가능성을 추가로 보여준다. 코드는 https://github.com/FFishy-git/INFUSER 에서 이용할 수 있다.

arXiv:2506.11389v5cs.CL

언어 모델 사전학습을 위한 커리큘럼 기반 층 스케일링

Curriculum-Guided Layer Scaling for Language Model Pretraining

대규모 언어 모델(LLM)의 사전학습 비용이 증가함에 따라, 이 핵심 학습 단계에서 학습 효율을 개선하는 전략에 대한 지속적인 관심이 높아지고 있다. 인간이 뇌가 성숙함에 따라 점진적으로 지식을 쌓아가는 인지 발달에서 영감을 받아, 우리는 학습 중 층을 점차 추가하는 점진적 층 쌓기(progressive layer stacking)를 통해 데이터 난이도 증가와 모델 성장을 동기화하는 연산 효율적인 사전학습 프레임워크인 커리큘럼 기반 층 스케일링(CGLS, Curriculum-Guided Layer Scaling)을 제안한다. 1억(100M) 매개변수 규모에서, 합성 단편 소설에서 일반 웹 데이터로 전환되는 커리큘럼을 사용하여 CGLS는 질의응답 벤치마크 PIQA와 ARC에서 기준선 방법을 능가한다. 12억(1.2B) 규모에서 사전학습 시, DistilBERT 기반 분류기로 DataComp-LM 코퍼스를 계층화하고 일반 텍스트에서 고도로 기술적이거나 전문화된 콘텐츠로 점진적으로 진행한다. 우리의 결과는 샘플 난이도와 함께 모델 깊이를 점진적으로 증가시키면 다양한 다운스트림 벤치마크에서 더 나은 일반화 및 제로샷(zero-shot) 성능으로 이어짐을 보여준다. 종합적으로, 우리의 연구 결과는 CGLS가 점진적 스태킹의 잠재력을 발휘하게 하며, 지식 집약적 및 추론 태스크에서 일반화를 개선하기 위한 간단하면서도 효과적인 전략을 제공함을 보여준다.

arXiv:2606.30345v2cs.LG

DRIFT: 리듬 게이팅 탐험과 성공 버퍼 학습을 활용한 난이도 라우팅 자기 증류

DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

DRIFT는 외부 감독 없이 대규모 언어 모델(LLM)의 안정적인 자기 개선을 위해 문제 수준의 난이도 라우팅(Difficulty Routing)과 토큰 수준의 리듬 게이팅(Rhythm Gating)을 결합한 온라인 자기 진화 정책 최적화 프레임워크로, 성공 버퍼와 2단계 커리큘럼 학습을 통해 GRPO 및 SDPO 대비 5개 벤치마크 평균 점수에서 각각 9.5%, 7.5% 높은 79.5%를 달성했다.

arXiv:2606.11719v2cs.CV

Ouroboros-Spatial: 공간 추론을 위한 데이터-모델 루프 폐쇄

Ouroboros-Spatial: Closing the Data-Model Loop for Spatial Reasoning

공간 추론은 멀티모달 대규모 언어 모델(MLLM)의 지속적인 과제로 남아 있습니다. 기존 접근 방식은 대규모의 정적으로 큐레이션된 데이터셋에 크게 의존하며, 여기서는 모델의 발전하는 능력과 무관하게 모든 학습 샘플이 동일하게 처리됩니다. 이러한 정적 패러다임은 본질적으로 데이터 비효율적입니다: 학습 용량은 종종 현재 단계의 모델에게 너무 쉽거나 지나치게 어려운 샘플에 소비됩니다. 이러한 한계를 해결하기 위해, 우리는 모델이 제안자와 해결자라는 이중적인 역할을 수행하는 자가 진화형 학습 프레임워크인 Ouroboros-Spatial을 제안합니다. 각 반복(iteration)에서 고정된 제안자는 3D 장면 메타데이터와 원본 비디오 프레임으로부터 공간 질문-답변(QA) 쌍을 생성하고, 신뢰할 수 있는 정답(ground truth)을 도출하기 위한 실행 가능한 코드를 함께 생성합니다. 그런 다음 학습 가능한 해결자는 수락된 샘플에 대해 파인튜닝(fine-tuning)되며, 샘플별 예측 신뢰도가 난이도 신호로 사용됩니다. 이 신호는 다음 반복(iteration)에서 제안자에게 피드백되어, 해결자의 현재 능력에 더 잘 부합하는 질문을 생성하도록 안내합니다. 이러한 폐루프(closed-loop) 설계를 통해 학습 분포는 모델 능력과 공진화하여, 학습 가치가 제한적인 모호하거나 정보가 부족한 샘플을 걸러내는 동시에 중복된 사소한 예제를 줄입니다. 6개의 공간 추론 벤치마크(benchmark)에서 Ouroboros-Spatial은 최근 대규모 큐레이션 데이터셋보다 훨씬 적은 수의 학습 예제를 사용하면서 Qwen3-VL-4B 및 Qwen3-VL-8B를 실질적으로 향상시켰습니다. VSI-Bench에서는 4B 및 8B 모델에 대해 각각 9.9점 및 6.8점의 절대적인 향상을 이끌어내어, 두 모델 모두 다양한 강력한 오픈 소스 및 독점 베이스라인을 능가하도록 했습니다.

arXiv:2607.23700v1cs.AI

멀티모달 추론을 위한 오프라인-온라인 커리큘럼 강화학습

Offline-Online Curriculum RL for Multimodal Reasoning

멀티모달 대규모 언어 모델은 추론 과제에서 능력을 보이지만, 최종 답은 맞으면서도 중간 단계에서 결함이 있는 결과를 내는 경우가 많다. 이러한 행동은 해석 가능성과 신뢰성을 훼손하며, 충실한 추론보다는 가짜 지름길(spurious shortcuts)에 의존하고 있음을 시사한다. 단계 수준의 지도학습을 탐구한 연구가 있었지만, 결정적인 단계와 중복 단계를 구분하는 것은 여전히 어렵다. 우리는 반복적인 오프라인-온라인 패러다임을 통해 핵심 단계 인식(critical-step awareness)을 도입하는 새로운 커리큘럼 강화학습 프레임워크인 $O^2$-CritiCuRL을 제안한다. 오프라인 단계에서 $O^2$-CritiCuRL은 단계 주석이 달린 궤적에 대해 다중 롤아웃 분석을 수행하여 단계 수준의 중요도를 추정하고, 이를 통해 핵심 추론 단계를 증류(distill)하고 중복 단계를 걸러낸다. 온라인 단계에서는 점진적인 단계 수준 강화학습 전략을 사용하며, 잘린 연쇄(truncated chains)가 모델이 누락된 단계를 추론하고 추론을 정교화하도록 안내하여 핵심 단계에 대한 집중을 높이고 정적 지도의 한계를 극복한다. 멀티모달 추론 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 최첨단 성능을 달성하면서 학습과 추론 효율성에서도 우수한 결과를 보인다. 코드는 https://github.com/kk0013/CritiCuRL 에서 제공된다.

arXiv:2607.20238v1cs.CV

모든 패치가 동등하지 않다: 가시-적외선 사전학습에서 샘플링의 중요성

Not All Patches are Equal: Sampling Matters for Visible-Infrared Pre-Training

가시-적외선(VIS-IR) 정렬(alignment)은 견고한 다중 센서 인식을 위한 핵심 사전학습 과제이다. 대부분의 기존 방법은 균일한 패치 단위 대조 학습(contrastive learning)을 사용하지만, VIS-IR 데이터에서는 신뢰할 수 없을 수 있다. 촬영 물리학적 차이로 인해 공간적으로 짝을 이룬 일부 영역은 본질적으로 비교 가능성이 낮고, 이를 동일한 강도로 정렬하면 표현 학습(representation learning)과 다운스트림 전이(downstream transfer)를 방해하기 때문이다. 본 논문에서는 샘플링 관점에서 VIS-IR 사전학습을 재검토하고, 패치 신뢰도에 따라 학습 강조를 조정하는 중요도 인식 샘플링(Importance-Aware Sampling, IAS)을 제안한다. 구체적으로, IAS는 (i) 적외선 구조적 단서로부터 패치 가중치를 도출하고 이를 이용해 대조 목적 함수를 재가중하고, (ii) 경량 샘플러로 소프트 중요도 마스크를 학습하며, 선택적으로 수작업 사전 지식(prior)으로 워ーム 스타트(warm-started)하고, (iii) 고신뢰도 영역에서 더 어려운 패치로 점진적으로 확장하는 패치 커리큘럼 학습(curriculum learning) 전략을 사용한다. IAS는 플러그 앤 플레이(plug-and-play) 방식이며, 패치/상관(correlation) 수준 정렬(예: UNIV 스타일)과 이미지 수준 대조 기준선(예: ImageBind 스타일) 모두에서 작동한다는 점에 유의할 필요가 있다. 다수의 VIS-IR 벤치마크에 대한 광범위한 실험은 IR 의미 분할(semantic segmentation), IR 객체 검출, VIS 의미 분할, 교차 모달 검색(cross-modal retrieval) 과제를 포함하여 강력한 기준선 대비 일관된 성능 향상을 보여준다. 코드는 https://github.com/KlayMa527/IAS 에서 공개될 예정이다.

arXiv:2408.12548v3cs.LG

안전하고 윤리적인 자율주행차를 위한 휴먼 인 더 루프 머신러닝: 원리, 과제, 기회

Human-In-The-Loop Machine Learning for Safe and Ethical Autonomous Vehicles: Principles, Challenges, and Opportunities

머신러닝(ML)은 자율주행차(AV)의 핵심이 되어 동적 환경에서 인식, 예측, 계획, 제어 및 의사결정을 지원한다. 그러나 복잡한 교차로, 다양한 장면, 다양한 궤적, 복잡한 임무와 같은 혼잡하고 복잡한 시나리오에서 완전한 자율성을 달성하는 것은 여전히 어려운 과제이며, 데이터 라벨링 또한 여전히 주요 병목이다. 이러한 한계는 검증, 주석, 작업 구성, 보상 설계, 행동 수정, 선호 피드백, 감독적 개입 등을 통해 인간 입력을 통합하는 휴먼 인 더 루프 머신러닝(HITL-ML)의 필요성을 촉발한다. 안전하고 윤리적인 자율주행을 발전시키기 위해 본 논문은 커리큘럼 학습(CL), 휴먼 인 더 루프 강화학습(HITL-RL), 휴먼 인 더 루프 대규모 언어 모델(HITL-LLM), 능동 학습(AL), 윤리 원칙에 초점을 맞춘 AV용 HITL-ML에 대한 튜토리얼 서베이를 제시한다. 먼저 간단한 작업에서 복잡한 작업으로 학습을 구조화하는 CL 방법을 검토하며, 내비게이션, 경로 계획, 장애물 회피, 데이터 수집, 착륙, 교차로 처리, 모션 계획, UAV 군집 협조 등을 다룬다. 이어서 보상 형성(reward shaping), 행동 주입, 시연, 선호 기반 피드백, 대화형 학습을 통한 HITL-RL을 검토하며, 학습 효율 향상, 더 안전한 정책 탐험, 실시간 개입을 강조한다. 다음으로 협업과 감독 관점에서 HITL-LLM을 검토하고 핵심 과제를 명시한다. 그 후 인식, 이상 탐지, 시맨틱 매핑, 객체 검출, 차량 인식, 보안 관련 분류에 대한 AL을 논의한다. 마지막으로 투명성, 책임성, 인간 감독, 안전성, 보안, 규제 준수, 인간 입력의 신뢰성에 대한 기술적 요구사항으로서 윤리 원칙을 검토한다.