arXiv:2610.11064v1 cs.LG

RLVR에서 해법 모드 붕괴의 측정 및 완화

Measuring and Mitigating Solution Mode Collapse in RLVR

Liv G. d'Aliberti, Marwa Abdulhai, Sofiia Druchyna, Peter Henderson, Manoel Horta Ribeiro

제출 2026-10-08

한국어 초록

언어 모델(LM)은 대개 동일한 질문에 대해 여러 방식으로 답할 수 있지만, 검증 가능한 보상을 활용한 강화학습(RLVR)은 모델이 어떤 정답을 생성하든 개의치 않습니다. 익숙한 답의 1,000번째 복사본이든 모델이 이전에 한 번도 생성한 적 없는 답이든, 정답인 해법은 동일한 보상을 받게 됩니다. 그러나 모델이 학습(training)되면서 여러 올바른 해법을 유지하도록 하는 것에는 잠재적인 가치가 있습니다. 예를 들어, 다중 모드(mode)는 사용자에게 선택권을 제공하고 전반적인 모델 성능을 향상시키는 문제 해결 전략을 제공할 수 있습니다. 본 논문에서는 검증기(verifier)가 정확도와 발견된 모드를 모두 반환하는 다중 해법 작업 벤치마크인 ModeBench를 소개합니다. 그런 다음 ModeBench를 사용하여 RLVR 사후 학습(post-training) 과정에서 해법의 다양성이 어떻게 변화하는지 측정합니다. 그 결과, 정확도가 유지되거나 향상되더라도 RLVR 사후 학습은 더 적은 수의 정답 모드로 확률을 집중시키며, 나아가 최신 프론티어(frontier) 모델들은 이미 고도로 집중되어 있음을 발견했습니다. 이에 따라 발견된 모드당 검증된 예시 하나를 리플레이 버퍼(replay buffer)에 저장하고 저장된 모드들을 균등하게 학습하는 해법인 Re:Max를 제안합니다. 따라서 한 번 발견된 해법도 반복해서 발견된 해법만큼 자주 연습됩니다. 세 가지 모델 스케일, 두 가지 RL 목적 함수, 그리고 더 어려운 작업 구성 전반에 걸쳐, 리플레이는 정책(policy)의 성공 빈도뿐만 아니라 성공할 수 있는 서로 다른 방식의 다양성 또한 개선함을 확인했습니다.

원문 초록

A language model (LM) can usually answer the same question in more than one way, but reinforcement learning with verifiable rewards (RLVR) is indifferent to which correct answer a model produces. A solution will earn the same reward whether it is the thousandth copy of a familiar answer or one the model has never produced before. Yet, there is potential value in having the model retain multiple correct solutions as it is trained. For instance, multiple modes may give users a choice and provide problem-solving strategies that improve overall model performance. Here, we introduce ModeBench, a benchmark of multi-solution tasks in which the verifier returns both correctness and mode discovered. We then use ModeBench to measure how solution diversity changes under RLVR post-training. We find that RLVR post-training concentrates probability onto fewer correct modes even as accuracy holds or improves, and moreover, that frontier models are already highly concentrated. We then introduce our solution, Re:Max, which stores one verified example per discovered mode in a replay buffer and trains on those stored modes uniformly. A solution found once is, therefore, practiced as often as one found repeatedly. Across three model scales, two RL objectives, and harder task constructions, replay improves both how often a policy succeeds and how many different ways it can succeed.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11064v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28080v1cs.CL공통 태그 Language Modeling, Diversity

개방형 텍스트 생성에서 일관성과 다양성의 참조 기반 분석

Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation

개방형 텍스트 생성을 평가하려면 연속(continuation)의 여러 속성이 체감 품질과 어떻게 연관되는지 이해해야 한다. 본 연구는 일관성과 다양성을 세 가지 관점에서 살펴보는 참조 기반 프레임워크를 제시한다: 인간 궤적과의 변화 정렬, 동일 프롬프트에 대한 인간 연속과의 요약 비교, 인간 참조 분포 하에서의 가능도 추정. 인간 품질 평가 실험에 따르면 다양성 기반 정렬과 평균 기반 비교는 품질 관련 변동을 포착하는 것으로 보이나, 비교만으로는 시간적 정렬이 더 단순한 베이스라인보다 예측적으로 유리하다는 점은 입증되지 않는다. 참조 가능도 역시 평가와 양의 연관을 보이며, 결과는 참조 설정과 스코어링 구간에 따라 달라진다. 이 분석들은 측정된 일관성·다양성이 인간 판단과 어떻게 연관되는지 구조적으로 검토하는 방법을 제공하며, 인간 참조와의 유사성과 품질 그 자체를 구분한다. 코드 및 분석 자료는 https://github.com/EstebanGarces/likely_human 에서 이용할 수 있다.

arXiv:2609.18094v3cs.LG공통 태그 Language Modeling, Diversity

Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git

Agora: Git as Shared Memory for Collective AutoResearch

서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.

arXiv:2609.27657v1cs.LG공통 태그 Language Modeling, Diversity

FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.

arXiv:2609.25298v1cs.CL공통 태그 Language Modeling, Diversity

FineWeb-CLaR: 벤치마크 정렬 코퍼스 감사를 위한 문화·언어·지역 어노테이션

FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing

언어 모델의 문화적 평가 커버리지와 견고성(robustness)은 사전학습 코퍼스와 문화 벤치마크가 비교 가능한 메타데이터로 거의 색인되지 않아 진단하기 어렵다. 벤치마크는 점점 언어, 지역, 로케일별 관행 수준의 문화적으로 맥락화된 현상을 대상으로 하는 반면, 웹 규모 코퍼스는 보통 언어로만 구성된다. 공유 문화-언어-지역 층은 이러한 자원을 비교 가능하게 하여, 대상 문화적 현상이 사전학습 데이터에 반영되는지, 벤치마크로 평가되는지, 또는 둘 다인지에 대한 감사(auditing)를 가능하게 한다. 이를 위해 FineWeb과 FineWeb-2에서 파생된 대규모 주석 데이터셋인 FineWeb-CLaR을 제안한다. FineWeb-CLaR은 코퍼스 감사 및 벤치마크 정렬을 위해 웹 문서를 공유 문화-언어-지역 축에 배치한다. FineWeb-CLaR은 URL에서 유도한 지역 레이블과 문화 주제 출처(provenance)로 FineWeb 및 FineWeb-2의 전체 30.9B개 문서 컬렉션에 어노테이션한다. 우리의 지역 해석기(region resolver)는 문서의 25.61%(7.92B)에 비어 있지 않은 지역을 할당한다. 문화 주제 분석을 위해 로케일별 주제를 유도하고 Liu et al. (2025)의 Cultural Taxonomy 14개 리프에 투영하여 코퍼스 측 비교를 위한 Locale Topic Distributions(LTD)를 생성한다. 또한 277개의 문화 NLP 벤치마크에 동일한 분류 체계, 언어 커버리지, 지역 커버리지로 어노테이션한다. 이 자원들을 함께하면 코퍼스 측 사전학습 근거와 벤치마크 측 평가 커버리지 간의 직접 비교가 가능하다.

arXiv:2607.22662v1cs.AI공통 태그 Language Modeling, Diversity

CuraWeb: 웹 규모 사전학습 데이터의 품질, 중복, 다양성 공동 최적화

CuraWeb: Joint Optimization of Quality, Redundancy, and Diversity for Web-Scale Pretraining Data

FineWeb-Edu, DCLM과 같이 고도로 선별적인 필터를 통해 큐레이션된 오픈 웹 코퍼스는 대규모 언어 모델(LLM) 사전학습 데이터의 핵심을 구성하며 LLM 성능을 크게 향상시켜 왔다. 그러나 이러한 파이프라인은 일반적으로 단일 최적화 목표에 의존하며, 이는 필연적으로 분포적 다양성을 좁히고 롱테일 지식을 소외시켜 데이터 커버리지를 제한하고 오픈 웹의 광범위한 잠재력을 충분히 활용하지 못하게 한다. 이 한계를 해결하기 위해, 우리는 선형 가지치기에서 품질, 중복, 다양성의 공동 최적화로 전환하는 새로운 큐레이션 패러다임을 제안한다. 이 프레임워크는 이중 트랙 정제(규칙 기반 및 모델 기반)와 하이브리드 중복 제거(n-gram 및 의미적)를 결합하고, 다목적 샘플러를 사용하여 정보적 품질과 분포적 폭을 균형 있게 조절한다. Common Crawl에 이 프레임워크를 적용하여 2T 토큰 규모의 영어 코퍼스인 CuraWeb을 구축한다. 기존 자원과 달리 CuraWeb은 향상된 다양성과 최소한의 중복으로 보다 전체적인 데이터 분포를 복원함으로써 산업 수준의 데이터 큐레이션 표준을 확립하고, 다양한 도메인에 걸쳐 롱테일 지식의 더 넓은 커버리지를 달성한다. 3B 규모에서의 실험적 평가는 CuraWeb이 최신 베이스라인을 크게 능가하며, 특히 지식 집약적 및 추론 과제에서 광범위한 벤치마크 전반에 걸쳐 평균 1.8%의 성능 향상을 달성함을 보여준다.

arXiv:2607.22694v1cs.AI공통 태그 Language Modeling, Diversity

베이지안 반복 패널티: 자기회귀 언어 모델에서 어텐션 붕괴를 역전하기 위한 원칙적 인접-조건부 프레임워크

Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models

자기회귀 언어 모델에서의 어텐션 붕괴(attention collapse) — 모델이 자기 강화적 attractor에 갇히는 반복적 토큰 루프로 나타나는 — 는 기존 디코딩 시점 휴리스틱이 근본 원인을 해결하지 못하는 지속적인 병리 현상이다. 우리는 인접 조건부 확률 구성을 통해 토큰의 관측 빈도와 코퍼스 사전 분포를 비교함으로써, 붕괴된 생성 패턴에서 발생하는 비정상적 신뢰도를 패널티하거나 보상하는 원칙적 프레임워크를 제시한다. 결과적으로 얻어지는 자기 정규화(self-normalising) 패널티 비율 $R=f(m,n,p)/f(np,n,p)$는 임의의 표준화가 필요 없으며, 근사 오차가 없는 폐형식(closed-form) 로짓 오프셋을 허용한다. 이 보정은 손실 그래디언트와 분리되며, 지수 이동 평균(exponential moving average)을 통해 고정된 출력층 바이어스에 누적되어, 표준 학습 파이프라인에 침습적인 수정 없이 이미 붕괴된 모델에 대한 수리 메커니즘으로 배포할 수 있게 한다. 1.5B 매개변수 모델에 대한 실험적 검증은 고정 바이어스 메커니즘이 이미 붕괴된 attractor에 갇힌 모델을 구출할 수 있음을 보여주며, 생성 품질을 유지하면서 2-gram 반복을 0.073에서 거의 0으로 줄인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.