PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11064v1cs.LG

RLVR에서 해법 모드 붕괴의 측정 및 완화

Measuring and Mitigating Solution Mode Collapse in RLVR

언어 모델(LM)은 대개 동일한 질문에 대해 여러 방식으로 답할 수 있지만, 검증 가능한 보상을 활용한 강화학습(RLVR)은 모델이 어떤 정답을 생성하든 개의치 않습니다. 익숙한 답의 1,000번째 복사본이든 모델이 이전에 한 번도 생성한 적 없는 답이든, 정답인 해법은 동일한 보상을 받게 됩니다. 그러나 모델이 학습(training)되면서 여러 올바른 해법을 유지하도록 하는 것에는 잠재적인 가치가 있습니다. 예를 들어, 다중 모드(mode)는 사용자에게 선택권을 제공하고 전반적인 모델 성능을 향상시키는 문제 해결 전략을 제공할 수 있습니다. 본 논문에서는 검증기(verifier)가 정확도와 발견된 모드를 모두 반환하는 다중 해법 작업 벤치마크인 ModeBench를 소개합니다. 그런 다음 ModeBench를 사용하여 RLVR 사후 학습(post-training) 과정에서 해법의 다양성이 어떻게 변화하는지 측정합니다. 그 결과, 정확도가 유지되거나 향상되더라도 RLVR 사후 학습은 더 적은 수의 정답 모드로 확률을 집중시키며, 나아가 최신 프론티어(frontier) 모델들은 이미 고도로 집중되어 있음을 발견했습니다. 이에 따라 발견된 모드당 검증된 예시 하나를 리플레이 버퍼(replay buffer)에 저장하고 저장된 모드들을 균등하게 학습하는 해법인 Re:Max를 제안합니다. 따라서 한 번 발견된 해법도 반복해서 발견된 해법만큼 자주 연습됩니다. 세 가지 모델 스케일, 두 가지 RL 목적 함수, 그리고 더 어려운 작업 구성 전반에 걸쳐, 리플레이는 정책(policy)의 성공 빈도뿐만 아니라 성공할 수 있는 서로 다른 방식의 다양성 또한 개선함을 확인했습니다.

arXiv:2602.10216v2cs.LG

ELROND: 확산 모델의 내재적 능력 탐험 및 분해

ELROND: Exploring and decomposing intrinsic capabilities of diffusion models

확산 모델(diffusion model)에 전달된 단일 텍스트 프롬프트는 순전히 확률적 과정(stochastic process)에 의해 결정되는 광범위한 시각적 출력을 생성하므로, 사용자는 어떤 의미적 변형이 나타날지 직접 제어할 수 없습니다. 이러한 범위를 탐험(exploration)하는 것은 어렵습니다. 무작위 탐색은 범위를 모두 포괄한다는 보장이 없으며, 프롬프트 수정은 단어 선택의 미세한 변화만으로도 생성된 이미지를 크게 바꿀 수 있어 정밀하지 못합니다. 본 연구에서는 체계적인 탐험을 위해 모델 자체가 생성 가능한 조건부 분포를 어떻게 구조화하는지 복원해야 한다고 주장합니다. 우리는 이러한 구조를 생성 매니폴드(generative manifold)로 정식화하고, 주어진 조건화에서 해당 매니폴드의 접공간(tangent space)을 복원하는 방법론인 ELROND를 제시합니다. 이를 위해 고정된 프롬프트의 확률적 실현 간 차이를 역전파하여 얻은 그래디언트를 수집하고, 주성분 분석(PCA) 또는 희소 오토인코더(Sparse Autoencoder)를 사용하여 이를 해석 가능한 방향으로 분해합니다. 우리는 제어된 환경에서 본 방법론이 이 하위 공간을 정확하게 복원함을 보이고, 대규모 모델에서 행동적(behaviorally)으로 이를 검증합니다. 또한 이렇게 복원된 구조가 외부 표현에 의존하는 방식보다 모델 능력의 더 폭넓은 탐험을 가능하게 하며, 재학습 없이도 증류된 모델의 모드 붕괴(mode collapse)를 완화함을 입증합니다.

arXiv:2510.22954v2cs.CL

인공 집단지성(Artificial Hivemind): 언어 모델의 개방형 동질성(그리고 그 너머)

Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)

언어 모델(LM)은 종종 다양하고 인간과 유사한 창의적 콘텐츠를 생성하는 데 어려움을 겪으며, 이는 유사한 출력에 반복적으로 노출됨으로써 인간의 사고가 장기적으로 동질화될 수 있다는 우려를 불러일으킵니다. 그러나 난수나 이름 생성과 같은 좁은 범주의 태스크를 넘어서거나, 단일 모델로부터의 반복 샘플링을 넘어서 LM 출력의 다양성을 평가하는 확장 가능한 방법은 여전히 제한적입니다. 본 연구에서는 단일 정답(ground truth)이 없으며 타당한 답변의 범위가 넓은, 실제적이고 개방형(open-ended)인 다양한 사용자 쿼리 2만 6천 개로 구성된 대규모 데이터셋인 Infinity-Chat을 소개합니다. 또한 브레인스토밍 및 아이디어 도출 등 6개의 최상위 카테고리와 17개의 하위 카테고리로 구성되어 LM에 주어지는 개방형 프롬프트의 전체 스펙트럼을 특성화하는 최초의 종합적인 분류 체계(taxonomy)를 제시합니다. Infinity-Chat을 활용하여 LM의 모드 붕괴(mode collapse)에 대한 대규모 연구를 수행한 결과, LM의 개방형 생성에서 두드러진 '인공 집단지성(Artificial Hivemind)' 효과를 발견했습니다. 이는 (1) 단일 모델이 일관되게 유사한 응답을 생성하는 모델 내 반복(intra-model repetition), 그리고 이보다 더 심각한 (2) 서로 다른 모델들이 놀라울 정도로 유사한 출력을 생성하는 모델 간 동질성(inter-model homogeneity)으로 특징지어집니다. 아울러 Infinity-Chat에는 예제당 25개의 독립적인 인간 평가를 바탕으로 절대 평가 및 쌍별 선호도 전반에 걸친 31,250개의 인간 주석(annotation)이 포함되어 있습니다. 이를 통해 개방형 쿼리에 대한 집단적 및 개인별 인간 선호도를 연구할 수 있습니다. 실험 결과, 모델 생성 결과물이 평가자마다 서로 다른 특이적 선호도를 유발할 경우 전반적인 품질은 유사하게 유지됨에도 불구하고 LM, 보상 모델, LM 판정자(LM judge)가 인간의 평가 점수와 덜 보정(calibrated)되는 것으로 나타났습니다. 종합적으로 INFINITY-CHAT은 LM에 대한 실제 개방형 쿼리를 체계적으로 연구할 수 있는 최초의 대규모 자원을 제공하며, 인공 집단지성이 초래하는 장기적인 AI 안전성 위험을 완화하기 위한 향후 연구를 이끌 핵심적인 통찰을 제시합니다.

arXiv:2606.24267v3cs.CL

Pigeonholing: how bad prompts hurt models, causing collapse and mistakes

While in-context learning is generally shown to be effective in Large Language Models (LLMs), bad contexts can cause performance degradation and mode collapse, a phenomenon we call "pigeonholing." **Unintentionally bad** contexts can happen without malicious jailbreaking intents: For example, a user asks the model to justify an incorrect math theorem or fails to correct the model's buggy code. Specifically, we investigate ``pigeonholing" in two scenarios: (1) when the user suggests a solution, and (2) when the conversation context includes the assistant's previous (incorrect) responses. Our experiments across 10 verifiable and open-ended tasks with 10 different models show that pigeonholing manifests in several ways: (1) repeating the incorrect answers from context (leading to 38-40% performance drop), (2) converging on a narrow set of answers in coding and text generation without exploring alternatives, and (3) flipping stance on controversial topics to align with the user or the assistant's previous claims. We find that pigeonholing worsens almost monotonically with the number of conversation turns (performance drops by additional 14+% as repeated mistakes increase from 1 to 5), and pigeonholing-induced mode collapse can happen even when the provided example is correct. As a step toward mitigation, we propose RLVR with synthetic errors which improves models by 43-60% under bad contexts compared to vanilla RLVR baselines.

arXiv:2510.01171v4cs.CL

Verbalized Sampling: 모드 붕괴 완화 및 LLM 다양성 확보 방법

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

사후 학습 정렬은 LLM의 다양성을 자주 감소시켜 모드 붕괴(mode collapse)로 알려진 현상을 유발한다. 알고리즘적 한계에 이 효과의 원인을 두는 기존 연구와 달리, 우리는 근본적이고 광범위한 데이터 수준의 요인을 밝힌다: 선호도 데이터의 전형성 바이어스(typicality bias)로, 어노테이터가 인지 심리학의 잘 확립된 연구 결과에 따라 친숙한 텍스트를 체계적으로 선호한다는 것이다. 우리는 이 바이어스를 이론적으로 형식화하고, 선호도 데이터셋에서 실증적으로 검증하며, 모드 붕괴에서 핵심적인 역할을 한다는 것을 보인다. 이 분석에 영감을 받아, 모드 붕괴를 우회하기 위한 간단하고 학습 없는(training-free) 프롬프팅 전략인 Verbalized Sampling(VS)을 제안한다. VS는 모델에게 일련의 응답에 대한 확률 분포를 언어화하도록 프롬프트한다(예: "커피에 관한 농담 5개와 각각의 확률을 생성하라"). 포괄적인 실험은 VS가 창의적 글쓰기(시, 이야기, 농담), 대화 시뮬레이션, 개방형 QA, 합성 데이터 생성 전반에서 성능을 크게 향상시키며, 사실적 정확성과 안전성을 희생하지 않음을 보여준다. 예를 들어 창의적 글쓰기에서 VS는 직접 프롬프팅 대비 다양성을 1.6-2.1배 증가시킨다. 또한 더 유능한 모델일수록 VS로부터 더 큰 이득을 얻는다는 창발적(emergent) 경향을 관찰한다. 요약하면, 본 연구는 모드 붕괴에 대한 새로운 데이터 중심 관점과 사전학습(pre-training) 생성 다양성을 확보하는 데 도움이 되는 실용적인 추론 시점 해결책을 제공한다.

arXiv:2603.23086v2cs.LG

인스턴스 및 분포 수준 보상을 활용한 자기회귀 이미지 모델의 정책 기반 튜닝

Policy-based Tuning of Autoregressive Image Models with Instance- and Distribution-Level Rewards

자기회귀(AR) 모델은 이미지 생성에 매우 효과적이지만, 표준 최대 가능도 추정(maximum-likelihood estimation) 학습은 샘플 품질과 다양성에 대한 직접적인 최적화가 부족하다. 강화학습(RL)은 확산 모델의 정렬에 활용되어 왔으나, 이러한 방법들은 일반적으로 출력 다양성 붕괴 문제를 겪는다. 마찬가지로, AR 모델을 위한 기존 강화학습 방법들은 인스턴스 수준 보상에만 의존하여 품질을 위해 분포적 커버리지를 희생하는 경우가 많다. 이러한 한계를 해결하기 위해, 본 논문에서는 토큰 기반 AR 합성을 마르코프 결정 과정으로 형식화하고 Group Relative Policy Optimization(GRPO)으로 최적화하는 경량 강화학습 프레임워크를 제안한다. 핵심 기여는 새로운 분포 수준 Leave-One-Out FID(LOO-FID) 보상의 도입으로, 특징 모멘트의 지수 이동 평균을 활용하여 정책 업데이트 과정에서 샘플 다양성을 명시적으로 촉진하고 모드 붕괴를 방지한다. 이를 엄격한 의미적·지각적 충실도를 위한 복합 인스턴스 수준 보상(CLIP 및 HPSv2)과 통합하고, 적응적 엔트로피 정규화 항으로 다목적 학습을 안정화한다. LlamaGen 및 VQGAN 아키텍처에 대한 광범위한 실험을 통해 불과 수백 번의 튜닝 반복 내에서 표준 품질 및 다양성 지표 전반에 걸쳐 명확한 성능 향상을 입증한다. 또한 실험 결과는 모델이 Classifier-Free Guidance 없이도 경쟁력 있는 샘플을 생성하도록 업데이트될 수 있으며, 이로 인한 2배의 추론 비용을 우회할 수 있음을 보여준다.

arXiv:2607.02291v1cs.LG

Optimizing Visual Generative Models via Distribution-wise Rewards

시각적 생성 모델의 강화학습(RL) 파인튜닝에서 샘플 단위 보상 함수가 초래하는 보상 해킹(reward hacking)과 모드 붕괴 문제를 해결하기 위해, FID를 분포 단위 보상 신호로 활용하는 새로운 프레임워크를 제안한다. 생성된 참조 집합의 일부만 교체하는 subset-replace 전략으로 계산 비용을 줄이고, SDE 기반 학습과 ODE 기반 추론 간의 불일치를 해소하기 위해 사후 모델 병합 계수를 RL로 최적화하여 SiT의 FID-50K를 8.30→5.77, EDM2는 3.74→3.52로 개선했다.

arXiv:2606.18478v2cs.CV

Data-Forcing Distillation: Few-Step Video Generation에서 다양성과 충실도 복원

Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation

최근 연구는 다단계 비디오 디퓨전 모델을 효율적인 소수 단계(few-step) 학생 모델로 증류하는 데 있어 유망한 결과를 보여주었습니다. 그중 Distribution Matching Distillation (DMD)와 그 후속작인 DMD2는 우수한 생성 품질과 빠른 수렴을 달성했습니다. 그러나 역 Kullback--Leibler (KL) 목적함수의 특성상, 이러한 방법들은 샘플 다양성의 현저한 감소와 실제 비디오 외관에서 벗어난 눈에 띄는 과포화(over-saturated) 출력이라는 두 가지 지속적인 실패 모드를 보입니다. 본 연구에서는 단 한 줄의 코드 변경만으로 DMD의 다양성과 충실도를 복원하는 간단한 사후 학습(post-training) 프레임워크인 Data-Forcing Distillation (DFD)를 제안합니다. 이 방법의 핵심은 학생 모델을 실제 데이터 분포로 유도하는 교사 점수 불일치(teacher score discrepancy)로, 학생 모델을 누락된 모드로 끌어당겨 모드 붕괴(mode collapse)를 완화하고 실제 데이터에 없는 문제가 되는 모드에서 멀어지게 하여 과포화를 방지합니다. 우리는 프레임워크에 대한 심층적인 이론적 분석을 제공하고 텍스트-투-비디오(text-to-video), 이미지-투-비디오(image-to-video), 자기회귀 비디오 생성에서 우리의 접근 방식을 검증합니다. 단 100~300단계의 파인튜닝만으로 DFD는 Wan2.1-1.3B 및 Cosmos-Predict2.5-2B 모델 모두에서 다양성과 충실도를 효과적으로 복원하며, 비디오 역학과 외관을 훨씬 더 우수하게 만들어 과포화 아티팩트를 해결하고 교사 모델(teacher model)보다도 뛰어난 성능을 보입니다.