PyTorchKR Papers

최신 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23640v1cs.AI

인간에 정렬된 모델은 인간의 모델인가? 선호 정렬에서의 튜링 테스트 간극

Are Human-Aligned Models Models of Humans? A Turing-Test Gap in Preference Alignment

인간 피드백 정렬은 언어 모델을 유용한 어시스턴트로 만들었으며, 흔히 모델을 인간에 맞춘다고 설명된다. 그러나 사람들이 AI에게 선호하는 응답이, 그들 스스로 내놓을 응답과 같을 필요는 없다. 우리는 인간 선호에 대한 정렬과 인간 행동에 대한 정렬을 구분하고, 선호와 응답이 모두 전적으로 인간으로부터 나온 경우에도 인간 선호 정렬이 모델 행동을 덜 인간답게 만들 수 있음을 보인다. 우리는 이를 튜링 테스트 간극(Turing-test gap)이라 부른다. 선호 정렬이 인간 응답 분포를 보존하는 것은 제한적인 조건 하에서만 성립함을 보이고, 실제 인간 선호가 그 조건을 만족한다는 일관된 증거는 찾지 못했다. 실증적으로, 인간 응답 가능도의 손실은 선호 가중의 방향과 관계없이 그 강도가 커질수록 증가하며, 이 간극은 표준 DPO에서도 나타난다. 이러한 결과는 인간다움을 선호 정렬에서 자연스럽게 따라온다고 가정하는 것이 아니라, 정렬의 명시적 차원으로 확립한다.

arXiv:2607.19824v1cs.AI

LLM 선호 정렬을 위한 더 나은 사고 보상

Rewarding Better Thinking for LLM Preference Alignment

대규모 언어 모델(LLM) 선호 정렬은 다양한 사용자 지시에 걸쳐 모델을 인간 선호에 맞게 최적화하는 것을 목표로 한다. 강화학습(RL)은 이 목표를 위한 주요 사후 학습 접근법이 되었지만, 기존 프록시 보상은 종종 결과 수준(outcome-level)으로, 주로 최종 응답을 평가하면서 추론 궤적(reasoning trajectory)에 대한 제한적인 지침만 제공한다. 이로 인해 여러 응답이 유사한 최종 점수를 받을 때 크레딧 할당(credit assignment)이 거칠어질 수 있으며, 궤적 수준의 선호가 불충분하게 명시된다. 이 한계를 해결하기 위해, 우리는 RL 기반 선호 정렬을 위한 과정 지향적(process-oriented) 보상인 Thinking Checklist Reward(TCR)를 제안한다. TCR은 선호 쌍을 샘플별 사고 체크리스트로 변환하고, 이를 사용하여 생성된 추론 trace가 선호가 함의하는 고려사항을 다루는지 평가한다. 결과 수준 감독과의 중복을 줄이기 위해, TCR은 결과 보상에서 예측 가능한 것을 넘어서는 상보적인 사고 잉여(thinking surplus)를 분리하기 위해 지수 이동 평균(EMA) 잔차(residual) 공식화를 추가로 도입한다. 세 가지 모델 계열의 다섯 모델에 대한 실험은 TCR이 다양한 벤치마크에서 정렬 성능을 일관되게 향상시킴을 보여주며, ablation은 EMA 기반 잔차 공식화와 샘플별 체크리스트 감독의 중요성을 추가로 검증한다.

arXiv:2607.03960v1cs.CV

Reward Lightning: 동원성 선호도 증류를 통한 빠른 비디오 생성

Reward Lightning: Fast Video Generation via Homologous Preference Distillation

비디오 확산 모델에서 선호도 정렬과 증류 가속을 동시에 달성하는 것은 여전히 미해결 과제로 남아 있다. 기존 방법들은 두 목표를 불일치하는 표현 공간에서 최적화하여, 하나의 목표를 개선하면 다른 목표가 저하되는 경우가 많다. 이를 극복하기 위해, 우리는 단일 공유 표현 내에서 비디오 확산 모델을 정렬하고 가속화하는 통합 프레임워크인 Reward Lightning을 제안한다. 핵심 원리는 동원성(homology)으로, 두 목표 모두 동일한 잠재 특징에서 평가되어 분리된 표현에서 최적화할 때 발생하는 그래디언트 충돌을 완화한다. 기반 구성 요소로서, 먼저 픽셀 공간으로 디코딩하지 않고 잠재 공간에서 직접 비디오를 채점하는 잠재 보상 모델(LRM, Latent Reward Model)을 도입한다. LRM을 기반으로, 동원성 선호도 증류(HPD, Homologous Preference Distillation)는 이 공유 백본을 재활용하여 적대적 증류와 선호도 정렬을 공동으로 수행하며, 충실하고 잘 정렬된 소수 단계 생성기를 산출한다. 광범위한 실험을 통해 LRM이 픽셀 수준 및 잠재 수준 보상 모델 기준선을 선호도 정확도에서 각각 $11.0\%$ 및 $14.7\%$ 능가하며, Reward Lightning이 단 $1$~$4$ 단계만으로 고품질 비디오를 생성하여 평균 VBench 점수를 $2.1\%$ 향상시키면서 텍스트 정렬, 모션 품질, 시각적 품질에서 선두를 달리는 것을 보여준다. 프로젝트 페이지: https://reward-lightning.github.io.

arXiv:2607.01802v1cs.CL

On the Limits of Steering Vectors for Preference-Aligned Generation

스티어링 벡터(steering vector)를 활용한 제어 텍스트 생성의 한계를 PLUME 벤치마크에서 36가지 선호 특성, 두 가지 태스크 전이(task transfer), 최대 4개 벡터 조합 실험을 통해 체계적으로 분석한 연구로, Qwen2.5-7B-Instruct와 Llama3.1-8B-Instruct에서 특성 유형별 조정 효과 편차가 크고 다중 벡터 합성 시 특성 표현과 출력 일관성이 모두 저하됨을 밝혔다.

arXiv:2606.30339v1cs.CL

REAR: 보상 분해를 통한 테스트 시간 선호도 재정렬

REAR: Test-time Preference Realignment through Reward Decomposition

다양한 사용자 선호도에 맞게 대규모 언어 모델(LLM)을 정렬하는 것은 중요하지만 어려운 과제다. 사후 학습(post-training) 방법은 모델을 특정 요구에 맞게 적응시킬 수 있지만, 비용이 많이 드는 데이터 수집과 추가 학습이 필요한 경우가 많다. 테스트 시간 스케일링(TTS)은 학습이 필요 없는 효율적인 대안을 제시하지만, 그 적용은 응답의 정확성을 쉽게 판단할 수 있는 수학 및 코딩과 같은 검증 가능한 도메인에 주로 한정되어 왔다. TTS를 선호도 정렬(preference alignment)로 확장하기 위해, 우리는 이 과제를 재정렬 문제로 모델링하는 새로운 프레임워크를 제안한다. 기본 모델이 명시된 선호도에 충분히 정렬되지 못하는 경우가 많기 때문이다. 핵심 아이디어는 기저 보상 함수를 두 가지 구성 요소, 즉 질문과 관련된 항과 선호도 정보와 관련된 항으로 분해하는 것이다. 이를 통해 두 보상 항의 비율을 선택적으로 재조정하는 재정렬 보상(REAlignment Reward, REAR)을 도출한다. 나아가 REAR가 토큰 수준 정책 로그 확률의 선형 결합으로 표현될 수 있음을 보여, 계산 효율적이며 best-of-$N$ 샘플링 및 트리 탐색과 같은 다양한 TTS 알고리즘과 쉽게 통합할 수 있음을 제시한다. 실험 결과, 다른 테스트 시간 기준선과 비교하여 REAR는 다양한 사용자 요구 하에 선호도 정렬 과제에서 확장 가능한 테스트 시간 재정렬을 가능하게 할 뿐만 아니라, 적절한 선호도 설정 하에서 수학 및 시각적 과제에도 일반화됨을 보여준다.

arXiv:2606.28294v1cs.LG

Democratic ICAI: 토론을 통해 선호에서 스티어링 원칙 도출

Democratic ICAI: Debating Our Way to Steering Principles from Preferences

선호 기반 정렬(alignment)은 종종 인간 판단의 근거가 되는 추론을 포착하는 데 어려움을 겪는다. 많은 평가는 여러 상호작용하는 기준에 의존하지만, 쌍별(pairwise) 레이블은 선호를 형성하는 고려 사항보다는 최종 선택만을 드러낸다. 역헌법 AI(Inverse Constitutional AI, ICAI)는 선호를 자연어 원칙으로 요약함으로써 의사결정에서 해석 가능성을 높이지만, 단일 패스(single-pass) 설명은 복잡한 결정에 수반되는 많은 미묘한 차이를 놓친다. 우리는 구조화된 페르소나(persona) 토론을 통해 여러 경쟁적 근거를 수집하는 새로운 접근법인 Democratic ICAI를 제안하며, 이는 각 비교에 영향을 미치는 요인에 대한 더 넓고 표현력 있는 설명을 제공한다. 이러한 더 풍부한 신호로부터 더 명확하고 포괄적인 스티어링 원칙을 도출하고, 이를 대규모 언어 모델(LLM) 기반 및 의사결정 트리(decision-tree) 심판을 모두 통해 의사결정 모델링을 안내하는 데 사용한다. MuCE-Pref 및 LiTBench라는 창작 선호 벤치마크에서 여러 창작 작업 범주에 걸친 실험 결과, Democratic ICAI가 더 충실한 선호 구조를 산출함을 보여준다. 토론적(deliberative) 프롬프팅 및 원칙 기반 기준선 대비 작업 전반의 평균 선호 예측을 개선하며, LLM 주석자들이 더 선호하는 헌법(constitution)을 생성한다.

arXiv:2606.26530v2cs.CL

DiARC: 긍정 샘플과 부정 샘플 구분이 대규모 언어 모델의 ARC 유사 추론 능력 향상에 도움을 준다

DiARC: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)에는 제한된 그리드 샘플로부터 패턴을 요약하고 출력 그리드를 예측해야 하는 과제들이 포함되어 있다. 최근 많은 언어 모델 기반 접근법들이 이를 텍스트 기반 추론 과제로 변환하려고 시도해 왔다. 그러나 오픈소스 모델 기반 방법들은 일반적으로 만족스럽지 못한 결과를 보였고, 폐쇄형 모델에 의존하는 방법들은 비용이 너무 크다. 현재의 노력은 주로 데이터 증강, 즉 보다 포괄적인 지도 미세조정을 위한 ARC 유사 데이터 구축에 집중되어 있다. 본 연구에서는 ARC 유사 문제를 해결하기 위해서는 긍정 샘플 지도뿐만 아니라 부정 샘플을 구분함으로써 모델 추론을 개선할 수 있는 능력도 필요하다고 주장한다. 이를 위해 선호 정렬(preference alignment)의 아이디어를 차용하여, 선호 쌍을 구성해 모델이 이를 구분할 수 있게 하는 방법인 DiARC를 제안한다. 구체적으로 부정 샘플을 구성하는 세 가지 방법을 제안하는데, 여기에는 출력 수준의 시각적 변환, DSL 수준의 규칙 역전, 과제별 규칙 편집이 포함된다. 이렇게 생성된 부정 샘플은 관찰된 예시는 변경하지 않은 채 유익한 근접 오답(near-miss) 대안을 제공한다. 여러 ARC 유사 벤치마크에 걸친 실험 결과, DiARC는 기준선 모델 대비 성능을 일관되게 향상시킴을 보여준다. 코드는 https://github.com/szu-tera/DiARC에서 공개되었다.

arXiv:2606.24004v1cs.CL

Towards Spec Learning: Inference-Time Alignment from Preference Pairs

간단한 사용자 지시와 소량의 선호 쌍을 자연어 명세(specification) 프롬프트로 컴파일해 추론 시점에 대규모 언어 모델(LLM)을 조건화하는 spec learning 프레임워크를 제안하며, 기본 모델 파라미터를 갱신하지 않아도 선호 신호가 밀집된 전문 도메인에서는 직접 선호 최적화(DPO)보다 나은 응답을 내는 경우가 많다. 생성된 명세는 사람이 읽을 수 있어 선호 신호를 해석 가능하고 투명하게 드러낸다.

arXiv:2606.22652v1cs.LG

선호 정렬을 위한 마르코프 체인 접근법

A Markov Chain Approach to Preference Alignment

우리는 쌍wise 인간 선호로부터 생성 모델을 정렬하는 기본적인 접근법인 Markov Chain from Human Feedback(MCHF)를 제안한다. 비교를 스칼라 보상으로 축소하는 인간 피드백 강화학습(RLHF)이나, KL 정규화 minimax 최적화를 통해 쌍wise 효용을 보존하는 Nash Learning from Human Feedback(NLHF)과 달리, MCHF는 쌍wise 선호를 직접 사용하여 모델 출력 위의 전이 메커니즘을 정의한다. $y$가 $x$보다 선호되는 정도를 정량화하는 쌍wise 효용 $U(x,y)$와 기준 확률 분포 $μ_{\mathsf{ref}}$가 주어졌을 때, 마르코프 커널 $\mathsf{P}(x, dy)\propto \exp(U(x,y))μ_{\mathsf{ref}}(dy)$를 정의하고, $μ_{\mathsf{ref}}$에서 시작하는 마르코프 체인을 반복적 정렬 절차로 본다. MCHF가 정상 분포에 기하급수적으로 빠르게 수렴함을 보이며, 수렴 속도는 쌍wise 효용의 비전이적 구조를 정량화하는 반노름 $\|U\|_\oplus=\inf_{g,f\in L^\infty(μ_{\mathsf{ref}})}\|U-g\oplus f\|_\infty$에 의해 결정된다. 또한 NLHF를 위한 mirror-descent 알고리즘이 유사한 구조 적응적 수렴 보장을 만족함을 보인다. 마지막으로, 섭동 분석을 통해 $\|U\|_\oplus$가 작을 때 MCHF와 NLHF가 RLHF 해법 주변에서 1차까지 일치함을 증명하며, 이는 정렬에 대한 보상 기반, 게임 이론적, 마르코프적 접근법의 통합적 관점을 제공한다. 특히 MCHF/NLHF 균형에 수렴하는 두 자연스러운 알고리즘에 대해, MCHF와 NLHF의 첫 번째 단계가 열 합 보상 $\hat{f}(y)=\int μ_{\mathsf{ref}}(dx) U(x, y)$에 기반한 RLHF 해법을 복원함을 보이며, 두 번째 반복부터는 두 알고리즘 모두 잔차 $U-(-\hat f)\oplus \hat f$의 동일한 선형 함수형을 포함하며, 이는 쌍wise 효용 $U$의 비전이적 구조를 포착한다.

arXiv:2606.21498v1cs.AI

GRPO 자기회귀 텍스트-이미지 사후 학습에서 성능과 다양성의 균형

Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training

자기회귀(autoregressive) 텍스트-이미지(T2I) 생성은 최근 빠르게 발전했지만, 생성된 이미지를 인간 선호에 정렬(alignment)하는 것은 여전히 어려운 과제로 남아 있다. GRPO 스타일의 온라인 강화학습은 효과적인 프레임워크를 제공하지만, 기존 방법들은 정책 최적화에 직접적인 영향을 미침에도 불구하고 일반적으로 참조 정책(reference policy) 발산(divergence)을 고정값으로 취급한다. 우리는 GRPO 스타일 자기회귀 T2I 정렬을 위해 순방향 KL, 역방향 KL, JS 발산(divergence)을 포괄하는 통합 f-발산(f-divergence) 프레임워크 내에서 이 간과된 요인을 연구한다. 체계적인 이론 분석을 통해 서로 다른 발산이 토큰 수준 업데이트를 각기 다른 방식으로 재형성함을 밝혔다. 특히 사용된 샘플링 토큰 셰이핑(sampled-token shaping) 형태 하에서, JS 정규화는 큰 이탈을 억제하면서도 참조 정책 대비 균일(uniform) 바이어스를 완화함으로써 유리한 절충을 이룬다. LlamaGen과 Janus-7B에 대한 광범위한 실험 결과, JS 발산은 유리한 생성 다양성을 유지하면서 대부분의 평가 지표에서 최고 또는 매우 경쟁력 있는 최적화 성능을 달성함을 보여준다. 코드는 https://github.com/tuoyou-hao/BPD-GRPO 에서 이용할 수 있다.

arXiv:2602.09802v2cs.AI

대규모 언어 모델은 조망을 위해 추가 비용을 지불할까? 주관적 선택에서 지불 의사(WTP) 추론

Would a Large Language Model Pay Extra for a View? Inferring Willingness to Pay from Subjective Choices

대규모 언어 모델(LLM)이 여행 보조 및 구매 지원과 같은 애플리케이션에 점점 더 많이 배포됨에 따라, 객관적으로 정답이 존재하지 않는 상황에서 사용자를 대신하여 주관적 선택을 해야 하는 경우가 많습니다. 본 연구에서는 모델에 선택 딜레마를 제시하고 다항 로짓 모델을 사용하여 응답을 분석함으로써 암시된 지불 의사(WTP) 추정치를 도출하여, 여행 보조 맥락에서 LLM의 의사 결정을 연구합니다. 이러한 WTP 값은 이후 경제학 문헌의 인간 벤치마크 값과 비교됩니다. 기준선(baseline) 설정 외에도, 사용자의 과거 선택에 대한 정보 제공 및 페르소나 기반 프롬프트를 포함하여 더 현실적인 조건에서 모델 행동이 어떻게 변화하는지 조사합니다. 연구 결과에 따르면, 더 큰 규모의 LLM에 대해서는 의미 있는 WTP 값을 도출할 수 있지만, 속성 수준에서는 체계적인 편차도 나타납니다. 또한, 전반적으로 인간의 WTP를 과대평가하는 경향이 있으며, 특히 비싼 옵션이나 비즈니스 지향 페르소나가 도입될 때 그러한 경향이 두드러집니다. 저렴한 옵션에 대한 이전 선호도를 조건으로 모델을 설정하면 인간 벤치마크에 더 가까운 가치 평가가 산출됩니다. 전반적으로 본 연구 결과는 주관적 의사 결정 지원을 위해 LLM을 사용하는 것의 잠재력과 한계를 모두 강조하며, 실제로 이러한 시스템을 배포할 때 신중한 모델 선택, 프롬프트 설계, 사용자 표현의 중요성을 시사합니다.

arXiv:2605.15980v3cs.CV

Flash-GRPO: 단일 단계 정책 최적화를 통한 비디오 디퓨전의 효율적 정렬

Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization

그룹 상대 정책 최적화(Group Relative Policy Optimization)는 비디오 디퓨전 모델을 인간 선호도에 정렬하는 데 필수적인 기술로 부상했으나, 치명적인 계산 병목 문제에 직면해 있습니다. 140억 매개변수 모델을 학습하는 데 일반적으로 실험당 수백 GPU 일수가 소요되기 때문입니다. 기존의 효율화 방법들은 학습 타임스텝에 대한 슬라이딩 윈도우 서브샘플링을 통해 비용을 절감하지만, 근본적으로 최적화를 저해하여 심각한 불안정성을 보이고 전체 궤적(full trajectory) 성능에는 도달하지 못합니다. 본 논문에서는 제한된 계산 비용 하에서도 정렬 품질 측면에서 전체 궤적 학습을 능가하면서 학습 효율성을 크게 향상시키는 단일 단계 학습 프레임워크인 Flash-GRPO를 제안합니다. Flash-GRPO는 두 가지 핵심 과제를 해결합니다. 첫째, 등시간 그룹화(iso-temporal grouping)는 프롬프트 수준의 시간적 일관성을 강제하여 타임스텝에 의해 혼재된 분산을 제거하고, 정책 성능을 타임스텝 난이도로부터 분리합니다. 둘째, 시간적 그래디언트 보정(temporal gradient rectification)은 타임스텝 간에 그래디언트 크기의 큰 불일치를 초래하는 시간 의존적 스케일링 인자를 상쇄합니다. 13억에서 140억 매개변수 모델에 대한 실험을 통해 Flash-GRPO의 효과를 검증하였으며, 일관된 안정성과 최첨단 정렬 품질을 유지하면서 상당한 학습 가속 효과를 입증했습니다.

arXiv:2509.23982v2cs.CL

잔차 기반 모델 조종을 통한 선호도 정렬 대규모 언어 모델

Toward Preference-aligned Large Language Models via Residual-based Model Steering

학습 없이 대규모 언어 모델(LLM)의 잔차 스트림(residual streams)에서 추출한 가벼운 조정 벡터를 추론 시 적용하여 선호도 정렬을 수행하는 PaLRS를 제안한다. 이 방식은 적은 데이터로 수학 추론 및 코드 생성 벤치마크(benchmark)에서 기존 최적화 방식보다 우수한 성능을 보이며 범용 성능을 유지한다.