PyTorchKR Papers

최신 논문

총 44편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11005v1cs.AI

서사적 래핑이 대규모 언어 모델(LLM) 거절에 미치는 영향: 다국어 벤치마크 및 방어 기법

How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense

안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.

arXiv:2603.13228v3cs.LG

PhysMoDPO: 선호도 최적화를 통한 물리적으로 타당한 휴머노이드 모션 생성

PhysMoDPO: Physically-Plausible Humanoid Motion with Preference Optimization

텍스트 조건부 인간 모션 생성 분야의 최근 발전은 대규모 인간 모션 데이터로 학습된 확산 모델(diffusion model)에 의해 크게 주도되었습니다. 이러한 발전에 힘입어, 최근 연구들은 확산 모델로 생성된 모션을 실행 가능한 궤적으로 변환하는 전신 제어기(WBC, Whole-Body Controller)를 적용하여 캐릭터 애니메이션 및 실제 로봇 제어로 전이하고자 시도하고 있습니다. WBC가 생성한 궤적은 물리 법칙을 준수하게 되지만, 원래 모션과 상당한 편차를 보일 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 직접 선호 최적화 프레임워크인 PhysMoDPO를 제안합니다. 발 미끄러짐 패널티와 같은 수작업 기반의 물리 인지 휴리스틱에 의존하던 기존 연구와 달리, 우리는 WBC를 학습 파이프라인에 통합하고 WBC의 출력이 물리 법칙과 원래의 텍스트 지시사항을 모두 준수하도록 확산 모델을 최적화합니다. PhysMoDPO를 학습시키기 위해 물리 기반 및 작업별 보상을 배포하고, 이를 활용해 합성된 궤적에 선호도를 부여합니다. 텍스트-투-모션 및 공간 제어 작업에 대한 광범위한 실험을 통해, PhysMoDPO가 시뮬레이션 환경의 로봇에서 물리적 사실성과 작업 관련 지표 모두에서 일관된 성능 향상을 보임을 입증합니다. 나아가 PhysMoDPO가 시뮬레이션 내 제로샷(zero-shot) 모션 전이와 실제 G1 휴머노이드 로봇 배포에 적용되었을 때 상당한 개선을 가져옴을 입증합니다.

arXiv:2609.39076v2cs.AI

스택켈버그 게임을 통한 다중 대규모 언어 모델(Multi-LLM) 협력적 정렬

Multi-LLM Collaborative Alignment via Stackelberg Games

언어 모델 풀은 서로의 응답으로부터 학습함으로써 협력하고 집단적으로 향상될 수 있습니다. 이러한 상호작용은 학습(training) 중에 사용되는 인스트럭션에 따라 달라집니다. 기존 방법들은 대개 인스트럭션을 균일하게 샘플링하지만, 모델(model)이 발전함에 따라 그 유용성은 변화할 수 있습니다. 즉, 한때 모델들의 응답 품질이 달랐던 인스트럭션이 나중에는 모두 동일하게 잘 답변될 수 있는 반면, 이전에는 어려웠던 인스트럭션이 유용한 학습 신호를 제공하기 시작할 수도 있습니다. 본 논문에서는 인스트럭션 선택을 적응형 커리큘럼으로 전환하는 게임 이론 기반의 리더-팔로워 프레임워크인 스택켈버그 정렬(Stackelberg Alignment)을 제안합니다. EXP3 밴딧이 리더 역할을 수행하여 인스트럭션 전반에 고정된 샘플링 예산을 할당하고, 인스트럭션 난이도와 응답 변별력을 결합한 보상(reward)을 사용하여 샘플링 분포를 업데이트합니다. 언어 모델들은 팔로워 역할을 하여 선택된 인스트럭션에 응답하고, 서로의 응답을 평가하며, 그 결과로 도출된 선호도 신호로부터 DPO 또는 GRPO를 통해 학습합니다. 이 프레임워크는 신뢰할 수 있고 경쟁적인 모델 상호작용을 지원하기 위해 Elo 스타일의 평판 가중치 피어 평가와 평판 기반 상대 매칭을 사용합니다. 과학적 발견, 추론(inference), 코드, 인스트럭션 준수, 지식을 아우르는 12개 벤치마크와 3개의 이종 모델 풀에 걸친 실험 결과, Stackelberg Alignment는 세 가지 다양한 모델 풀 전반에서 가장 높은 매크로 평균을 달성하여 가장 강력한 학습 시간 기준선(baseline)을 최대 7.4%, 최고의 정적 추론 기준선을 12~25% 능가함을 보여줍니다. 분석을 통해 적응형 리더가 가장 유익한 인스트럭션에 대결을 집중시킴을 확인하였으며, 소거 연구를 통해 평판 가중 평가와 평판 기반 매칭 모두 다중 LLM 진화의 효과를 향상시킨다는 점을 보여줍니다.

arXiv:2609.08634v2cs.LG

Suan: 대규모 언어 모델의 직접 선호도 안전성 정렬 교정

Suan: Rectifying Direct Preference Safety Alignment in Large Language Models

도움이 되면서도 무해한 응답을 제공하기 위해서는 대규모 언어 모델(LLM)에 강력한 안전 가드레일을 통합하는 것이 필수적입니다. 독점 상용 시스템은 신뢰할 수 있는 안전 제어 기능을 보여주지만, 그 기저의 방법론과 트레이드오프는 대부분 공개되지 않았습니다. 사후학습(post-training)을 거친 모델 변형들이 과도한 거부(over-refusal)와 일반적인 품질 저하를 자주 겪기 때문에, 공개 가중치(open-weight) 모델에서 유사한 수준의 보안을 달성하는 것은 지속적인 난제로 남아 있습니다. 이러한 단점을 극복하기 위해, 본 논문에서는 새로운 선호도 최적화 알고리즘인 Suan을 소개합니다. 기존 방법과 달리, 표준 변분 유도(variational derivation) 과정을 우회하여 최적화 목표를 그래디언트(gradient) 수준에서 직접 정식화합니다. 그 결과, 더 해석 가능하고 견고한 학습(training) 역학을 얻을 수 있습니다. 경쟁력 있는 다양한 베이스라인 및 벤치마크에 걸친 광범위한 평가를 통해, Suan이 응답의 유용성을 온전히 보존하면서도 우수한 안전성 정렬(safety alignment)을 달성함을 입증합니다.

arXiv:2606.01382v2cs.LG

반복적 내시 선호도 최적화를 위한 효율적인 탐험

Efficient Exploration for Iterative Nash Preference Optimization

선호도 정렬(preference alignment)은 대규모 언어 모델(LLM)을 개선하는 데 핵심적이지만, 인간의 선호도가 비이행적(non-transitive)일 때 보상(reward) 기반 정식화는 제한적일 수 있습니다. 인간 피드백 기반 내시 학습(NLHF)은 정렬을 선호도 게임으로 모델링하고 내시 균형(Nash equilibrium)을 탐색함으로써 이러한 한계를 해결합니다. 그러나 확장 가능한 NLHF의 학습 이론적 기초는 여전히 제한적입니다. 기존의 후회(regret) 보장은 명시적인 선호도 모델 추정과 미니맥스 오라클(minimax oracle)에 의존하는 반면, 더 단순한 반복적 방법들은 이러한 보장이 부족합니다. 본 연구에서는 온라인 반복적 NLHF를 연구하고 탐험(exploration)을 주요 장애 요인으로 식별합니다. 먼저, 표준 반복적 NLHF가 역 KL 정규화(regularization) 매개변수(parameter)에 대해 지수적 의존성을 유발할 수 있음을 보여줌으로써 정책 업데이트를 통한 암묵적 탐험이 불충분할 수 있음을 입증합니다. 그런 다음 SFT 유형의 정규화와 적대적 정책 탐험을 결합한 탐험적 내시 선호도 최적화(ENPO)를 제안합니다. ENPO는 미니맥스 오라클이나 명시적인 선호도 모델 추정 없이도 이러한 지수적 의존성을 제거합니다. 나아가 추가적인 오라클을 활용하여 $O(\log T)$ 후회 한계를 달성하는 Bonus-Explorer ENPO(BENPO)를 소개합니다. 마지막으로, LLM 미세조정(fine-tuning)을 위한 ENPO의 실용적인 변형인 Direct ENPO(DENPO)를 개발합니다. Llama-3-8B-Instruct를 사용한 실험을 통해 여러 벤치마크 전반에서 평가된 RLHF 및 NLHF 베이스라인 대비 일관된 성능 향상을 입증합니다.

arXiv:2610.02568v1cs.AI

다원적 선호도 최적화를 통한 사회적 아첨 완화

Mitigating Social Sycophancy via Pluralistic Preference Optimization

인간관계에 대한 조언을 비롯한 개인적 조언은 현재 생성형 AI의 가장 흔한 사용 사례 중 하나로 자리 잡았습니다. 그러나 언어 모델(LM)은 아첨(sycophancy) 현상을 보입니다. 즉, 사람보다 훨씬 더 자주 사용자의 말에 동조하며, 이는 갈등 이후 사람들이 과도한 확신을 갖게 하거나 관계를 개선하려는 의지를 약화시킬 수 있습니다. 아첨을 완화하기 위한 이전 연구들은 정답(ground truth)과 대조해 응답을 검증할 수 있는 사실적 환경에 초점을 맞추어 왔으며, 정답이 존재하지 않는 개인적 조언과 같은 사회적 아첨 완화는 단순한 프롬프트 기법과 제한된 효과를 지닌 사후 학습 방식에 의존해 왔습니다. 본 연구의 핵심 통찰은 사회적 아첨이 부분적으로 언어 모델이 사용자에게 지나치게 집중하여 사용자의 행동으로 영향을 받는 다른 이해관계자의 관점을 고려하지 못하기 때문에 발생한다는 점입니다. 이 문제를 해결하기 위해 저자들은 다원적 선호도 최적화(Pluralistic Preference Optimization, PlurPO)를 제안합니다. 대인 갈등을 설명하는 입력이 주어지면, LM은 관련 이해관계자들을 식별 및 시뮬레이션하고, 모든 이해관계자가 수용할 수 있는 응답을 선호하고 생성하도록 학습됩니다. PlurPO는 정답 레이블 없이 모델이 자체 출력에 대해 생성한 신호만을 사용합니다. PlurPO는 기존 방식과 비교하여 4개의 데이터셋과 4개의 모델 제품군 전반에서 사회적 아첨을 실질적으로 감소시킵니다. 예를 들어 사용자의 행동을 지지해서는 안 되는 유해 의도 진술의 경우, PlurPO는 4개 모델 전반에서 지지율을 평균 89% 줄입니다. 사람의 응답 수준으로 지지율을 맞추는 것이 목표인 일반적인 조언 질문에서는 평균 격차를 17.8%에서 8.0%로 절반 이상 줄입니다. 또한 8B 모델을 위해 PlurPO로 구축된 선호도 데이터셋은 더 큰(32B) 모델의 아첨을 완화하는 데에도 효과적으로 전이됩니다. 본 연구 결과는 관련된 다양한 관점을 시뮬레이션하는 모델 자체의 능력을 활용하여 사회적 아첨을 줄일 수 있음을 시사합니다.

arXiv:2610.00061v1cs.AI

개인화된 선호도 최적화를 위한 그래디언트 정렬 쌍 선택

Gradient-Aligned Pair Selection for Personalized Preference Optimization

대규모 언어 모델(LLM)을 개인화하려면 생성 동작을 전체적인 평균 품질이 아닌 사용자별 선호도에 정렬(alignment)시켜야 합니다. 직접 선호 최적화(DPO)는 선호도 학습을 위한 안정적인 프레임워크를 제공하지만, 개인화된 환경에서의 효과는 선호도 쌍을 어떻게 선택하느냐에 크게 의존합니다. 기존 접근 방식은 일반적으로 가능도(likelihood) 기반 극단값과 같은 휴리스틱 기준에 의존하므로, 최적화가 명시적인 사용자 효용과 분리되어 개인화 성능 저하로 이어질 수 있습니다. 본 연구에서는 기대 사용자 효용의 그래디언트와 DPO 업데이트 방향 간의 1차 상호작용을 분석하여, 개인화된 선호도 학습을 기하학적으로 정렬된 최적화 문제로 공식화합니다. 분석 결과, 오프-정책(off-policy) 샘플링 하에서 선호도 마진이 효용 그래디언트와 방향적으로 정렬될 때 DPO 업데이트가 순수한 오류 수정 신호에서 강화 형태의 업데이트로 전환됨을 확인했습니다. 이러한 관점은 쌍 선택이 선호도 최적화가 개인화를 촉진하는지 저해하는지를 좌우하는 기하학적 결정임을 보여줍니다. 이러한 통찰을 바탕으로, 에포크(epoch)별 재생성을 통해 분포 변화를 제어하면서 효용을 인지하고 기하학적으로 정렬된 쌍 선택을 수행하는 반복 알고리즘인 GAP-DPO(Geometry-Aligned Preference DPO)를 제안합니다. 개인화된 텍스트 생성 벤치마크에 대한 실험은 GAP-DPO가 표준 DPO 변형들과 비교하여 문체 충실도, 선호도 정렬 및 생성 품질을 지속적으로 향상함을 보여줍니다. 종합적으로 본 연구의 결과는 그래디언트 정렬을 개인화된 선호도 최적화를 위한 통합 원리로 확립하며, 쌍 선택이 휴리스틱 전처리 단계가 아니라 최적화 기하학의 본질적인 구성 요소임을 입증합니다.

arXiv:2609.27455v1cs.CV

잠재 진화 월드 액션 모델

Latent evolving World Action Model

월드 액션 모델(WAM)은 행동 생성과 환경 역학을 공동으로 모델링하며, 대부분 사전학습된 비디오 확산 모델(VDM) 위에 구축된다. VDM 기반 WAM에서는 관측이 먼저 VAE로 인코딩되고, 그 결과 압축 잠재(latent)가 대규모 비디오 확산 백본에서 처리되어 행동 생성에 효과적인 특징을 추출한다. 그러나 이 패러다임은 WAM 성능과 학습 비용을 대규모 비디오 생성 사전학습에 묶어 WAM의 효율성과 확장성을 제한한다. 본 논문에서는 WAM에서 시각 표현이 행동 생성에 미치는 영향을 이론적·실증적으로 조사한다. 결과에 따르면 Joint-Embedding Predictive Architecture(JEPA) 인코더의 예측 임베딩은 압축 VAE 잠재보다 행동 생성을 더 잘 지원하며, 인코더 비교에서 I-JEPA가 가장 우수했다. 이에 기반해 행동 생성을 JEPA 임베딩에 조건화하고, 비디오 확산 백본 없이 동일 공간에서 미래 임베딩을 예측해 환경 진화를 모델링하는 LeWAM을 제안한다. 또한 모방 학습(imitation learning)은 시연 행동과 맞추지만, 작은 행동 편차가 과제 성공에 크게 영향을 줄 수 있음에도 더 나은 행동과 열등한 행동을 구분하지 못함을 확인한다. 추가 환경 상호작용이나 리셋·안전에 필요한 인간 감독 없이 이 한계를 완화하기 위해, 시연에서 직접 선호 감독을 도출하는 오프라인 선호 정제 단계인 Demonstration-Guided DPO(DemoDPO)를 도입한다. 학습 가능 파라미터 0.4B만으로 LeWAM은 RoboTwin 2.0에서 평균 성공률 92.28%를 달성해 최신 VLA 및 WAM과 유사한 수준이며, 실제 조작 과제에서도 실용적 효과를 유지한다.

arXiv:2510.17881v4cs.CL

POPI: 최적화된 자연어 선호도 추론을 통한 LLM 개인화

POPI: Personalizing LLMs via Optimized Natural Language Preference Inference

대규모 언어 모델(LLM)은 개별 사용자 간의 상당한 차이에도 불구하고 일반적으로 집단 수준의 선호도에 맞춰 정렬(alignment)됩니다. 본 논문에서는 자연어 인터페이스로 연결된 두 가지 구성 요소로 문제를 분리하는 사용자 수준 개인화 프레임워크인 POPI를 소개합니다. 두 구성 요소는 이질적인 사용자 신호를 간결한 선호도 요약으로 증류(distillation)하는 공유 추론 모델과, 이 요약을 조건으로 하여 개인화된 응답을 생성하는 공유 생성 모델입니다. 두 구성 요소는 모두 통합된 선호도 최적화(preference-optimization) 목적 함수에 따라 학습(training)되며, 미분 불가능한 추론 단계는 강화학습(reinforcement learning)을 통해 처리됩니다. 이 목적 함수는 생성 모델 근사 오차와 요약의 정보성으로 분해되어, 단일 손실(loss)이 어떻게 정확한 생성과 유익한 요약을 동시에 이끌어내는지를 보여줍니다. 인터페이스가 자연어로 구성되어 있으므로, 학습된 요약은 사용자당 한 번만 추론되어 동결된 블랙박스 상용 API를 포함한 다양한 생성 모델 전반에서 재사용될 수 있습니다. 4개의 개인화 벤치마크 전반에서 POPI는 일반적으로 개인화 품질을 향상시키면서 컨텍스트 오버헤드를 최대 10배(an order of magnitude)까지 줄입니다.

arXiv:2606.13227v2cs.CL

PolyAlign: 조건부 인간 분포 정렬

PolyAlign: Conditional Human-Distribution Alignment

기존 사후학습(post-training)이 단일 전역 동작에 맞춰 인간 응답의 다양성을 억제하는 문제를 해결하기 위해, PolyAlign 프레임워크가 언어 및 대화 맥락에 따른 버킷별 인간 분포를 기반으로 제안되었다. 이는 Bucket-Aware SFT와 HDPO를 결합하여 조건부 자연스러움과 분포 충실도를 향상시키면서도 작업 유용성을 유지한다.

arXiv:2607.22649v1cs.AI

STAIF: 복잡한 지시 따르기를 위한 단계별 최적화

STAIF: A Stage-wise Optimization for Complex Instruction Following

여러 명시적 제약을 포함한 복잡한 지시를 따르는 것은 대규모 언어 모델(LLM)에게 여전히 근본적인 과제이다. DPO와 같은 기존 정렬(alignment) 방법은 전체적인 보상 신호를 최적화하여, 특히 분포 외(out-of-distribution) 또는 다중 제약 설정에서 개별 제약의 엄격한 충족을 종종 과소평가한다. 본 논문에서는 주관적(soft) 제약의 정렬과 객관적으로 검증 가능한(hard) 제약의 최적화를 분리하는 단계별 최적화 프레임워크인 STAIF를 제안한다. 1단계에서는 다중 부정 샘플을 활용한 선호 최적화를 적용하여 soft 제약에 대한 민감도를 높이고, 2단계에서는 검증 가능 보상 강화학습(RLVR)을 적용하여 hard 제약의 엄격한 준수를 강제한다. 이 방법을 뒷받침하기 위해 영어와 중국어 이중언어의 고품질 데이터셋인 STAINSTRUCT를 구축하였으며, 이는 약 31,000개의 복잡한 다중 제약 지시로 구성된다. 광범위한 분석을 통해 STAIF 설계를 검증하였으며, 강력한 베이스라인 대비 대표 벤치마크에서 최첨단 성능과 진정한 일반화를 보였다.

arXiv:2604.18239v4cs.LG

분리된 선호 최적화 역학을 향하여: 패자는 억제하고 승자는 보존

Towards Disentangled Preference Optimization Dynamics: Suppress the Loser, Preserve the Winner

선호 최적화(preference optimization)는 대규모 언어 모델(LLM)을 인간 선호에 정렬(alignment)하는 데 널리 사용된다. 그러나 많은 마진 기반 방법은 거부된 응답을 억제하려 할 때 선택된 응답까지 함께 억제하며, 서로 다른 목적 함수(objective) 전반에서 이를 방지하는 일반적인 방법은 없다. 우리는 선호 최적화에 대한 통합된 인센티브 점수(incentive-score) 분해를 통해 이 문제를 해결하며, 서로 다른 목적 함수가 동일한 국소 업데이트 방향을 공유하고 스칼라 가중치에서만 차이가 남음을 밝힌다. 이 분해는 이전에 별도의 설정에서 연구되었던 목적 함수들을 분석하기 위한 공통 프레임워크를 제공한다. 이 분해를 바탕으로 선택/거부 우도(likelihood)의 역학을 분석함으로써, 우리는 분리 밴드(disentanglement band, DB)를 식별한다. DB는 학습(training)이 원하는 경로—초기 단계 이후일 수 있지만 패자는 억제하고 승자는 보존하는 경로—를 따를 수 있는 시점을 알려 주는 간단하고 검증 가능한 조건이다. DB를 활용하여, 우리는 보상 보정(reward calibration, RC)을 제안한다. RC는 기본 목적 함수를 재설계하지 않고 선택/거부 응답에 대한 업데이트를 DB를 만족하도록 적응적으로 재조정하는 플러그앤플레이(plug-and-play) 방법이다. 실험 결과 RC가 보다 분리된 역학을 유도하며, 여러 설정에서 더 나은 다운스트림 성능이 관찰됨을 보여준다. 코드는 https://github.com/IceyWuu/DisentangledPreferenceOptimization 에서 이용할 수 있다.

arXiv:2607.20515v1cs.AI

불일치하는 인간 피드백을 고려한 신뢰도 인식 LLM 정렬

Reliability-Aware LLM Alignment from Inconsistent Human Feedback

인간 피드백 강화학습(RLHF)은 대규모 언어 모델(LLM)을 인간 선호에 정렬하는 데 핵심적이다. 그러나 그 효과는 종종 인간 주석의 고유한 불일치성과 주관성으로 인해 훼손된다. 직접 선호 최적화(DPO)와 같은 기존 선호 최적화 프레임워크는 일반적으로 주석자 간 이견이 큰 모호한 쌍을 만장일치 합의가 있는 쌍과 동일하게 취급하여, 모델이 불일치하는 감독 신호에 과적합하게 만들고 차선의 정렬로 이어진다. 본 연구에서는 불일치하는 인간 피드백의 영향을 완화하도록 설계된 견고한 프레임워크인 신뢰도 유도 선호 최적화(RGPO)를 제안한다. RGPO는 주석자 신뢰도를 추정하고 노이즈가 있는 인간 피드백으로부터 잠재적 정답 레이블을 추론하여 견고한 선호를 식별한다. 또한 주석의 합의 수준에 따라 학습 목표를 동적으로 조절하는 신뢰도 인식 일관성 최적화를 도입하여, 모델이 높은 합의의 감독 신호를 우선시하도록 한다. LLM 정렬 벤치마크에 대한 광범위한 실험 결과, RGPO는 학습 데이터의 불일치와 노이즈를 효과적으로 줄이며 널리 채택된 RLHF 기준선 대비 우수한 성능을 달성함을 보여준다. 코드와 설정은 https://github.com/GenieHuang/RGPO 에서 확인할 수 있다.

arXiv:2607.13315v2cs.CL

다국어 LLM 정렬을 위한 선호도 메타학습

Meta-Learning Preferences for Multilingual LLM Alignment

언어 간 인간 선호도 데이터의 불균등한 가용성은 다국어 환경에서 대규모 언어 모델(LLM)을 정렬하는 데 상당한 도전 과제를 제기한다. 저자원 언어 정렬에서 충분한 데이터가 부족한 문제를 해결하기 위해, 우리는 인간 피드백 강화학습(RLHF)과 직접 선호 최적화(DPO)를 위한 메타학습 프레임워크를 제안한다. 다른 언어의 선호도 데이터를 활용하여, 우리 프레임워크는 최소한의 데이터로 목표 언어에 효과적으로 적응할 수 있는 전이 가능한 초기화를 학습한다. 우리는 메타 보상 모델링과 메타 정책 최적화 설정 모두에 대해 이론적 보장을 제공하고, 다국어 벤치마크에서 우리 접근법의 효과를 실증적으로 입증한다. 극히 저자원 환경에서 목표 언어 선호도 샘플이 단 100개뿐인 경우에도, 우리 접근법은 기준선 방법 대비 최대 28%의 승률 개선을 달성하며, 여러 목표 언어와 모델 규모에서 기준선을 일관되게 능가한다. 우리 접근법은 메타학습 언어의 다양한 조합과 목표 언어로부터의 언어적 거리 변화에 걸쳐 이러한 이점을 유지한다.

arXiv:2607.19962v1cs.AI

EvoThink: 자기 가지치기와 아하 모멘트 선호 최적화를 통한 대규모 추론 모델의 사고 진화

EvoThink: Evolving Thinking in Large Reasoning Models via Self-Pruning and Aha-Moment Preference Optimization

대규모 추론 모델(LRM)은 중복된 검증 단계로 인해 과도한 사고(overthinking) 문제가 자주 발생한다. 과도한 사고를 완화하기 위한 기존 접근법들, 예를 들어 빠른-느린 사고 전환(fast-slow thinking switching)과 추론 궤적 압축(reasoning trajectory compression)은 LRM의 추론 과정 내 유익한 단계와 중복 단계를 세밀하게 구분하지 못하며, 따라서 효율성을 추구하는 과정에서 추론 능력을 저하시킬 수 있다. 추론 효율성과 능력을 동시에 향상시키기 위해, 우리는 중복 검증을 줄이고 새로운 추론 경로의 탐험을 장려하는 프레임워크 EvoThink를 제안한다. EvoThink는 두 가지 핵심 구성 요소로 이루어진다: 반복적으로 중복 추론 단계를 가지치기하고 간결한 궤적에 대해 자기 학습(self-trains)하는 비지도 방법인 자기 가지치기 학습(Self-Pruning Training, SPT); 그리고 유전 알고리즘(genetic algorithms)에서 영감을 받아 가치 있는 실패 추론 시도를 식별하고, 잘못에서 올바름으로의(from-wrong-to-right) 아하 모멘트(aha-moment) 데이터를 합성하며, 모델이 이 추론 패턴을 내재화하도록 최적화하는 아하 모멘트 선호 최적화(Aha-Moment Preference Optimization, AMPO). 수학적 추론 및 코드 생성 벤치마크에 걸친 광범위한 평가 결과, EvoThink는 추론 시 토큰 사용량을 상당히 줄일 뿐만 아니라 LRM의 추론 능력도 향상시킴을 보여준다.

arXiv:2607.19371v1cs.AI

표현 정렬을 통한 소크라테스식 튜터의 스캐폴딩 붕괴 완화

Mitigating Scaffolding Collapse in Socratic Tutors via Representation Alignment

대규모 언어 모델(LLM) 기반 소크라테스식 튜터는 다중 턴 질문을 통해 학생을 점점 더 많이 안내하지만, 스캐폴딩 붕괴(scaffolding collapse)를 겪을 수 있다: 지속적인 학생 압력 하에서 튜터가 점차 안내형 탐구를 포기하고 해답을 직접 공개한다. 기존 방어 방법은 주로 프롬프팅, 선호 최적화, 또는 필터링을 통해 관찰 가능한 응답을 제약하지만, 궤적 수준의 붕괴에 앞서는 내부 표현의 표류는 대체로 다루지 않는다. 우리는 Scaffold-Preserving Representation Alignment를 제안한다. 이는 두 단계 프레임워크로, 먼저 지도 미세조정으로 소크라테스식 튜터를 워밍업한 다음, 궤적 가중 직접 선호 최적화와 동결된 참조 상태에 앵커링된 마진 보존 표현 손실을 결합한다. 우리 방법은 대화 턴 전반에 걸쳐 스캐폴딩을 보존하는 은닉 상태와 붕괴를 유발하는 은닉 상태 사이의 분리를 유지하도록 설계되었다. 우리는 다섯 STEM 분야와 다섯 가지 레드팀 테스팅(red-teaming) 공격 전략에서 방법을 평가한다. Qwen3-8B에서 우리 방법은 붕괴율(Collapse Rate)을 32%로 낮추고, 평균 붕괴 시작 시점을 9턴 이후로 지연시키며, 과도한 거부(over-refusal)를 낮은 수준으로 유지한다. 이는 표현 수준 정렬이 우리 레드팀 테스팅 프로토콜 하에서 장기 소크라테스식 튜터링의 견고성을 개선할 수 있음을 시사한다.

arXiv:2607.13430v1cs.CL

생의학 데이터-텍스트 생성을 위한 소형 언어 모델의 사후 학습 정렬 탐색: 의약품 설명서 사례 연구

Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet

복잡한 생의학 데이터를 환자 친화적인 서술로 변환하는 것은 현대 생의학 정보학의 핵심이다. 본 연구는 전문화된 생의학 데이터-텍스트 생성 작업에서 소형 언어 모델(SLM)을 학습하는 것에 대한 비교 분석을 제시한다. 의약품 패키지 설명서 데이터셋에서 Qwen 기반 SLM에 대해 지도 미세조정(SFT), 직접 선호 최적화(DPO), 오즈비 선호 최적화(ORPO), 그룹 상대 정책 최적화(GRPO) 등 널리 채택된 사후 학습 방법을 탐색한다. 데이터셋 간 일반화 가능성을 평가하기 위해 openFDA에서 약품 라벨 데이터도 수집했다. ROUGE와 같은 표준 어휘 중복 지표와 의미 유사도 척도를 모두 사용하여 모델을 평가한다. 실험 전반의 결과는 (1) 정렬된 SLM이 GPT-5와 같은 독점 모델보다 우수한 성능을 보인다, (2) ORPO가 SFT 기준선보다 우수하다, (3) GRPO가 GPT-5를 포함하여 테스트된 정렬 방법 중 가장 견고한 데이터셋 간 성능을 보인다는 것을 보여준다.

arXiv:2510.26707v2cs.CL

가치 표류: LLM 사후 학습 중 가치 정렬 추적

Value Drifts: Tracing Value Alignment During LLM Post-Training

대규모 언어 모델(LLM)이 사회에서 점점 더 중요한 역할을 차지함에 따라, 모델은 일반 지식에 의존하는 것뿐만 아니라 특정 인간 가치 체계에 부합해야 하는 질문들을 점점 더 자주 마주하게 된다. 따라서 LLM의 인간 가치와의 정렬(alignment)을 연구하는 것은 중요한 연구 분야가 되었다. 그러나 기존 연구는 대부분 완전히 학습된 모델의 정렬을 평가하는 데 초점을 맞추어, 모델이 인간의 가치를 표현하도록 학습되는 학습 역학을 간과해 왔다. 본 연구에서는 모델의 사후 학습 과정에서 가치 정렬이 어떻게, 그리고 어느 단계에서 발생하는지 조사한다. 우리의 분석은 사후 학습 알고리즘과 데이터셋의 효과를 분리하여, 학습 중 가치 표류의 크기와 시점을 측정한다. 서로 다른 크기의 Llama-3 및 Qwen-3 모델과 널리 사용되는 지도 미세조정(SFT) 및 선호도 최적화 데이터셋과 알고리즘으로 실험한 결과, SFT 단계가 일반적으로 모델의 가치를 확립하며, 이후의 선호도 최적화는 이러한 가치를 거의 재정렬하지 않는다. 또한 가치를 통제된 방식으로 조작할 수 있는 합성 선호도 데이터셋을 사용하여, 선호도 데이터를 일정하게 유지하더라도 서로 다른 선호도 최적화 알고리즘이 서로 다른 가치 정렬 결과로 이어진다는 것을 발견했다. 우리의 발견은 사후 학습 중 가치가 어떻게 학습되는지에 대한 실행 가능한 통찰을 제공하며, 데이터 큐레이션과 인간 가치에 대한 모델 정렬을 개선하기 위한 모델 및 선호도 최적화 알고리즘 선택에도 도움이 된다.

arXiv:2607.13408v1eess.AS

오디오 인지 대규모 언어 모델의 세밀한 피드백을 통한 텍스트-투-오디오 인스트럭션 준수 개선

Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models

최근 텍스트-투-오디오 모델은 고품질 오디오를 생성하지만, 여러 사운드 이벤트와 시간적 순서를 포함하는 인스트럭션을 따르지 못하는 경우가 많다. 이 격차는 기존 평가 및 학습 신호가 주로 전역 유사도나 지각적 품질에 중점을 두고, 인스트럭션 수준의 정확성에 대한 감독이 제한적이기 때문에 발생한다. 우리는 생성된 오디오에서 대상 이벤트의 존재와 시간적 관계를 검증하기 위해 오디오 인지 대규모 언어 모델(ALLM)을 세밀한 판정기로 사용하는 인스트럭션 수준 프레임워크를 제안한다. 벤치마크와 인간 검증을 통해 ALLM 판정을 검증한 후, 이들의 피드백을 사용해 직접 선호 최적화를 위한 선호 쌍을 구성한다. 또한 다중 이벤트 시간적 인스트럭션 준수를 평가하기 위한 내러티브 벤치마크인 S3Bench를 도입한다. 실험 결과, 제안 방법은 기존 벤치마크와 S3Bench 전반에서 이벤트 완전성, 시간적 순서, 그리고 결합 인스트럭션 준수 정확도를 향상시키면서 오디오 품질을 유지하는 것으로 나타났다.

arXiv:2607.13712v1cs.CV

Groc-PO: 사실에 충실한 다중모달 LLM을 위한 그라운딩 컨텍스트 선호 최적화

Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs

다중모달 대규모 언어 모델(MLLM)이 빠르게 발전했음에도 불구하고, 여전히 시각적 환각, 내용 날조, 비충실 추론과 같은 비진실성 문제로 고통받으며, 이는 모델의 충실성과 실용적 유용성을 크게 훼손한다. 직접 선호 최적화(DPO)와 같은 인간 선호 기반 정렬(alignment) 방법이 이러한 문제를 해결하기 위해 널리 채택되어 왔다. 그러나 다중모달 추론 오류는 종종 단계를 거치며 전파되고, 최종 답변의 오류는 초기 그라운딩 단계의 실수에서 기인하는 경우가 많지만, 표준 DPO는 일반적으로 최종 답변 수준에서 선호 최적화를 적용한다. 이러한 크레딧 할당(credit assignment) 과제로 인해 초기 그라운딩 단계에 대한 감독은 단계별이라기보다 간접적이며, 그라운딩 드리프트와 컨텍스트 불일치에서 비롯된 오류 전파를 억제하기 어렵다. 이를 해결하기 위해, 우리는 MLLM을 위한 그라운딩 선호 최적화 프레임워크인 그라운딩 컨텍스트 선호 최적화(Groc-PO)를 제안한다. 또한 객체 그라운딩(Object Grounding), 문맥적 그라운딩(Contextual Grounding), 그라운딩된 추론(Grounded Reasoning)의 세 단계를 중심으로 다단계 선호 샘플을 구성하는 그라운딩 컨텍스트 선호 데이터셋(GCPD)을 구축하여, 그라운딩된 컨텍스트의 형성·통합·활용을 포착한다. 여러 그라운딩 단계에 걸친 보다 명시적인 선호 감독을 도입함으로써 Groc-PO는 컨텍스트 의존적 추론을 강화하고 단계 간 오류 전파를 완화한다. 광범위한 실험 결과, 표준 DPO 및 다른 강력한 베이스라인과 비교하여 Groc-PO는 환각 완화, 충실한 추론, 전반적인 신뢰성에서 향상된 성능을 달성하여, 신뢰할 수 있는 다중모달 추론을 위한 보다 명시적인 그라운딩 감독의 가치를 뒷받침한다.