텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.
선호 최적화(preference optimization)는 의료 대규모 비전-언어 모델(LVLM)의 사후학습(post-training)에 점점 더 널리 사용되고 있으나, 임상적 정확성을 정의하는 단위보다 훨씬 거친 단위(granularity)에서 동작합니다. 한 응답이 다른 응답보다 임상적으로 더 나은지 여부는 통상적으로 해부학적 좌우 구분(laterality)이나 병변 속성과 같은 소수의 결정적인 어구, 그리고 각 어구가 질문이 다루는 이미지 영역에 의해 뒷받침되는지 여부에 달려 있습니다. 반면 직접 선호 최적화(DPO) 및 그 변형들은 비교를 단일 응답 수준의 스칼라로 축소하므로, 어떤 토큰(token)이 임상적 의미를 담고 있는지를 구조적으로 표현할 수 없는 목적 함수입니다. 본 연구에서는 이러한 불일치가 치명적임을 보입니다. 비교 대상 목적 함수 중 응답 수준 DPO는 임상적 정확성을 결정짓는 어구에 가장 낮은 보상(reward)을 부여하며, 선호 응답을 지도학습 기준(supervised reference)으로 대체할 경우 모델(model)이 보상 해킹 지름길로 악용하는 문체적 격차가 발생하여 선호 정확도는 높아지지만 임상적 정확도는 향상되지 않습니다. 임상적 비교에서 전체 피드백을 포착하기 위해, 본 논문에서는 세분화된 정규화 의료 선호 최적화(FiRe-MPO)를 제안합니다. 선호 쌍은 모델 자체 생성물을 최소한으로 편집하여 선호 응답과 거부 응답이 임상적으로 결정적인 구간(span)에서만 차이 나도록 구성되며, 각 응답은 뒷받침하는 시각적 근거를 감춘 병변 손상 이미지와 짝지어집니다. 구간 단위로 국소화된 보상은 희소(sparse)하므로, 양방향 토큰 단위 KL 정규화기를 통해 최적화를 안정화합니다. 의료 시각적 질문 답변(VQA) 및 판독문 생성 전반에 걸쳐, FiRe-MPO는 의료 특화 및 범용으로 널리 사용되는 두 가지 LVLM에서 DPO, RRPO 및 경쟁 세분화 목적 함수들의 성능을 능가하는 동시에, 시각적 그라운딩(grounding)을 강화하고 대안 대비 의료 어구에 더 많은 보상을 부여합니다.
실제 사용자 행동은 고립된 행동으로 이루어지는 경우가 드물며, 대신 시공간적 의존성에 의해 지배되는 의도 흐름을 형성하는 경우가 많다. 통합 서비스 추천을 제공하기 위해, 본 연구는 복잡한 시공간적 맥락 내에서 논리적으로 일관되고 물리적으로 실행 가능한 의도 시퀀스를 생성하는 것을 목표로 하는 생성형 시공간 의도 시퀀스 추천(Generative Spatiotemporal Intent Sequence Recommendation, GSISR) 과제에 주목한다. LLM은 GSISR에 대해 강력한 추론 가능성을 제공하지만, 산업 현장에 직접 배포하기에는 높은 추론 지연과 맥락 불일치 또는 물리적으로 실행 불가능한 계획이라는 한계가 있다. 이러한 문제를 해결하기 위해, 본 연구는 두 가지 구성 요소를 통해 LLM의 추론을 경량 모델에 내재화하는 생성형 프레임워크 GPlan을 제안한다. 첫째, 엄격한 지연 제약 조건 하에서도 추론이 가능하도록, 명시적 추론 과정을 예비된 잠재 토큰으로 압축하는 점진적 암묵적 CoT 증류(Progressive Implicit CoT Distillation)를 도입하여, 소형 모델이 긴 추론 텍스트를 생성하지 않고도 복잡한 계획 수립 로직을 물려받을 수 있도록 한다. 둘째, 일반 지식과 실제 제약 조건 사이의 단절을 해결하기 위해, 시공간 반사실적 DPO(Spatiotemporal Counterfactual DPO)를 설계한다. 모델을 반사실적 맥락-계획 쌍에 맞춰 정렬함으로써, 시공간적 맥락에 대한 민감도를 높이고 맥락 불일치 계획을 줄인다. 오프라인 실험과 온라인 A/B 테스트는 본 접근법이 시퀀스 일관성과 맥락 반응성을 향상시킨다는 것을 보여준다. 구현 코드와 익명화된 GSISR 데이터셋은 https://github.com/alibaba/GPlan 에서 확인할 수 있다.
모델 융합은 경량 학습(training) 방법을 통해 서로 다른 강점을 지닌 여러 대규모 언어 모델(LLM)을 더욱 강력한 하나의 통합 모델로 결합합니다. 모델 융합에 관한 기존 연구들은 주로 지도 미세조정(SFT)에 집중되어 있으며, LLM 성능 향상의 중요한 단계인 선호 정렬(PA)은 대체로 탐구되지 않은 상태로 남아 있습니다. WRPO와 같은 PA 단계의 소수 기존 융합 방법들은 소스 모델의 확률 정보를 버리고 응답 출력만을 활용하여 과정을 단순화합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 암시적 모델 융합을 위한 선호 최적화 방법인 InfiFPO를 제안합니다. InfiFPO는 직접 선호 최적화(DPO)의 참조 모델을 시퀀스 수준에서 다중 소스 확률을 종합하는 융합 소스 모델로 대체하여, 기존 연구의 복잡한 어휘 정렬 문제를 우회하는 동시에 확률 정보를 유지합니다. 또한 확률 클리핑과 최대 마진(max-margin) 융합 전략을 도입함으로써, 피벗 모델이 소스 모델로부터 지식을 효과적으로 증류하는 동시에 인간 선호에 정렬할 수 있도록 합니다. 널리 사용되는 11개 벤치마크(benchmark)에 대한 종합적인 실험 결과, InfiFPO가 기존의 모델 융합 및 선호 최적화 방법들을 지속적으로 능가함을 입증했습니다. Phi-4를 피벗 모델로 사용했을 때, InfiFPO는 11개 벤치마크에서의 평균 성능을 79.95에서 83.33으로 향상시켜 수학, 코딩 및 추론 작업에서의 역량을 크게 개선했습니다.
대규모 언어 모델(LLM)의 추론은 종종 단일한 능력으로 취급되며, 부분적인 진행 상황이나 세밀한 추론 품질을 포착하지 못하는 이진 선호 감독에 의존합니다. 본 논문에서는 미세한 추론 품질을 반영하는 연속적인 점수로 이진 레이블을 대체하여, 프롬프트 기반 인지 전략 포트폴리오에 모델을 정렬(alignment)하는 프레임워크인 연속 효용 직접 선호 최적화(CU-DPO)를 소개합니다. 저자들은 K개의 전략으로 학습할 때 이진 선호 대비 표본 복잡도(sample complexity)에서 Theta(K log K)의 개선을 가져오며, DPO가 엔트로피 정규화된 효용 극대화 정책으로 수렴함을 증명합니다. 이러한 신호를 활용하기 위해 다음 두 단계 파이프라인을 제안합니다: (i) 최고 대 전체(best-vs-all) 비교를 통해 모델이 최적의 전략을 선택하도록 최적화하는 전략 선택, (ii) 마진 계층화된 쌍(margin-stratified pairs)을 사용하여 올바른 실행을 학습하는 실행 개선. 이 프레임워크는 도메인에 구애받지 않으며(domain-agnostic), 인지적으로 구별되는 해결 전략과 분해 가능한 연속 효용 신호를 허용하는 모든 태스크를 포트폴리오에 포함할 수 있습니다. 수학 추론 벤치마크에서 CU-DPO는 7개의 베이스 모델에 걸쳐 전략 선택 정확도를 35-46%에서 68-78%로 향상시켰으며, 분포 내(in-distribution) 데이터셋에서 최대 +6.6점의 다운스트림 추론 성능 향상과 효과적인 분포 외(out-of-distribution) 전이 성능을 달성했습니다. 또한 CU-DPO는 코드 생성 및 인과 추론 벤치마크에서도 일관된 성능 향상을 보여주어 수학 도메인을 넘어선 일반화 능력을 입증했습니다.
순환여과양식시스템(RAS)에서 정밀(precision) 급이는 사료 비용을 최소화하고 어류 복지를 향상시키는 데 매우 중요합니다. 그러나 기존 방식은 어류 행동과 관리 지식 간의 인지적 정렬(alignment)이 부족하여, 이를 실행 가능하고 해석 가능한 급이 결정으로 전환하는 데 한계가 있었습니다. 이를 해결하기 위해 본 논문에서는 RAS 환경의 무지개송어(Oncorhynchus mykiss)를 위해 설계된 생성형 급이 의사결정 프레임워크인 THPL을 제안합니다. 첫째, Fishsort가 궤적을 추출하여 급이 강도를 정량화하는 활동 계수(AC)를 산출합니다. 둘째, 계층적 행동 인코더(HBE)가 Temporal Transformer 및 Set Transformer를 활용해 개별 시간적 변화와 집단적 역학을 모델링함으로써, 궤적 텐서를 명시적 물리 토큰과 암시적 소프트 토큰의 이중 근거 표현으로 변환합니다. 마지막으로, 이러한 토큰들을 환경 파라미터, 메타데이터, 전문가 규칙과 통합하여 LoRA 기반으로 대규모 언어 모델(LLM)을 파인튜닝(fine-tuning)하고, 반사실적 멀티모달 직접 선호 최적화(mDPO)를 적용해 인과 추론 능력을 강화합니다. 실험 결과, AC는 전문가가 레이블링한 급이 강도와 통계적으로 유의미한 단조 양의 상관관계를 나타냈습니다(Spearman $ρ= 0.925$, $p < 0.001$). 절제 연구(ablation study)에서는 의사결정 정확도가 텍스트 전용 베이스라인(baseline)의 33.33%에서 이중 근거 토큰 적용 시 93.33%로 향상되어, 연속적인 시공간 토큰이 LLM에 필수적인 물리적 그라운딩(grounding)을 제공함을 확인했습니다. 또한 표준 LoRA 대비 반사실적 mDPO는 의사결정 정확도를 93.33%에서 96.67%로 향상시켰고, METEOR를 58.10%에서 85.30%로 끌어올렸으며, Self-BLEU-2를 58.79%에서 52.88%로 감소시키고 Distinct-3을 6.68%에서 7.81%로 증가시켜 템플릿화 및 작동 편향을 억제하는 동시에 인과적 일관성과 운영 안전성(safety)을 강화했습니다. 전반적으로, 본 연구는 연속적인 기구학(kinematics)과 LLM 추론을 결합함으로써 정밀 양식을 위한 새로운 의사결정 지원 패러다임을 제시합니다.
대규모 언어 모델(LLM)을 개인화하려면 생성 동작을 전체적인 평균 품질이 아닌 사용자별 선호도에 정렬(alignment)시켜야 합니다. 직접 선호 최적화(DPO)는 선호도 학습을 위한 안정적인 프레임워크를 제공하지만, 개인화된 환경에서의 효과는 선호도 쌍을 어떻게 선택하느냐에 크게 의존합니다. 기존 접근 방식은 일반적으로 가능도(likelihood) 기반 극단값과 같은 휴리스틱 기준에 의존하므로, 최적화가 명시적인 사용자 효용과 분리되어 개인화 성능 저하로 이어질 수 있습니다. 본 연구에서는 기대 사용자 효용의 그래디언트와 DPO 업데이트 방향 간의 1차 상호작용을 분석하여, 개인화된 선호도 학습을 기하학적으로 정렬된 최적화 문제로 공식화합니다. 분석 결과, 오프-정책(off-policy) 샘플링 하에서 선호도 마진이 효용 그래디언트와 방향적으로 정렬될 때 DPO 업데이트가 순수한 오류 수정 신호에서 강화 형태의 업데이트로 전환됨을 확인했습니다. 이러한 관점은 쌍 선택이 선호도 최적화가 개인화를 촉진하는지 저해하는지를 좌우하는 기하학적 결정임을 보여줍니다. 이러한 통찰을 바탕으로, 에포크(epoch)별 재생성을 통해 분포 변화를 제어하면서 효용을 인지하고 기하학적으로 정렬된 쌍 선택을 수행하는 반복 알고리즘인 GAP-DPO(Geometry-Aligned Preference DPO)를 제안합니다. 개인화된 텍스트 생성 벤치마크에 대한 실험은 GAP-DPO가 표준 DPO 변형들과 비교하여 문체 충실도, 선호도 정렬 및 생성 품질을 지속적으로 향상함을 보여줍니다. 종합적으로 본 연구의 결과는 그래디언트 정렬을 개인화된 선호도 최적화를 위한 통합 원리로 확립하며, 쌍 선택이 휴리스틱 전처리 단계가 아니라 최적화 기하학의 본질적인 구성 요소임을 입증합니다.
사람들은 다양하고 때로는 상충하는 가치를 지니므로, 단 하나의 정렬된 모델로는 모두를 만족시킬 수 없다. 따라서 다원적 정렬은 경쟁하는 목표를 서로 다르게 균형 잡을 수 있는 조향 가능한 모델을 요구한다. 다목적 직접 선호 최적화(Multi-Objective Direct Preference Optimization, MODPO)는 목표 가중치를 사용해 연속적인 트레이드오프 스펙트럼을 아우르는 방식으로 이를 수행한다. 우리는 두 가지 질문을 연구한다: 하나의 모델이 두 목표를 동시에 개선할 수 있는 경우는 언제인지, 그리고 각 트레이드오프마다 별도의 모델을 학습하지 않고도 많은 트레이드오프를 어떻게 포괄할 수 있는지. HelpSteer와 UltraFeedback의 일곱 목표 쌍에 걸쳐, 두 가지 사전학습 측정값은 사람이 주석 단 데이터에서 목표가 정렬되는지 충돌하는지를 예측하지만, AI 주석 데이터에서는 그렇지 않으며, 후자에서는 응답 길이와 반복이 보상 모델 점수를 교란한다. 더 넓은 트레이드오프 커버리지를 위해, 가장 가까운 학습된 모델을 선택하는 방법과 모델 파라미터 병합 모두 도움이 되지만, 어느 것도 일관되게 직접 학습에 필적하지는 못한다. 이러한 결과는 다양한 선호를 수용하는 조향 가능한 모델을 구축하기 위한 실용적 지침을 제공한다.
인간의 시각적 선호는 본질적으로 다차원적이며, 미학, 디테일 충실도, 의미 정렬을 포괄한다. 그러나 기존 데이터셋은 단일의 전체적 주석만 제공하여 심각한 레이블 노이즈를 초래한다. 일부 차원에서는 뛰어나지만 다른 차원에서는 부족한 이미지가 단순히 승자 또는 패자로만 표시된다. 우리는 다차원 선호를 이진 레이블로 압축하면 Diffusion 직접 선호 최적화(DPO)를 오도하는 상충하는 그래디언트 신호가 발생함을 이론적으로 보인다. 이를 해결하기 위해 우리는 Semi-DPO를 제안한다. 이는 일관된 쌍을 깨끗한 레이블 데이터로, 상충하는 쌍을 노이즈가 있는 비레이블 데이터로 취급하는 준지도 학습 접근법이다. 우리 방법은 합의로 필터링된 깨끗한 부분집합으로 학습을 시작한 다음, 이 모델을 암묵적 분류기로 사용하여 노이즈 집합에 대한 의사 레이블을 생성하고 반복적으로 정제한다. 실험 결과는 Semi-DPO가 최신(state-of-the-art) 성능을 달성하고, 학습 중 추가 인간 주석이나 명시적 보상 모델 없이도 복잡한 인간 선호와의 정렬을 크게 개선함을 보여준다. 코드와 모델은 https://github.com/L-CodingSpace/semi-dpo 에서 공개할 예정이다.
다중모달 대규모 언어 모델(MLLM)이 빠르게 발전했음에도 불구하고, 여전히 시각적 환각, 내용 날조, 비충실 추론과 같은 비진실성 문제로 고통받으며, 이는 모델의 충실성과 실용적 유용성을 크게 훼손한다. 직접 선호 최적화(DPO)와 같은 인간 선호 기반 정렬(alignment) 방법이 이러한 문제를 해결하기 위해 널리 채택되어 왔다. 그러나 다중모달 추론 오류는 종종 단계를 거치며 전파되고, 최종 답변의 오류는 초기 그라운딩 단계의 실수에서 기인하는 경우가 많지만, 표준 DPO는 일반적으로 최종 답변 수준에서 선호 최적화를 적용한다. 이러한 크레딧 할당(credit assignment) 과제로 인해 초기 그라운딩 단계에 대한 감독은 단계별이라기보다 간접적이며, 그라운딩 드리프트와 컨텍스트 불일치에서 비롯된 오류 전파를 억제하기 어렵다. 이를 해결하기 위해, 우리는 MLLM을 위한 그라운딩 선호 최적화 프레임워크인 그라운딩 컨텍스트 선호 최적화(Groc-PO)를 제안한다. 또한 객체 그라운딩(Object Grounding), 문맥적 그라운딩(Contextual Grounding), 그라운딩된 추론(Grounded Reasoning)의 세 단계를 중심으로 다단계 선호 샘플을 구성하는 그라운딩 컨텍스트 선호 데이터셋(GCPD)을 구축하여, 그라운딩된 컨텍스트의 형성·통합·활용을 포착한다. 여러 그라운딩 단계에 걸친 보다 명시적인 선호 감독을 도입함으로써 Groc-PO는 컨텍스트 의존적 추론을 강화하고 단계 간 오류 전파를 완화한다. 광범위한 실험 결과, 표준 DPO 및 다른 강력한 베이스라인과 비교하여 Groc-PO는 환각 완화, 충실한 추론, 전반적인 신뢰성에서 향상된 성능을 달성하여, 신뢰할 수 있는 다중모달 추론을 위한 보다 명시적인 그라운딩 감독의 가치를 뒷받침한다.
Segment Anything Model(SAM)은 다양한 분할 작업에서 강한 일반화 성능을 보여왔다. 그러나 SAM은 분할 대상이 모호한 상황에서 종종 어려움을 겪는다. 이는 종양과 같은 대상의 정확한 경계 설정이 중요한 의료 영상에서 문제가 되며, 전문 방사선과 의사조차 대상의 적절한 경계에 대해 의견이 일치하지 않을 수 있다. 이를 해결하기 위해, 우리는 의료 이미지 분할을 개선하기 위한 새로운 프레임워크인 SARFA(Segment Anything with Radiomic Feature Alignment)를 제안한다. 확률적 프롬프팅을 통해 SARFA는 각 입력 이미지에 대해 다양한 그럴듯한 마스크 집합을 생성하고, Fréchet Radiomic Distance(FRD)와 직접 선호 최적화(DPO)에 기반한 방사선학적 특징학 기반 학습 목적함수로 이를 최적화한다. 각 이미지 내에서 마스크가 적용된 예측 영역과 정답(ground truth) 영역 사이의 FRD를 최소화함으로써, SARFA는 픽셀 수준 겹침에만 의존하지 않고 해부학적·질감적 특성이 임상적으로 의미 있는 정답 표현과 일치하는 분할 출력을 유도한다. 컴퓨터 단층촬영(CT) 및 자기공명영상(MRI) 벤치마크에서 평가한 결과, SARFA는 기존 모호 분할 방법들을 능가하며, 레이디오믹 특징 정렬과 DPO 방식의 후보 마스크 순위 지정이 학습 목적함수로서 효과적임을 보여준다. 코드는 https://github.com/tbwa233/SARFA 에서 제공된다.
직접 선호 최적화(DPO)는 명시적인 보상 모델링과 강화학습 최적화의 필요성을 제거하기 때문에 대규모 언어 모델(LLM)을 인간의 선호도에 정렬하는 중요한 방법으로 자리잡았습니다. 그러나 성능은 선호도 데이터의 품질에 크게 의존하며, 실제 환경에서의 노이즈가 있는 선호도 데이터는 정렬 성능을 약화시킬 수 있습니다. 이 문제를 해결하기 위해 우리는 이중 수준 최적화(bilevel optimization) 프레임워크를 제안하고, 특정 가정 하에서 이 프레임워크가 깨끗한 데이터에서의 DPO 최적값을 복원할 수 있음을 증명합니다. 또한 비대칭 레이블 플리핑(label-flipping) 노이즈 하에서 학습 가능한 가중 함수에 대한 사전 형태(prior form)를 유도합니다. 고품질 메타데이터를 얻기 어려울 수 있다는 점을 고려하여, 메타데이터가 완전히 없는 경우에도 메타학습을 가능하게 하는 태스크 불가지론적(task-agnostic) 메타 지식 기반 방법을 제안합니다. LLM 메타학습에서 고차 그래디언트의 높은 비용을 줄이기 위해, 중심 차분 근사(central-difference approximation)와 LoRA 미세조정을 결합하여 확장 가능한 학습 체계를 개발합니다. TL;DR 요약과 Anthropic HH 단일 턴 대화에 대한 실험에서 제안된 방법이 다양한 노이즈 비율 하에서 여러 DPO 기준선(baseline) 대비 학습 성능을 향상시킴을 보여줍니다.
목표 화자 추출(TSE)을 위한 생성형 스트리밍 모델은 일반적으로 품질-명료도 트레이드오프를 나타내는데, 지각적 오디오 품질을 위한 단순한 최적화는 음성 명료도를 저하시키는 경향이 있으며 그 반대도 마찬가지이다. 우리는 이 트레이드오프가 스트리밍 아키텍처의 제약에서 비롯되는 것이 아니라, 최적화 앵커의 부적절한 선택에서 발생함을 밝힌다. 오디오 품질 지표를 직접 최적화하면 치명적인 보상 해킹(reward hacking)이 유발되며, 이로 인해 발음과 명료도에 핵심적인 콘텐츠가 대리 점수를 극대화하기 위해 체계적으로 제거된다. 이 병목을 해소하기 위해, 우리는 두 가지 상호 보완적인 개선책을 제안한다: 더 풍부한 로컬 스펙트로-시간 모델링을 위한 확장된 Conformer 합성곱 커널, 그리고 WavLM 앵커링 직접 선호 최적화(DPO) 미세조정 전략이다. DPO 선호 쌍은 음성 구조와 화자 정체성을 모두 인코딩하는 심층 음향 특징인 WavLM 코사인 유사도로 순위가 매겨지며, 이는 해킹에 저항하는 최적화 앵커를 제공한다. 560 ms 스트리밍 청크 크기에서, 제안된 방법은 10.9%의 상대적 명료도 향상(단어 오류율: 0.138에서 0.123)을 달성하며, 오디오 품질과 화자 유사도에서도 동시에 소폭의 향상을 보인다.
프롬프트 복잡도(PC)와 쌍별 구별 가능성(PD)이라는 두 축으로 구성된 이차원 난이도 공간을 DPO 정렬에 도입해, 기존의 단일 지표 커리큘럼 학습의 한계를 이론적으로 분석하고 극복한다. 정적 커리큘럼 프레임워크 DM-Curri-DPO와 모델 스스로 학습 궤적을 탐색하는 그룹별 자기 페이스 학습 프레임워크 GSP-Curri-DPO를 제안하여, MT-Bench, Arena-Hard, AlpacaEval 2.0 등 주요 벤치마크에서 최고 성능을 달성하고 데이터 효율성과 선호도 노이즈 강건성을 입증한다.
실제 선호도 데이터셋에 만연한 노이즈로 인해 RLHF와 DPO 기반 정렬(alignment)이 편향될 수 있다는 문제를 해결하기 위해, 노이즈 분포를 수학적으로 역변환하는 비편향 보상 모델(URM) 손실과 비편향 직접 선호 최적화(UDPO) 손실을 제안한다. 이론적으로 노이즈 허용성 및 분류 보정성을 증명하였으며, HH, TL;DR, UFB 등 다양한 데이터셋 실험에서 최신 베이스라인 대비 우수한 성능을 달성했다.
확산 모델(diffusion model)은 텍스트-이미지 합성과 같은 생성 과제에서 인상적인 성과를 거두었지만, 세밀한 사용자 의도와의 완전한 정렬 및 일관된 미적 품질 유지에 어려움을 겪는 경우가 많다. Diffusion Direct Preference Optimization(직접 선호 최적화)과 같은 기존의 선호도 기반 학습 방법은 이러한 문제를 해결하는 데 도움이 되지만, 최종 샘플에서 도출된 순방향 프로세스 $q(\boldsymbol{x}_{t-1}\!\mid\!\boldsymbol{x}_t,\boldsymbol{x}_0)$로부터 감독 타겟을 얻기 때문에 각 단계에서 모델의 실제 역방향 디노이징 전이와 직접적으로 정렬되지 않는다. 본 연구에서는 Direct Diffusion Score Preference Optimization(DDSPO)을 제안하며, 이는 최종 샘플로부터의 순방향 프로세스 근사에 의존하는 대신 대조적 정책 쌍(contrastive policy pair)을 통해 역방향 디노이징 전이에 직접 단계별 선호도 감독을 정의한다. 우리는 대조적 정책 쌍의 두 가지 실용적인 구현 방식을 제안한다: 선호도 데이터를 기반으로 승리 모델과 패배 모델을 별도로 학습하는 방식과, 원본 프롬프트 및 의미론적으로 저하된 변형에 컨디셔닝된 사전학습된 참조 모델을 사용하여 추가 학습 없이 대조적 정책 쌍을 유도하는 방식으로, 보상 모델링이나 수동 어노테이션이 필요하지 않다. 실험 결과, 대조적 정책 쌍 감독이 텍스트-이미지 정렬 및 미적 품질 과제 전반에 걸쳐 순방향 프로세스 기반 감독보다 더 효과적임을 보인다. 구현 코드는 https://dohyun-as.github.io/DDSPO 에서 확인할 수 있다.
DPO의 보수성 계수(β)가 높을수록 오프라인 학습 후 온라인 적응 과정에서 보상 해킹(reward hacking) 피해가 단조적으로 증가한다는 역설적 현상을 Qwen3-14B 모델로 실증하며, 그 원인을 정책 엔트로피 압축 → 응답 다양성 감소 → 앙상블 불확실성 증가로 이어지는 3단계 인과 사슬로 규명했다. AUGC와 β 간 거듭제곱 법칙 관계를 적합하여 정렬 충실도와 해킹 취약성을 균형 있게 조율하는 최적 보수성 수준 β⋆를 도출하고, 최대한의 보수성보다 조율된 보수성이 필요함을 주장한다.
Planning often requires symbolic specifications that are both executable and verifiable. For large language models deployed in autonomous or decision-support systems, failures in such formalization may lead to unverifiable decisions, execution failures, or unsafe downstream behavior. We present NL-PDDL-Bench, a multi-domain benchmark for natural-language-to-PDDL specification construction with planner-verified executability and controlled difficulty scaling by object count. We further propose a planner-in-the-loop framework that uses validator and planner diagnostics to revise non-executable specifications through localized edits. Building on this infrastructure, we develop a planner-grounded optimization recipe that combines parameter-efficient Low-Rank Adaptation supervised fine-tuning, offline planner-derived preference pairs for Direct Preference Optimization, and inference-time planner-in-the-loop repair, without requiring online planner calls during training. We also provide a unified evaluation suite for parseability, solvability, specification similarity, and outcome-aware plan-level consistency against planner references. Experiments on representative model families show substantial gains in planner success and plan-level agreement, with improved robustness under difficulty scaling and cross-domain variation. These results highlight the value of externally verifiable formalization for reliable deployment of LLMs in safety- or security-sensitive planning systems. Code and data are available at: https://github.com/ibasicplan/NL-PDDL-Bench
대규모 이커머스 동적 가격 결정의 해석 가능성 부족과 장기 GMV·ROI·마일스톤 목표와의 불일치를 해결하기 위해, AIGP는 도메인 지식·정형·텍스트 컨텍스트를 활용한 LLM 기반 가격 결정과 오프라인 강화학습으로 학습한 LTVE 보상 모델을 DPO 선호 정렬에 쓰는 프레임워크를 제안한다. Tao Factory 온라인 A/B 테스트에서 14일간 GMV +13.21%, ROI +7.59%, 마일스톤 달성률 +8.20% 향상과 함께 해석 가능한 가격 결정 근거를 제공했다.
대규모 언어 모델(LLM)은 지능형 튜터링 시스템에 활용될 강한 잠재력을 지니지만, 최종 답을 공개하지 않고 학생을 안내하는 것과 같은 효과적인 교육학적 전략을 따르는 데 종종 실패한다. 본 연구는 튜터링 대화에 대한 지도 미세조정과 합성 선호 쌍에 대한 직접 선호 최적화(Direct Preference Optimization)를 결합한, 수학 오류 교정을 위한 2단계 정렬 파이프라인의 적용을 다룬다. 우리는 기존 튜터링 코퍼스와 스캐폴딩(scaffolding) 및 사실성(factuality)과 같은 교육학적 차원을 따라 생성된 합성 데이터를 통합한 데이터셋을 구축하고, 해법 정확성과 정답(gold answers)을 포함하는 다양한 입력 구성을 연구한다. 실험 결과, 이 접근법은 기본 모델 및 기존 튜터링 모델 대비 사실적 정확도와 교육학적 품질 모두를 향상시킨다. 인간 평가는 우리의 최고 모델이 강력한 독점 기준선과 경쟁력 있는 수준이며, 공개성, 투명성, 재현성 측면에서 추가적인 이점을 제공함을 추가로 보여준다. 우리 결과는 선호 기반 교육학적 정렬의 효과를 강조하는 동시에, 튜터링 품질을 신뢰성 있게 평가하는 데 따른 과제도 드러낸다.