PyTorchKR Papers

최신 논문

총 25편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19744v1cs.CL

균일한 망각을 넘어서: 다양한 선호 설정에 걸친 순차적 직접 선호 최적화 연구

Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings

언어 모델을 인간의 선호에 정렬하는 것은 종종 여러 행동적 목표를 최적화해야 합니다. 실용적인 접근 방식은 직접 선호 최적화(DPO)와 같은 선호 최적화 방법을 사용하여 이러한 목표를 순차적으로 적용하는 것이지만, 후속 학습이 이전에 학습된 선호를 균일하게 저하시키는지, 아니면 효과가 목표 간의 관계에 따라 달라지는지는 여전히 불분명합니다. 우리는 분포 충돌, 다중 속성 상호작용, 강력한 안전성 신호, 그리고 호환되는 응답 품질 목표를 포함하는 네 가지 선호 설정에 걸쳐 순차적 DPO를 연구합니다. LoRA 어댑터를 적용한 Llama-3.1-8B-Instruct를 사용하여, 우리는 고정된 기본 모델 참조로 모든 단계 후에 모든 목표를 평가합니다. 우리는 순차적 DPO가 단일한 망각 패턴을 만들어내지 않음을 발견했습니다. 선호 변화는 목표 관계, 신호 강도 및 학습 순서에 따라 부분적 저하, 안정성, 쌍 수준 재분배 또는 긍정적 전이 사이에서 다양하게 나타납니다. 길이 정규화된 정책 마진을 사용한 쌍 수준 분석은 집계 메트릭이 선호 쌍 전체의 이질적인 변화를 가릴 수 있음을 보여주는 반면, 사분위수 분해는 높은 신뢰도 쌍이 설정에 따라 저하되거나 개선될 수 있음을 보여줍니다. 기계적 진단에 따르면 모든 설정에서 2단계 그래디언트와 어댑터 업데이트가 이전 목표에 대해 거의 직교하며, 이는 직접적인 그래디언트 대립이 주요 원인이라는 증거가 거의 없음을 시사합니다. 이러한 발견은 미래의 순차적 정렬 파이프라인이 후속 목표가 이전 선호에 균일하게 영향을 미친다고 가정하기보다는 목표 호환성과 신호 강도를 고려해야 함을 시사합니다.

arXiv:2606.19607v1cs.AI

LLM 사후 학습에서 어떤 쌍을 비교해야 하는가?

Which Pairs to Compare for LLM Post-Training?

선호 기반 사후 학습은 언어 모델을 정렬하는 중심적인 패러다임이 되었습니다. 일반적인 데이터 수집 전략은 각 프롬프트에 대해 소수의 완성을 생성하고 결과로 나오는 비교 쌍에 라벨을 부여하는 것입니다. 그러나 인간 선호 라벨은 추가적인 완성을 생성하는 것보다 훨씬 비용이 많이 들기 때문에, 동일한 라벨링 예산을 다르게 사용하는 것을 제안합니다: 더 큰 완성 풀을 생성하되, 가장 정보성이 높은 비교 쌍에만 라벨을 부여하는 것입니다. 본 논문은 선호 기반 사후 학습에서 어떤 쌍을 비교해야 하는지 연구합니다. 우리는 비교 선별을 표본 설계 문제로 공식화하고, 선호 기반 사후 학습 목적 함수 하에서 최종 정책의 품질로 설계를 평가합니다. 우리는 이 프레임워크를 직접 선호 최적화(DPO)에 적용하여, 라벨링된 쌍의 선택이 DPO 학습을 통해 다운스트림 정책 성능으로 어떻게 전파되는지 분석합니다. 우리의 주요 결과는 DPO로 학습된 정책의 사후 학습 최적성 갭에 대한 일치하는 상한 및 하한을 제공합니다. 이 상한 및 하한은 비교 선택이 설계에 의존하는 단일 정보 행렬을 통해 다운스트림 성능에 영향을 미친다는 것을 보여주며, 이 행렬은 라벨 할당을 매개변수 추정 오차 및 정책 비최적성과 연결합니다. 이를 통해 예산이 제한된 비교 선별을 위한 명시적인 최적화 기준이 도출되며, 생성된 대규모 완성 풀에서 정보성이 높은 쌍을 선택하기 위한 실용적인 표본 설계를 제안합니다. 합성 설정 및 언어 모델 사후 학습 벤치마크에 대한 실험 결과, 제안된 설계가 일반적인 비교 선택 휴리스틱보다 샘플 효율성을 일관되게 향상시키는 것으로 나타났습니다.

arXiv:2606.19527v1cs.AI

창발적 정렬

Emergent Alignment

대규모 언어 모델(LLM)이 자신의 출력이 인간의 윤리와 정렬되지 않았는지 식별할 수 있습니까? 그리고 스스로 교정할 수 있습니까? 우리는 LLM에 자신의 추론과 출력을 검토하는 양심 단계(conscience step)를 부여하고, 직접 선호 최적화(DPO)를 사용하여 학습 손실에 정렬 구성 요소를 확장하여 모델이 비윤리적 출력을 생성하지 않도록 유도했습니다. 그 결과 학습, 미세조정, 적대적 프롬프팅, 제로샷 학습 등 다양한 응용 분야에서 모델을 정렬할 수 있는 온라인 기법이 탄생했습니다. 이 기법은 더 약하거나 강한 판사(judge)를 필요로 하지 않으며, 대신 자신의 동결된 사본에 의존합니다. 이전 연구에서 창발적 오정렬(Emergent Misalignment) 시나리오는 모델을 코드 해킹으로 미세조정할 때 다양한 창발적 비윤리적 행동이 나타남을 보여주었습니다. 대신, 우리는 창발적 정렬(Emergent Alignment)을 달성하는 방법을 실증적으로 보여줍니다: 단 하나의 상위 수준 성찰적 질문이 동일한 코드 해킹 시나리오에서 학습을 윤리적 모델로 이끕니다.

arXiv:2606.12881v1cs.CL

챗봇 미세조정을 위한 직접 선호 최적화: 경험적 연구

Direct Preference Optimization for Chatbot Fine-Tuning: An Empirical Study

대규모 언어 모델의 파인튜닝을 위해 강화학습 기법인 직접 선호 최적화(DPO)를 적용하여 학습 파이프라인을 단순화하고 계산 효율성을 개선하며 경쟁력 있는 성능을 달성했으나, 학습 불안정성 문제가 확인되었다.

arXiv:2603.00025v2cs.CL

TAB-PO: 토큰 임계 구조화 생성을 위한 토큰 수준 적응형 장벽 선호 최적화

TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation

직접 선호도 최적화(DPO)가 구조화된 생성에서 겪는 그라디언트 희석 및 토큰 침식 문제를 해결하기 위해, 토큰 수준 적응형 장벽을 활용한 TAB-PO를 제안한다. 이 방법은 SciERC 벤치마크에서 기존 SFT 및 DPO 변형 모델들보다 온톨로지 관련 메트릭에서 평균 11.59%의 성능 향상을 달성했다.