PyTorchKR Papers

최신 논문

총 47편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20508v1cs.AI

안전 정렬된 대규모 언어 모델(LLM)은 혼합 준수 데모로부터 무엇을 학습하는가?

What Do Safety-Aligned LLMs Learn From Mixed Compliance Demonstrations?

이전 연구에서 인컨텍스트 데모(in-context demonstrations)가 언어 모델을 탈옥(jailbreak)할 수 있음을 보였지만, 모델이 다른 유형의 준수 데모를 어떻게 해석하는지는 여전히 불분명합니다. 우리는 무해한 준수 데모(무해한 요청, 도움이 되는 응답)와 유해한 준수 데모(유해한 요청, 도움이 되는 응답)를 혼합하고, 데모 구성이 유해한 준수를 어떻게 유도하는지에 대한 세 가지 가설을 테스트하여 이를 연구합니다. 4개의 모델에 걸쳐, 우리는 무해한 데모와 유해한 데모가 상호 교환 가능하지 않다는 것을 발견했습니다: 무해한 데모는 모델에 따라 유해한 준수를 줄이거나 늘릴 수 있습니다. 우리는 또한 선호도 최적화(preference optimization)가 무해한 데모가 유해한 준수를 증가시키는 것을 방지하는 결정적인 학습(training) 단계이며, 데모 순서가 강력한 최신성 바이어스(recency bias)를 보임을 보여줍니다. 또한 모델마다 거부가 인컨텍스트 학습(in-context learning)과 상호작용하는 방식이 다릅니다: 일부는 거부할 때도 데모된 형식을 채택하는 반면, 다른 일부는 거부 시 모든 인컨텍스트 신호를 무시합니다. 종합하면, 이 연구는 데모 기반 탈옥이 작동한다는 것을 보여주는 것을 넘어 그것이 어떻게 작동하는지 특성화합니다: 모델이 준수 데모에서 추출하는 것은 데모 내용, 순서 및 학습 방법론에 따라 달라집니다.

arXiv:2606.17664v1cs.IR

비지도 검색을 위한 시간적 선호도 최적화

Temporal Preference Optimization for Unsupervised Retrieval

비지도 밀집 검색기는 대조 학습(contrastive learning)을 통해 레이블이 없는 문서에서 의미적 유사성을 학습함으로써 확장성을 제공하지만, 시간적 관련성을 포착하는 데 어려움을 겪으며 의미적으로는 관련되어 있으나 시간적으로 정렬되지 않은 문서를 검색합니다. 이는 문서 집합이 여러 시기에 걸쳐 있을 때 중요한 측면입니다 (예: "2019년 대통령은 누구인가?"라는 질문에 대해 2018-2025년의 문서를 검색하는 것은 시간적 모호함을 야기함). 기존 방법들은 항상 가능하지는 않은 명시적인 타임스탬프를 이용한 지도 학습에 의존합니다. 우리는 TPOUR (Temporal Preference Optimization for Unsupervised Retriever)를 제안하며, 이는 우리의 새로운 학습 방법인 TRPO (Temporal Retrieval Preference Optimization)를 사용합니다. TRPO는 시간 차원에서 선호도 학습을 재해석하여, 검색기가 시간적으로 정렬된 문서를 선호하도록 유도합니다. TPOUR는 학습된 시간 임베딩(embedding)에서의 보간을 통해 보지 못한 시기로 일반화되어, 연속적인 시간 정렬을 가능하게 합니다. 시간적 정보 검색(T-IR)에 대한 실험에서 TPOUR는 비지도 및 지도 기준 모델(baseline) 모두를 능가합니다. Qwen-Embedding-8B와 비교했을 때, 약 72.7배 더 작은 규모에도 불구하고 TPOUR Contriever는 명시적 쿼리에서 평균 nDCG@5를 +4.04 (+12.15%), 암시적 쿼리에서 +4.98 (+15.21%) 향상시켰습니다. 우리의 코드는 https://github.com/agwaBom/TPOUR에서 제공됩니다.

arXiv:2606.12505v1cs.LG

페널라이제이션을 통한 직접 선호 최적화 향상

Boosting Direct Preference Optimization with Penalization

정적 데이터셋에 저장된 응답 쌍만 사용하는 기존 직접 선호 최적화(DPO)의 한계를 극복하기 위해, 참조 모델이 생성할 응답에 대한 게이트된 페널티를 추가하는 DPOP를 제안한다. DPOP는 Llama-3-8b-it 및 Gemma-2-9b-it 모델에서 AlpacaEval 2.0의 길이 제어 승률을 기존 방법 대비 각각 5.3%와 4.4% 향상시켰다.

arXiv:2606.11512v1cs.CL

SAGE: 언어적 불확실성 정렬을 위한 답변 조건부 불확실성 타겟

SAGE: Answer-Conditioned Uncertainty Targets for Verbal Uncertainty Alignment

대규모 언어 모델(LLM)은 점차 자연어 진술을 통해 불확실성을 표현하지만, 이러한 표현은 종종 모델의 샘플링된 동작을 반영하지 못합니다. 우리는 언어적 불확실성 정렬을 분포적 보정 문제로 연구합니다: 프롬프트에 대한 적절한 불확실성 타겟은 고립된 응답이 아닌 반복적인 모델 출력에서 추정되어야 합니다. 그러나 그룹 롤아웃만으로는 부족한데, 그 이유는 결과 타겟이 유용한 학습 신호를 제공해야 하기 때문입니다. 기존 타겟들은 이 요구사항을 부분적으로만 충족합니다. 우리는 SAGE(Semantic-Answer Guided Entropy, 의미적 답변 유도 엔트로피)를 제안합니다. 이는 샘플링된 응답들에 대해 답변 조건부 불확실성 기하학을 구축하는 그룹 수준 불확실성 타겟입니다. SAGE는 부드럽고 스케일을 보존하는 보정 신호를 유지하면서 범주형, 수치형, 기호형 답변의 구분을 보존합니다. 또한 이 타겟을 GUPO(Group-Uncertainty Preference Optimization, 그룹 불확실성 선호 최적화)를 통해 적용하는데, 이는 전체 응답이 아닌 언어적 불확실성 표현을 학습시키는 불확실성 채널 학습 프레임워크입니다. 사실적, 수학적, 다지선다형 추론 작업에 걸친 실험 결과, 불확실성 순위가 개선되고 보정 오차가 낮아지며 과신이 감소함을 보여줍니다.

arXiv:2605.12288v3cs.CL

TokenRatio: 비율 매칭을 통한 원칙에 기반한 토큰 수준 선호 최적화

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

시퀀스 수준 선호 최적화(DPO)의 한계를 해결하기 위해 토큰 수준의 Bradley-Terry 선호 모델과 Bregman 발산 밀도 비율 매칭을 활용하는 TBPO를 제안합니다. 해당 방법은 인스트럭션 수행 및 요약 벤치마크에서 정렬 품질과 학습 안정성을 높이고 출력 다양성을 증가시킵니다.

arXiv:2505.10892v2cs.LG

다목적 선호도 최적화: 생성 모델의 인간 정렬 개선

Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models

인간 피드백 강화학습(RLHF) 및 선호도 최적화 방법(예: DPO, IPO)을 통한 대규모 언어 모델(LLM) 사후 학습은 정렬(alignment)을 크게 개선했지만, 이러한 접근법들은 단일 목표를 가정합니다. 실제로 인간은 유용성(helpfulness)과 무해성(harmlessness)과 같이 여러, 종종 상충하는 목표를 표현하며, 이를 자연스럽게 하나의 스칼라로 통합할 방법이 없습니다. 우리는 정책(policy)이 여러 목표를 동시에 균형 있게 맞춰야 하는 다목적 선호도 정렬 문제를 연구합니다. 우리는 주 목표를 최대화하면서 조정 가능한 안전성(safety) 임계값을 통해 부차적 목표에 대한 하한을 강제하는 제약 KL-정규화(KL-regularized) 프레임워크인 다목적 선호도 최적화(MOPO, Multi-Objective Preference Optimization)를 제안합니다. MOPO는 점별(point-wise) 보상 없이 쌍별(pairwise) 선호도에 직접 작동하며, 간단한 폐형(closed-form) 반복 업데이트를 허용합니다. 실증적으로 MOPO는 합성 벤치마크(benchmark)에서 파레토(Pareto) 최적 정책을 복원하고, 선호도 데이터(preference data)로 파인튜닝(fine-tuning)했을 때 더 높은 보상을 달성하고 기준선(baseline)을 파레토 지배(Pareto-dominate)하는 수십억 매개변수(parameter) 규모의 모델을 생성하며, 안정적이고 견고한 최적화(optimization) 역학을 보입니다.

arXiv:2606.00357v2cs.AI

약한(Weak) 신호에서 강한 모델로: LoRA 병합을 이용한 선호도 델타(Preference Delta) 집계

From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

강력한 대규모 언어 모델(LLM)을 학습(training)하려면 고품질의 감독(supervision)이 필요하지만, 이는 종종 부족합니다. 최근 연구에 따르면, 약한-더 약한 모델 쌍(예: Qwen3 4B 대 1.7B)에서 나온 짝지어진 선호도 데이터(preference data)는 개별 응답의 품질이 제한적임에도 불구하고, 상대적 품질 델타(deltas)를 통해 효과적인 감독 신호를 제공할 수 있으며, 우리는 이를 '약한(weak)' 신호라고 부릅니다. 이는 강력한 모델(예: Qwen3 8B)을 개선하기 위해 여러 '약한(weak)' 신호를 건설적으로 집계할 수 있는지에 대한 핵심 연구 질문으로 이어집니다. 이를 위해 우리는 선호도 델타 집계(Preference Delta Aggregation, PDA)를 제안합니다. 이는 각 약한-더 약한 모델 쌍에서 선호도 델타를 도출하고, 이를 선호도 최적화를 통해 학습된 LoRA 어댑터로 인스턴스화하며, LoRA 병합을 통해 결과 델타를 집계하는 최초의 프레임워크입니다. LoRA 병합 과정에서의 방향성 간섭을 더욱 완화하기 위해, 우리는 기하학적 정렬 병합(Geometric Alignment Merging, GAM)을 도입합니다. 이는 집계 전에 어댑터 부분 공간(subspace)을 정렬하는 기하학적 인식 병합 방법으로, 다양한 델타의 더 강력한 구성을 가능하게 합니다. 지식 추론 및 에이전트 검색 벤치마크(benchmark)에 대한 평가 결과, 여러 '약한(weak)' 신호를 집계하면 성능이 단일 신호를 초과하며, 추가 신호가 통합될수록 더 많은 이득이 있음을 보여줍니다. 이에 따라 GAM을 적용한 PDA는 지식 추론 및 에이전트 검색에서 각각 평균 6.8점 및 7.3점씩 강력한 모델의 성능을 향상시켰습니다. 이는 모든 단일 델타 및 다중 델타 기준선(baseline)을 능가하며, 최고의 단일 델타 기준선보다 각각 2.1점 및 4.3점 더 높은 성능을 보였습니다. 추가 분석에 따르면 이러한 성능 향상은 서로 다른 선호도 델타에 걸쳐 인코딩된 상호 보완적 기능의 효과적인 구성에 기인합니다.