약한(Weak) 신호에서 강한 모델로: LoRA 병합을 이용한 선호도 델타(Preference Delta) 집계
From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging
강력한 대규모 언어 모델(LLM)을 학습(training)하려면 고품질의 감독(supervision)이 필요하지만, 이는 종종 부족합니다. 최근 연구에 따르면, 약한-더 약한 모델 쌍(예: Qwen3 4B 대 1.7B)에서 나온 짝지어진 선호도 데이터(preference data)는 개별 응답의 품질이 제한적임에도 불구하고, 상대적 품질 델타(deltas)를 통해 효과적인 감독 신호를 제공할 수 있으며, 우리는 이를 '약한(weak)' 신호라고 부릅니다. 이는 강력한 모델(예: Qwen3 8B)을 개선하기 위해 여러 '약한(weak)' 신호를 건설적으로 집계할 수 있는지에 대한 핵심 연구 질문으로 이어집니다. 이를 위해 우리는 선호도 델타 집계(Preference Delta Aggregation, PDA)를 제안합니다. 이는 각 약한-더 약한 모델 쌍에서 선호도 델타를 도출하고, 이를 선호도 최적화를 통해 학습된 LoRA 어댑터로 인스턴스화하며, LoRA 병합을 통해 결과 델타를 집계하는 최초의 프레임워크입니다. LoRA 병합 과정에서의 방향성 간섭을 더욱 완화하기 위해, 우리는 기하학적 정렬 병합(Geometric Alignment Merging, GAM)을 도입합니다. 이는 집계 전에 어댑터 부분 공간(subspace)을 정렬하는 기하학적 인식 병합 방법으로, 다양한 델타의 더 강력한 구성을 가능하게 합니다. 지식 추론 및 에이전트 검색 벤치마크(benchmark)에 대한 평가 결과, 여러 '약한(weak)' 신호를 집계하면 성능이 단일 신호를 초과하며, 추가 신호가 통합될수록 더 많은 이득이 있음을 보여줍니다. 이에 따라 GAM을 적용한 PDA는 지식 추론 및 에이전트 검색에서 각각 평균 6.8점 및 7.3점씩 강력한 모델의 성능을 향상시켰습니다. 이는 모든 단일 델타 및 다중 델타 기준선(baseline)을 능가하며, 최고의 단일 델타 기준선보다 각각 2.1점 및 4.3점 더 높은 성능을 보였습니다. 추가 분석에 따르면 이러한 성능 향상은 서로 다른 선호도 델타에 걸쳐 인코딩된 상호 보완적 기능의 효과적인 구성에 기인합니다.