개입할 것인가 말 것인가: 확률적 모델 혼합을 통한 추론 시점 정렬 안내
To Intervene or Not: Guiding Inference-time Alignment with Probabilistic Model Blending
대규모 언어 모델(LLM)의 널리 퍼진 배포로 인해, 새로 학습된 모델이 사용자 지시에 안전하고 효과적으로 응답하도록 하기 위해 모델 정렬이 필수적이 되었습니다. 여러 방법 중에서, 추론 시점 정렬(inference-time alignment)은 출력 생성 중에만 개입(즉, 가이던스를 제공)하므로 종종 더 비용 효율적입니다. 기존 제안들은 특정 정렬된 모델에서 추출한 가이던스를 적용하지만, 그 신뢰성을 적절히 평가하지 못합니다. 그럼에도 불구하고, 우리의 체계적인 평가에 따르면 가이던스의 효과성은 모델마다 크게 다릅니다. 비효과적인 가이던스는 추가적인 혼란을 야기하고 결과적으로 더 많은 개입을 유발하므로, 이러한 과도한 개입은 일반적으로 낮은 성능을 나타냅니다. 개입을 더 효과적이고 효율적으로 만들기 위해, 우리는 이진 결정에서 벗어나 두 모델의 지식을 통합하는 하이브리드 분포를 생성하는 BlendIn이라는 추론 시점 정렬 프레임워크를 소개합니다. BlendIn은 품질 인식 정렬(quality-aware alignment)을 수행하고 신뢰성을 기반으로 각 모델의 기여에 비례하여 가중치를 부여함으로써 추론 시점 정렬을 안정화합니다. 기존 연구와 비교할 때, BlendIn은 신뢰할 수 없는 제안의 가중치를 낮추면서 유익한 가이던스를 보존합니다. BlendIn은 오정렬된 가이던스에 대한 진단 신호와 완화 전략을 모두 제공하며, 도전적인 모델 쌍에서 최대 50%까지 일관된 성능 향상을 달성했습니다. 우리의 코드는 다음에서 확인할 수 있습니다: https://github.com/DecayingSeart/BlendIn.