거울 깨기: 활성화 기반 접근법을 통한 LLM 평가자의 자기 선호 완화
Breaking the Mirror: Activation-Based Mitigation of Self-Preference in LLM Evaluators
대규모 언어 모델(LLM)이 자동화된 평가자로 점점 더 많이 활용되고 있지만, 다른 모델의 출력보다 자신의 출력을 선호하는 경향인 "자기 선호 바이어스(self-preference bias)"를 겪고 있습니다. 이러한 바이어스는 특히 선호도 튜닝(preference tuning) 및 모델 라우팅과 같은 작업의 평가 파이프라인에서 공정성과 신뢰성을 저해합니다. 본 연구에서는 재학습 없이 추론(inference) 시점에 경량 스티어링 벡터(steering vector)를 통해 이 문제를 완화할 수 있는지 조사합니다. 연구진은 자기 선호 바이어스를 정당한 자기 선호 사례와 부당한 자기 선호 사례로 구분하는 큐레이션된 데이터셋을 도입하고, 대조 활성화 추가(Contrastive Activation Addition, CAA)와 최적화 기반 접근법의 두 가지 방법을 사용하여 스티어링 벡터를 구축합니다. 실험 결과, 스티어링 벡터는 부당한 자기 선호 바이어스를 최대 97%까지 줄일 수 있어 프롬프팅 및 직접 선호 최적화(DPO) 베이스라인을 크게 능가하는 것으로 나타났습니다. 그러나 스티어링 벡터는 정당한 자기 선호 및 편향되지 않은 일치에서는 불안정한 모습을 보였으며, 이는 자기 선호가 다중 또는 비선형 방향에 걸쳐 있음을 시사합니다. 이는 LLM 판사(LLM-as-a-judge)를 위한 안전장치로서 스티어링 벡터의 가능성과 한계를 모두 강조하며, 보다 강건한 개입 방법에 대한 필요성을 제시합니다.