FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge
LLM-as-a-Judge 시스템의 적응성 부족, 위치·길이·형식 등 비의미적 단서로 인한 편향, pointwise-pairwise 간 판단 불일치 문제를 해결하기 위해 FairJudge를 제안하며, 판단 행동 자체를 학습 가능한 정책으로 모델링한다. SFT-DPO-GRPO 커리큘럼 학습 패러다임과 고정보밀도 데이터셋을 활용해 루브릭 적응성, 편향 완화, 평가 모드 간 일관성을 단계적으로 정렬함으로써 더 큰 범용 LLM 대비 경쟁적이거나 우수한 판단 성능을 달성했다.