The Silent Vote: Improving Zero-Shot LLM Reliability by Aggregating Semantic Neighborhoods
한국어 초록
대규모 언어 모델은 복잡한 추론 작업에서 제로샷 분류기로 점점 더 많이 사용되고 있습니다. 그러나 표준 제약 디코딩은 우리가 재정규화 편향(Renormalization Bias)이라고 정의하는 현상을 겪습니다. 모델이 소수의 타깃 레이블로 제한될 때, 표준 소프트맥스 연산은 원래 분포에서 의미적으로 유사한 동의어에 할당된 확률 질량을 버립니다. 우리가 무음 투표(Silent Vote)라고 부르는 이러한 정보 손실은 인위적인 과신과 부적절한 보정을 초래합니다. 이에 우리는 각 타깃 레이블 주변의 의미적 이웃이 가진 점수를 집계함으로써 이 손실된 정보를 복원하는 추론 시 레이어인 시맨틱 소프트맥스(Semantic Softmax)를 제안합니다. 우리는 이 접근법을 GoEmotions 및 Civil Comments 데이터셋을 사용하여 Qwen-3와 Phi-4-mini 모델에서 평가했습니다. 결과는 모든 평가 지표에서 일관된 개선을 보여주었습니다. 시맨틱 소프트맥스는 기대 보정 오차(Expected Calibration Error, ECE)와 브라이어 점수(Brier Score)를 크게 낮추는 동시에, AUROC와 Macro-F1 측면에서 판별 성능도 향상시켰습니다. 언어적 뉘앙스를 반영함으로써, 본 방법은 제로샷 분류를 위한 더 잘 보정되고 더 정확한 대안이 됩니다.
요약
대규모 언어 모델(Large Language Model, LLM)이 복잡한 추론형 과제에서 제로샷(zero-shot) 분류기로 활용되는 사례가 늘어나면서, 단순한 정답 예측을 넘어 예측 확률의 신뢰성까지 함께 확보하는 문제가 중요해지고 있습니다. 특히 표준 제약 디코딩(constrained decoding)은 타깃 라벨 집합만을 대상으로 소프트맥스(softmax)를 적용하는 과정에서, 원래 분포에 존재하던 의미적으로 가까운 표현들의 확률 질량을 버리게 되며, 저자들은 이러한 현상을 정규화 편향(Renormalization Bias)으로 정의합니다. 이로 인해 모델은 실제보다 더 확신에 찬 예측을 내놓기 쉽고, 결과적으로 캘리브레이션(calibration)이 무너지는 문제가 발생합니다. 논문은 이러한 정보 손실이 단순한 계산상의 부작용이 아니라, 라벨 주변의 동의어와 패러프레이즈가 조용히 지지를 보내고 있었음에도 그 신호가 정규화 과정에서 사라지는 현상이라는 점에 주목하며, 이를 Silent Vote라는 개념으로 설명합니다. 이러한 문제의식을 바탕으로 제안된 Semantic Softmax는 학습을 다시 수행하지 않고 추론 시점(inference-time)에만 작동하는 경량 보정 층으로, 각 타깃 라벨을 고립된 기호가 아니라 그 주변의 의미 이웃(semantic neighborhood)과 함께 해석합니다. 구체적으로는 라벨과 의미적으로 가까운 표현들의 점수를 함께 집계하여, 원래 분포 속에 숨어 있던 지지 신호를 회복하고 라벨 확률을 더 정직하게 재정규화합니다. 이 방식은 자연어에서 동일한 개념이 여러 어휘 형태로 표현된다는 사실을 반영하므로, 감정 분류나 유해 발화 탐지처럼 경계가 미묘한 과제에서 특히 유용합니다. 실험은 Qwen-3와 Phi-4-mini 모델에 대해 GoEmotions와 Civil Comments 데이터셋을 사용하여 수행되었으며, Semantic Softmax가 Expected Calibration Error(ECE)와 Brier Score를 일관되게 낮추는 동시에 AUROC와 Macro-F1도 함께 향상시킨다는 점을 보여주었습니다. 이는 단순히 예측을 보수적으로 만드는 보정이 아니라, 의미적으로 타당한 추가 신호를 다시 결합함으로써 정확도와 신뢰성을 동시에 끌어올린 결과로 해석할 수 있습니다. 결국 이 연구는 제로샷 LLM 분류에서 중요한 것은 후보 라벨만을 놓고 승자를 고르는 것이 아니라, 그 라벨을 지지하는 의미 공간 전체를 함께 고려하는 일이라는 점을 설득력 있게 제시하며, 보다 캘리브레이션된 분류를 위한 실용적인 대안을 제안합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.