문장이 아닌 증거를 세어라: 장문 텍스트 가치관 측정을 위한 LLM 판단의 템퍼드 증거 융합(Tempered Evidence Fusion)
Count Evidence, Not Sentences: Tempered Evidence Fusion of LLM Judgments for Long-Text Value Measurement
대규모 언어 모델(LLM)은 긴 소셜 미디어 게시물로부터 대중의 가치 지향을 측정하는 데 점점 더 많이 사용되고 있으나, 이러한 게시물에는 배경 설명, 인용, 양보 표현이 섞여 있고 입장을 드러내는 문장은 소수에 불과한 경우가 많다. 기존 접근법은 모델이 문서 수준 레이블을 직접 예측하도록 하여 과신(overconfident)에 빠질 수 있거나, 문장 수준 예측을 다수결(majority voting) 또는 소프트 보팅(soft voting)으로 집계하여 불확실한 문장과 결정적인 문장을 동등하게 유용한 정보로 취급한다. 본 논문은 장문 텍스트 가치관 측정을 의사결정 융합(decision-fusion) 문제로 정식화하고, 일반화 베이지안 사후분포(generalized Bayesian posterior)로부터 도출된 정규화된 정보 이득(information gain)으로 각 문장의 로그 오즈(log-odds)에 가중치를 부여하는 학습이 필요 없는(training-free) 규칙인 템퍼드 증거 융합(Tempered Evidence Fusion, TEF)을 제안한다. 이를 통해 불확실한 문장에 대해서는 융합 점수가 거의 0에 가까워지면서도, 결정적인 증거에 대해서는 베이즈 최적 가중치가 유지된다. 또한 5년에 걸친 공공 사건과 여섯 가지 가치 차원을 아우르는 중국어 및 영어 게시물 8,358건으로 구성된 벤치마크인 Multi-event Insight Network Dimensions(MIND)를 새롭게 소개한다. MIND에서 TEF는 다섯 개의 LLM과 두 언어에 걸쳐, Direct, Majority Vote, Soft Vote 중 가장 강력한 기준선(baseline)보다 평균 4.5 정확도 포인트, 4.6 macro-F1 포인트 높은 성능을 보였다. MIND 데이터셋과 코드는 https://github.com/Kzczc/ICASSP2027-TEF 에서 확인할 수 있다.