LLM의 후보 순위 결정에 필요한 그래프 근거는 무엇인가?
Evidence Diet: When Graph Evidence Helps LLMs Rank Competing Candidates
한국어 초록
여러 후보에 그래프 근거가 있을 때, 어느 후보에 어떤 지지자 수와 경로 수를 부여하는지가 중요할까? 본 연구는 Amazon Books와 MovieTV에서 대규모 언어 모델(LLM) 순위 결정기가 협업 기반 근거를 활용하는 방식을 조사한다. 사용자 수준 근거를 서로 바꾸면 순위 성능이 떨어졌지만, 조건을 맞춰 항목을 바꾸면 영향이 작았다. 오염 없이 학습한 체크포인트를 고정한 상태에서 관련 없는 카탈로그 텍스트를 추가하면, 순위의 99.9%가 여전히 유효했으나 Hit@1은 44.77%에서 38.70%로 떨어졌다. 동일하게 맞춘 세 시드 모두에서, 개수 기반 프롬프트와 경로 기반 프롬프트의 NDCG@5 차이는 경로 기반 학습보다 개수 기반 학습 뒤에 더 컸다. 차수를 맞추면 목표 후보의 경로는 보존하면서 더 많은 경쟁 후보에 그래프 근거를 부여할 수 있다. 차수를 맞춘 전체 개발 후보군에서 이력에 후보별 그래프 기록을 추가하자 NDCG@5는 Books에서 2.28포인트, MovieTV에서 2.54포인트 개선됐다. 목표 후보와 경쟁 후보가 모두 근거를 가진 경우, 경로 기반 및 개수 기반 순위 결정기는 개수 정보를 유지할 때 성능이 높았다. 이 개발 쿼리에서는 개수를 텍스트로 제시하는 것보다 이력 점수에 수치로 더하는 편이 나았다. 개수로 학습한 순위 결정기에서 개수 쌍을 그대로 유지한 채 근거가 있는 후보들 사이에서 바꾸면, 근거의 유무와 토큰 길이는 같았지만 NDCG@5가 Books 쿼리 141개에서 4.06포인트, MovieTV 쿼리 104개에서 3.26포인트 낮아졌다. 목표 후보와 경쟁 후보 모두에 근거가 있는, 이전에 사용하지 않은 Books 사용자 274명에서 모델을 고정하고 평가했다. 개수 쌍을 올바른 후보에 배정하면 쌍별 정확도가 6.07%포인트 개선됐다(95% 신뢰구간 [4.18, 8.00]).
원문 초록
When several candidates have graph support, does it matter which candidate receives which supporter and path counts? We study how LLM rankers use collaborative evidence on Amazon Books and MovieTV. Swapping user-level evidence degrades ranking, while matched item substitutions have little effect. On fixed clean-trained checkpoints, unrelated catalog text lowers Hit@1 from 44.77% to 38.70%, with 99.9% of rankings still valid. Across all three paired seeds, the NDCG@5 difference between count and path prompts was larger after count training than after path training. Degree matching preserves target paths while giving more rivals support. Across the full degree-matched development pools, adding candidate-level graph records to history improves NDCG@5 by 2.28 points on Books and 2.54 on MovieTV. When the target and a rival both have support, path- and count-trained rankers benefit from retaining counts. On these development queries, adding counts numerically to history scores outperforms presenting them as text. For count-trained rankers, exchanging intact count pairs among supported candidates preserves support and token length, yet lowers NDCG@5 by 4.06 points on 141 Books queries and 3.26 on 104 MovieTV queries. A frozen evaluation on 274 previously unused Books users with supported targets and rivals confirms the attribution effect: correct assignment improves pairwise accuracy by 6.07 percentage points (95% CI [4.18, 8.00]).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20837v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.