카드를 나누듯 배정하기: 목록 단위 순위 재산정을 위한 더 나은 호출 일정
Deal With It: On Better Schedules for Listwise Reranking
한국어 초록
목록 단위 대규모 언어 모델(LLM) 순위 재산정기는 호출 한 번으로 문서 수백 개의 순위를 신뢰성 있게 매기기 어렵다. 따라서 호출을 조율하는 일정에 의존한다. 병렬 일정은 후보를 그룹으로 나누고 각 그룹에서 정해진 수만 다음 단계로 보낸다. 한 그룹에 할당량보다 많은 상위 구절이 들어가면 그중 일부가 탈락해 비용이 큰 보정 호출이 필요해진다. 이처럼 할당량이 결과를 제한하는 경우에는 후보를 나누는 방식이 중요하다. 기대 탈락 수를 기준으로 가장 좋은 방식은 카드를 나눠 주듯 검색기 순위에 따라 그룹마다 번갈아 후보를 배정하는 것이다. 개념 자체는 새롭지 않지만 그 효과는 분석되지 않았다. 단순한 검색기 모델 아래에서 그룹별 할당량을 동일하게 두면 어떤 분할도 이 방식보다 실제 상위 10개 후보를 평균적으로 덜 탈락시키지는 못한다. 검색기가 개선될수록 연속된 순위 구간으로 나누는 방식은 더 많은 상위 후보를 탈락시킴을 증명한다. 분석에서 도출한 가장 단순한 일정 DealRank는 LLM 여섯 개에서 두 라운드만으로 최상위 일정과 평균 nDCG@10 차이가 0.1점 이내였다. 후보가 최대 1,000개인 경우까지 첫 호출을 병렬로 실행하는 BlitzRank보다 일관되게 1.1~1.4배 빨랐다. 후보가 1,000개일 때 세 라운드가 필요했으며 슬라이딩 윈도보다 11배 빨랐다. BlitzRank 같은 기존 일정에도 순환 배정을 적용하면 보정 호출이 필요한 쿼리가 59%에서 14%로 줄어 품질의 유의한 변화 없이 지연 시간이 줄었다. 예측과 같이 할당량이 4개면 무작위 분할의 성능도 비슷했다. 다만 결과가 시드에 좌우되며, 밀집 검색기에서 할당량이 1개일 때는 순환 배정보다 nDCG@10이 1.3점 낮았다.
원문 초록
Listwise LLM rerankers cannot reliably rank hundreds of documents in a single call, and rely on schedules to orchestrate their calls. Parallel schedules split candidates into groups and advance a fixed quota from each. When a group holds more of the top passages than its quota, some are cut, and expensive repair calls become required. We show that the way candidates are split matters where such a quota can bind, and that, in expected cuts, the best split there deals them round-robin by retriever rank, like cards. Although not conceptually new, dealing has remained unanalyzed. We prove that, under a simple retriever model, no split with equal quotas cuts fewer of the true top ten on average, and that contiguous chunks cut more as the retriever improves. DealRank, the simplest schedule our analysis allows, is on average within 0.1 nDCG@10 points of the best schedules over six LLMs, in two rounds. It is consistently 1.1 to 1.4 times faster than BlitzRank with concurrent first calls up to a thousand candidates. There, it needs three rounds and is eleven times faster than the sliding window. In existing schedules such as BlitzRank, dealing reduces repair calls from 59% of queries to 14%, improving latency with no significant change in quality. Random partitioning appears equivalent at a quota of four, as predicted, but ties results to the seed and trails by 1.3 nDCG@10 points at a quota of one over a dense retriever.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22392v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.