ListConRanker: A Contrastive Text Reranker with Listwise Encoding
원문 초록
Reranker models aim to re-rank the passages based on the semantics similarity between the given query and passages, which have recently received more attention due to the wide application of the Retrieval-Augmented Generation. Most previous methods apply pointwise encoding, meaning that it can only encode the context of the query for each passage input into the model. However, for the reranker model, given a query, the comparison results between passages are even more important, which is called listwise encoding. Besides, previous models are trained using the cross-entropy loss function, which leads to issues of unsmooth gradient changes during training and low training efficiency. To address these issues, we propose a novel Listwise-encoded Contrastive text reRanker (ListConRanker). It can help the passage to be compared with other passages during the encoding process, and enhance the contrastive information between positive examples and between positive and negative examples. At the same time, we use the circle loss to train the model to increase the flexibility of gradients and solve the problem of training efficiency. Experimental results show that ListConRanker achieves state-of-the-art performance on the reranking benchmark of Chinese Massive Text Embedding Benchmark, including the cMedQA1.0, cMedQA2.0, MMarcoReranking, and T2Reranking datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
검색-증강 생성을 위한 출처 인식 재순위화: 신뢰도 사전 접근법
Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach
표준 검색-증강 생성(RAG) 파이프라인은 정보 출처나 신뢰성을 고려하지 않고 검색된 문서를 의미적 유사도만으로 순위를 매긴다. 본 연구는 도메인 정보에 기반한 출처 신뢰도 사전(prior)을 통합하는, RAG 검색 순위 매김에 대한 단순하고 해석 가능한 수정을 평가한다. 각 문서에는 출처 유형에 따라 사전 lambda(s)가 부여되며, 검색 점수는 score(q, d) = sim(q, d) * lambda(s)로 재가중된다. 해당 프레임워크는 120개 문서로 구성된 건강 도메인 코퍼스에서 유사도만 사용하는 기준선과 비교하여 평가되었다. 이 통제된 설정에서 출처 인식 재순위화는 Precision@5를 0.48에서 0.72로 향상시키고, 메타데이터를 통해 신뢰도가 낮은 출처를 식별할 수 있는 평가된 위협 모델 하에서 평균 적대적 문서 검색을 감소시킨다. 모든 실험은 Milwaukee School of Engineering의 고성능 컴퓨팅 클러스터인 Rosie에서 수행되었으며, 이는 전체 실험 파이프라인을 안정적이고 재현 가능하게 실행하는 데 필요한 GPU 가속 인프라를 제공했다. 이 결과는 기술된 실험 설정의 한계 내에서, RAG 파이프라인에서 출처 품질 저하에 대한 잠재적 완화 전략을 시사한다.
도구 적응형 LLM 리랭커
Tool-Adaptive LLM Reranker
생성형 대규모 언어 모델(LLM)은 정보 검색 분야를 혁신했으나, 엄격히 매개변수에 의존하는 특성으로 인해 인식론적 경계를 벗어난 복잡한 쿼리에 직면할 때 심각한 환각이 빈번하게 발생한다. 외부 도구 호출이 이를 완화할 수 있으나, 리랭킹 중 모든 문서에 대해 무차별적으로 검색 도구를 호출하면 허용하기 어려운 지연 오버헤드가 발생하여 정확도-효율성 딜레마를 야기한다. 이 문제를 해결하기 위해 우리는 포인트와이즈 관련성 점수 산출을 에이전트 기반 마르코프 결정 과정으로 공식화한 새로운 프레임워크인 TALRanker를 제안한다. 이를 2단계 학습 패러다임으로 최적화한다. 초기 워밍업 단계에서는 언어 보존 하이브리드 손실을 활용하여 기존 생성 능력의 파국적 망각을 방지한다. 이후 강화학습에 탑재된 비대칭 비용 인식 보상이 정책으로 하여금 확신이 있을 때는 최대 효율을 위해 도구를 자율적으로 우회하고, 불확실할 때는 심각한 환각 페널티를 피하기 위해 선택적으로 외부 증거를 검색하도록 강제한다. 광범위한 평가를 통해 TALRanker가 표준 및 추론 집약적 검색 벤치마크에서 최첨단 성능을 달성하며, 포인트와이즈 리랭커와 동등한 처리량을 유지하면서도 매개변수가 많은 추론 모델을 능가함을 입증한다.
SemEval-2026 Task 8에서의 5ting: LLM 기반 재순위화 및 충실도 제어를 통한 강력한 엔드-투-엔드 멀티턴 RAG
5ting at SemEval-2026 Task 8: Strong End-to-End Multi-Turn RAG via LLM-Based Reranking and Faithfulness Control
본 논문에서는 멀티턴 검색-증강 생성(RAG) 시스템을 평가하는 SemEval-2026 Task 8(MTRAGEval)을 위한 시스템 5ting을 소개한다. 멀티턴 RAG는 문맥 이탈(context drift), 불충분한 명세(under-specification), 환각(hallucination) 위험을 수반한다. 본 시스템은 FAISS 인덱싱을 활용한 BGE-M3 밀집 검색, 이중 쿼리 병합 검색, LLM 기반 재순위화(reranking)를 결합하고, 검색된 증거에 제한된 역할 분리 생성(role-separated generation)을 후속 단계로 적용한다. 검색기는 Task A에서 nDCG@5 = 0.4719를 달성하였으며, 엔드-투-엔드 시스템은 Task C에서 조화 점수(harmonic score) 0.5597, RL_F = 0.7692로 순위에 올랐다.
Beyond the Reranker: Do RAG Retrieval Enhancements Help Once a Strong Reranker Is Present?
PETRA: Transforming Web Text for Petroleum-Engineering Domain Adaptation
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.