SPLADE 등 학습된 희소 검색(LSR)에서 MLM-헤드 L2 norm이 큰 사전학습 인코더는 스케일 불일치로 희소 활성화와 매칭 점수가 왜곡되어 학습이 불안정해질 수 있음을 보입니다. SPLADE 학습 전 MLM-헤드 투영을 상수로 재조정하는 초기화 보정은 아키텍처나 목표를 바꾸지 않고도 학습을 안정화하며, ModernBERT·Ettin 등에서 도메인 내·외 벤치마크 성능을 크게 높여 BERT-SPLADE 기준선과 대등하거나 이를 능가합니다.
밀집 검색(dense retrieval)은 정보 검색에서 지배적인 패러다임이 되었으며, 여기서 각 문서는 쿼리와의 벡터 임베딩 내적을 통해 점수가 매겨지고, 점수가 가장 높은 탑-$k$ 문서가 검색됩니다. 그러나 각 문서의 점수는 쿼리와 자기 자신의 임베딩에만 의존하므로, 검색 과정은 전체 코퍼스의 내용을 고려하지 않습니다. 따라서 밀집 검색은 코퍼스에서 의미적으로 유사한 문서를 선택하는 것을 피할 수 없으며, 이는 다양성이 없고 중복된 검색 문서 집합을 초래할 수 있습니다. 이를 위해 우리는 검색을 결합 디코딩(joint decoding) 문제로 접근하며, 여기서 문서는 나머지 코퍼스의 문맥을 고려하여 집합으로서 선택됩니다. 이를 달성하기 위해 우리는 비음수 엘라스틱 넷(Non-Negative elastic Net, NNN) 디코딩을 제안합니다. 이 방법은 임베딩이 희소 비음수 선형 결합으로 쿼리 임베딩을 공동으로 재구성하는 문서들을 선택합니다. 우리의 주요 이론적 결과는 밀집 검색과 NNN 디코딩 사이의 엄격한 구분을 확립합니다. 모든 코퍼스에 대해 밀집 검색에 의해 올바르게 처리된 모든 쿼리는 NNN 디코딩에 의해서도 처리되며, 상관관계가 있는 문서를 포함하는 코퍼스에서는 NNN 디코딩이 밀집 검색이 처리할 수 없는 쿼리를 추가로 처리합니다. 실험 결과에 따르면, 내적 기반 점수 매기기를 위해 학습된 동결된 임베딩에 NNN 디코딩을 적용하면 여러 벤치마크에서 일관된 개선이 나타납니다. 더 나아가 우리는 NNN 디코딩을 위해 임베딩을 최적화하는 엔드-투-엔드 학습 절차를 소개하며, 이는 밀집 검색과 비교하여 모든 지표와 벤치마크에서 상당한 성능 향상을 이끌어냅니다. 우리의 연구는 내적 기반 점수 매기기라는 표준 관행을 넘어, 정보 검색에서 밀집 임베딩을 활용하는 새로운 패러다임을 확립합니다.
이 보고서는 멀티턴 검색 및 질의응답에 관한 SemEval-2026 Task 8에 대한 우리의 참여를 설명합니다. 이 태스크는 4개의 도메인(금융, 클라우드 문서, 정부, 위키백과)에 걸쳐 대화형 시스템을 평가하며, 사용 가능한 컬렉션에 완전한 응답을 생성하기에 충분한 증거가 포함되어 있지 않은 답변 불가능한 쿼리를 포함합니다. 우리는 학습 기반 희소 검색을 대규모 언어 모델(LLM) 기반 재순위화 및 생성과 결합하는 멀티턴 검색-증강 생성(RAG) 파이프라인을 제안합니다. 희소 검색을 기본 검색 방법으로 사용하여, 우리는 도메인 간의 강력한 일반화 성능을 활용합니다. 또한, 우리는 대화형 쿼리 재작성, 포인트와이즈(pointwise) 및 리스트와이즈(listwise) 재순위화, 그리고 최종 응답 생성을 위해 LLM의 긴 컨텍스트(long-context) 기능을 활용하며, 이 각 단계는 전체 대화 기록에 조건화됩니다. 이 다단계 설계는 검색 및 생성 전반에 걸쳐 대화 컨텍스트를 효과적으로 통합할 수 있게 하여, 도메인 간 견고성을 향상시킵니다.