arXiv:1905.12786

Large Scale Question Paraphrase Retrieval with Smoothed Deep Metric Learning

Daniele Bonadiman, Anjishnu Kumar, Arpit Mittal

제출 2019-05-29

원문 초록

The goal of a Question Paraphrase Retrieval (QPR) system is to retrieve equivalent questions that result in the same answer as the original question. Such a system can be used to understand and answer rare and noisy reformulations of common questions by mapping them to a set of canonical forms. This has large-scale applications for community Question Answering (cQA) and open-domain spoken language question answering systems. In this paper we describe a new QPR system implemented as a Neural Information Retrieval (NIR) system consisting of a neural network sentence encoder and an approximate k-Nearest Neighbour index for efficient vector retrieval. We also describe our mechanism to generate an annotated dataset for question paraphrase retrieval experiments automatically from question-answer logs via distant supervision. We show that the standard loss function in NIR, triplet loss, does not perform well with noisy labels. We propose smoothed deep metric loss (SDML) and with our experiments on two QPR datasets we show that it significantly outperforms triplet loss in the noisy label setting.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26976v1cs.CL공통 태그 Question Answering, Retrieval, Information Retrieval

학습된 컨텍스트 플래닝이 강력한 검색을 이기지 못할 때: 롱 컨텍스트 QA를 위한 플래닝, 라우팅, 리랭킹의 통제 연구

When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA

학습된 컨텍스트 플래닝(context planning)은 답변 모델(answer model)이 추론하기 전에 증거 단위(evidence atoms)를 선택한다. 본 연구에서는 강력한 검색(retrieval), 라우팅(routing), 예산 제한 선택기(budgeted-selector), 리랭킹(reranking) 통제 조건을 적용한 후에도 이러한 학습된 선택이 롱 컨텍스트 객관식 QA 성능을 향상시키는지 검증한다. 주요 진단 실험은 Qwen2.5-7B-Instruct를 사용하여 LongBench-v2의 객관식 문항 503개 전체에 대해 수행한다. 플래너(planner)는 학습 문항 140개와 개발 문항 28개에서 결과 기반으로 선택된 트레이스(trace)를 이용해 SFT로 학습되었으며, 503개 문항 분석에 이 문항들이 포함되므로 부분적으로 트랜스덕티브(transductive)하다. 18k 문자 예산에서 앵커드 하이브리드 검색(anchored hybrid retrieval)은 36.18%의 정확도를, BM25는 35.98%를 달성한 반면, 플래너 기반 직접 방식 중 최고 성능은 34.19%였다. 사용하지 않은 152개 문항의 테스트 분할에서도 앵커드 하이브리드가 더 높은 성능을 보였다(42.11% 대 36.84%). 누수 방지(leakage-safe) 라우터는 큰 오라클(oracle) 격차를 실제 성능으로 전환하지 못한다. 예산이 빠듯한 조건에서 최고의 플래너는 6k에서 0.40%p 앞서는 데 그치고 9k에서는 뒤처지며, 플래너 기반 리랭킹은 6k에서 +1.79%p의 추정치를 보이나 쌍체(paired) 신뢰구간이 0을 포함하고 9k에서는 통제 조건과 동률이다. 패킹 순서(packing-order) 및 점수 평탄도(score-flatness) 분석에서는 안정적인 메커니즘을 확인하지 못했다. 이 설정에서 학습된 플래닝은 강력한 검색을 대체하는 것이 아니라 약한 관련성 신호에 그친다.

arXiv:2609.27376v1cs.CL공통 태그 Question Answering, Retrieval, Information Retrieval

베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정

Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction

교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.

arXiv:2609.28007v1cs.CL공통 태그 Question Answering, Retrieval, Information Retrieval

검색 및 하드웨어 제약 하에서 튀르키예어 도메인 문서를 위한 오픈 가중치 LLM 평가

Evaluating Open-Weight LLMs for Turkish Domain Documents Under Retrieval and Hardware Constraints

튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.

arXiv:2609.28290v1cs.CL공통 태그 Retrieval, Metric Learning, Information Retrieval

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.27845v1cs.IR공통 태그 Question Answering, Retrieval, Information Retrieval

질의 함의 생성형 엔진 최적화

Query Implied Generative Engine Optimization

온라인에서 정보를 찾는 방식이 바뀌면서 검색 환경은 급격히 달라졌다. 전통적인 검색 엔진은 대규모 언어 모델(LLM)을 사용해 사용자 질의에 대한 자연어 응답을 생성하는 생성형 검색 엔진(GSE)으로 대체되고 있다. 콘텐츠 제작자에게 가시성은 더 이상 검색 결과 순위만으로 결정되지 않고, 생성된 응답 안에서 인용되는지 여부로 결정된다. 그러나 생성형 검색 엔진은 블랙박스이므로, 생성형 검색 환경에서 콘텐츠 가시성을 높이기 위한 기법 모음인 생성형 엔진 최적화(GEO)가 등장했다. 기존 대부분의 접근은 명시적 질의 또는 질의에서 파생된 신호에 의존하여 콘텐츠를 사용자 요구에 맞게 정렬한다. 우리는 문서로부터 사용자 의도를 직접 추론하는 질의 함의 생성형 엔진 최적화(QI-GEO)를 제안한다. 본 접근은 문서의 의도 공간을 근사하고, 잠재적 사용자 질의에 답하기 위해 빠져 있으면서도 관련 있을 수 있는 콘텐츠를 식별한다. GEO-Bench 및 Extended GEO-Bench에서의 평가는 객관·주관 지표 전반에서 개선을 보였다. QI-GEO는 객관 점수를 최대 15.9%, 주관 점수를 최대 17.6% 향상시켰으며, 인용 감소 대비 거의 두 배 많은 인용 증가를 얻었다. 이러한 결과는 명시적 질의 입력에 의존하지 않고도 문서에서 도출한 사용자 의도 근사가 가시성을 개선할 수 있음을 시사한다.

arXiv:2609.27279v1cs.AI공통 태그 Question Answering, Retrieval, Information Retrieval

EnSIMem: 장기 에이전트 메모리를 위한 개체 구조화 색인

EnSIMem: Entity-Structured Indexing for Long-Term Agent Memory

오랜 기간 동안 사용자와 상호작용하는 에이전트는 지속적으로 증가하는 상호작용 기록에서 사실, 선호도, 사건 및 변화를 상기(recall)할 수 있어야 합니다. 기존 메모리 시스템은 상호작용을 일반적인 요약본으로 압축하거나 익명의 텍스트 청크를 검색하는 경우가 많아, 에이전트가 올바른 개체(entity), 속성(property) 및 뒷받침하는 근거를 식별하기 어렵게 만듭니다. 본 논문에서는 에이전트를 위한 개체 구조화 장기 메모리 아키텍처인 EnSIMem을 제안합니다. 오프라인 구축 단계에서 이 시스템은 상호작용을 주제 일관성을 갖는 에피소드로 구성하고, [개체][개체 유형][속성:값] 형태의 대화 기반 색인 항목을 생성합니다. 각 항목은 원래의 대화 턴(turn), 시간 정보 및 사용 가능한 멀티모달 필드를 보존합니다. 온라인 상호작용 단계에서는 에이전트의 요청이 메모리 색인과 속성이 정렬된 근거 요구사항으로 분해됩니다. 이후 개체-속성 조회 및 적응형 검색을 통해 포인트, 시간적, 구성적, 집계 추론에 필요한 근거를 수집합니다. 에이전트는 정보 손실이 있는 메모리 요약본 대신 보존된 원본 근거로부터 응답을 생성합니다. 장기 에이전트 메모리 벤치마크에서 EnSIMem은 간결한 컨텍스트와 우수한 온라인 효율성을 유지하면서도 높은 답변 정확도를 달성합니다. 이러한 결과는 개체 구조화 색인과 에피소드 수준의 출처 추적이 에이전트의 장기 메모리를 위한 신뢰할 수 있는 기반을 제공함을 보여줍니다. 모델의 코드는 https://github.com/RamonMeng/EnSIMem 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.