arXiv:2611.18179v3 cs.IR

전이되는 설명: 희소 오토인코더를 이용한 의료 검색의 해석

Explanations that Transfer: Interpreting Medical Retrieval with Sparse AutoEncoders

Diane Bouchacourt, Ga\"etan Brison

제출 2026-11-13

한국어 초록

사용자의 질의에 답하는 의료 AI 시스템은 대규모 문서 컬렉션에서 의료 지식을 검색하는 데 의존한다. 이러한 맥락에서 일반 모델을 의료 데이터셋으로 파인튜닝하면 검색 관련성을 향상시킬 수 있다. 그러나 현대 검색 시스템의 기반이 되는 밀집 임베딩은 대체로 불투명하여 그 결과의 작동 방식을 이해하기 어렵다. 더욱이 특정 의료 데이터셋에 적응하면 새로운 임상 코퍼스로의 전이성을 잃을 위험이 있다. 본 연구에서는 희소 오토인코더(SAE)를 의료 정보 검색에 적용하여 밀집 텍스트 임베딩을 의미적으로 해석 가능한 표현으로 변환함으로써 이러한 문제를 다룬다. 이를 위해 우리 모델은 재구성 목적 함수와, 질의-문서 관련성을 직접 보존하는 InfoNCE 대조 손실을 결합한다. 세 가지 임베딩 모델을 도메인 내 및 도메인 외 설정에서 여섯 개의 의료 검색 데이터셋에 걸쳐 평가한다. 의료 코퍼스로 학습한 희소 코드는 원래 임베딩보다 도메인 내 검색을 향상시키고, 특히 대상 코퍼스가 학습 코퍼스와 멀 때 밀집 임베딩보다 도메인 외 성능 손실이 적다. 중요하게도 실험 결과, 이 방법은 해당 특징을 가장 강하게 활성화하는 질의와 문서로부터 의미 내용을 추론할 수 있는 해석 가능한 특징을 산출한다. 이러한 특징의 해석은 특정 문서가 검색된 이유를 밝혀 주며, 학습 분포를 넘어서도 전이된다.

원문 초록

Medical AI systems that answer users' queries rely on retrieving medical knowledge from large document collections. In this context, finetuning general models on medical datasets can improve retrieval relevance. Yet the dense embeddings underlying modern retrieval systems remain largely opaque, making it difficult to understand the mechanics behind their results. Moreover, adapting to a specific medical dataset risks losing transferability to new clinical corpora. In this work, we tackle these issues by applying Sparse Autoencoders (SAEs) to medical information retrieval, transforming dense text embeddings into semantically interpretable representations. To do so, our model combines a reconstruction objective with an InfoNCE contrastive loss that directly preserves query-document relevance. We evaluate three embedding models across six medical retrieval datasets, both in-domain and out-of-domain. Trained on a medical corpus, our sparse codes improve in-domain retrieval over the original embeddings, and lose less out-of-domain performance than their dense counterparts, especially when the target corpus is distant from the training one. Importantly, our experiments show that the method yields interpretable features whose semantic content can be inferred from the queries and documents that activate them most strongly. The interpretation of these features sheds light on why a particular document was retrieved, and transfers beyond the training distribution.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18179v3제출 시각 미확인
  2. arXiv:2611.18179v2제출 시각 미확인
  3. arXiv:2611.18179v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.