PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30473v1cs.CL

필드 순서는 중요하지 않아야 한다: 구조화된 메타데이터 검색을 위한 순열 불변 임베딩 모델 미세조정

Field Order Should Not Matter: Permutation-Invariant Embedding Model Fine-Tuning for Structured Metadata Retrieval

우리는 각 레코드가 다양한 종류의 쿼리에 답하는 필드들로 구성된 소규모 스키마인 구조화된 메타데이터 카탈로그에 대한 검색을 연구한다. 텍스트 인코더로 레코드를 임베딩하려면 먼저 필드들을 문자열로 직렬화해야 하며, 이는 필드 순서의 선택을 강제한다. 우리는 일반적으로 구현 세부 사항으로 취급되는 이 선택이, 인코더를 미세조정한 후에는 검색 품질을 조용히 좌우함을 보인다. 표준 미세조정은 인덱스가 다른 필드 순서로 재구성될 때 nDCG@10 기준으로 7.4포인트를 잃는데, 이는 모델이 필드 레이블 대신 절대 위치를 읽기 때문이다. 우리는 순열 불변 미세조정($\textbf{PI-FT}$)을 제안한다. 이 방법은 새로 샘플링된 필드 순서와 무작위 필드 드롭아웃을 사용하여 각 레코드를 직렬화함으로써, 의미가 위치가 아닌 레이블에 결합되도록 한다. 이 변경은 데이터 로더에서 약 두 줄에 불과하며, 분포 내 정확도 손실은 무시할 수 있는 수준이고 순서 변경 페널티를 0.2포인트로 줄인다. 우리는 이를 개발 통계 검색 맥락에서 연구하는데, 이 카탈로그는 자체 호스팅이 가능할 만큼 작은 모델로 여러 언어에서 검색 가능해야 하는 약 10,000개의 지표로 구성된다. AI 어시스턴트와 에이전트가 공공 데이터 및 통계에 대한 접근을 점점 더 매개함에 따라, 이 검색 단계는 답변이 올바른 지표나 계열에 그라운딩되어 있는지를 결정하며, 검색 가능성은 AI를 통한 데이터 보급의 전제 조건이 된다. 사용 로그는 아무도 검색하지 않은 지표에 대한 학습 신호를 제공할 수 없으므로, 우리는 대신 쿼리를 생성한다. $\textbf{DevDataBench}$는 학습과 평가 모두를 위해 모든 지표를 포함하며 15개 언어에 걸쳐 그라운딩된 패싯 대상 쿼리들로 구성된 완전한 LLM 생성 벤치마크이다. 미세조정된 1억 1,800만 매개변수의 CPU 인코더는 $\texttt{text-embedding-3-large}$(nDCG@10 기준 0.707 대 0.556)를 포함한 모든 제로샷 기준선을 능가하며, 저자원 언어에서 가장 큰 성능 향상을 보인다. 우리는 벤치마크, 파이프라인, 모델, 그리고 재사용 가능한 PI-FT 프레임워크를 공개한다.

arXiv:2606.24200v1cs.CL

MMed-Bench-IR: A Heterogeneous Benchmark for Multilingual Medical Information Retrieval

임상 RAG(검색-증강 생성)에서 영어 중심 근거 코퍼스에 대한 다국어 검색을 평가하기 위해, 6개 언어와 교차언어 의료 QA 검색·개념 변별·다국어 증거 검색의 3가지 이질적 과제로 구성된 MMed-Bench-IR 벤치마크를 제안한다. 10개 시스템 평가에서 생의학 인코더는 영어 nDCG@10 0.818에서 일본어 0.056으로 급락하는 등 교차언어 실패가 드러나, 기존 영어 전용 벤치마크로는 포착하기 어려운 다국어·생의학 검색 격차를 보여준다.

arXiv:2606.18801v1cs.IR

SHIFT: 다국어 정보 검색을 위한 인덱스 측 특징 변환을 통한 의미적 조화

SHIFT: Semantic Harmonization via Index-side Feature Transformation for Multilingual Information Retrieval

다국어 밀집 검색 모델이 쿼리와 같은 언어 문서를 과도하게 선호하는 언어 바이어스를 줄이기 위해, 병렬 번역 쌍으로 추정한 상대적 언어 벡터를 인덱싱 단계에서 문서 임베딩에서 차감하는 학습 불필요 방법 SHIFT를 제안한다. 4개 MLIR 벤치마크와 다양한 밀집 검색 모델 평가에서 언어 바이어스 완화와 MLIR 성능 향상이 확인되었다.

arXiv:2606.13537v1cs.CL

혼합이 언제 도움이 되는가? 다국어 밀집 검색에서 쿼리 임베딩 보간 분석

When Does Mixing Help? Analyzing Query Embedding Interpolation in Multilingual Dense Retrieval

다국어 밀집 검색(dense retrieval)에서 임베딩 수준의 보간을 통해 혼합 언어 쿼리를 구성한 실험 결과, 최적의 혼합 비율이 대다수의 경우 단일 언어 쿼리보다 우수한 성능을 보였습니다. 특히 영어의 지배적인 영향력과 언어 유형학적 거리에 따른 비대칭적인 혼합 효과를 발견하여 언어 혼합 민감도가 구조적이고 예측 가능함을 입증했습니다.