필드 순서는 중요하지 않아야 한다: 구조화된 메타데이터 검색을 위한 순열 불변 임베딩 모델 미세조정
Field Order Should Not Matter: Permutation-Invariant Embedding Model Fine-Tuning for Structured Metadata Retrieval
우리는 각 레코드가 다양한 종류의 쿼리에 답하는 필드들로 구성된 소규모 스키마인 구조화된 메타데이터 카탈로그에 대한 검색을 연구한다. 텍스트 인코더로 레코드를 임베딩하려면 먼저 필드들을 문자열로 직렬화해야 하며, 이는 필드 순서의 선택을 강제한다. 우리는 일반적으로 구현 세부 사항으로 취급되는 이 선택이, 인코더를 미세조정한 후에는 검색 품질을 조용히 좌우함을 보인다. 표준 미세조정은 인덱스가 다른 필드 순서로 재구성될 때 nDCG@10 기준으로 7.4포인트를 잃는데, 이는 모델이 필드 레이블 대신 절대 위치를 읽기 때문이다. 우리는 순열 불변 미세조정($\textbf{PI-FT}$)을 제안한다. 이 방법은 새로 샘플링된 필드 순서와 무작위 필드 드롭아웃을 사용하여 각 레코드를 직렬화함으로써, 의미가 위치가 아닌 레이블에 결합되도록 한다. 이 변경은 데이터 로더에서 약 두 줄에 불과하며, 분포 내 정확도 손실은 무시할 수 있는 수준이고 순서 변경 페널티를 0.2포인트로 줄인다. 우리는 이를 개발 통계 검색 맥락에서 연구하는데, 이 카탈로그는 자체 호스팅이 가능할 만큼 작은 모델로 여러 언어에서 검색 가능해야 하는 약 10,000개의 지표로 구성된다. AI 어시스턴트와 에이전트가 공공 데이터 및 통계에 대한 접근을 점점 더 매개함에 따라, 이 검색 단계는 답변이 올바른 지표나 계열에 그라운딩되어 있는지를 결정하며, 검색 가능성은 AI를 통한 데이터 보급의 전제 조건이 된다. 사용 로그는 아무도 검색하지 않은 지표에 대한 학습 신호를 제공할 수 없으므로, 우리는 대신 쿼리를 생성한다. $\textbf{DevDataBench}$는 학습과 평가 모두를 위해 모든 지표를 포함하며 15개 언어에 걸쳐 그라운딩된 패싯 대상 쿼리들로 구성된 완전한 LLM 생성 벤치마크이다. 미세조정된 1억 1,800만 매개변수의 CPU 인코더는 $\texttt{text-embedding-3-large}$(nDCG@10 기준 0.707 대 0.556)를 포함한 모든 제로샷 기준선을 능가하며, 저자원 언어에서 가장 큰 성능 향상을 보인다. 우리는 벤치마크, 파이프라인, 모델, 그리고 재사용 가능한 PI-FT 프레임워크를 공개한다.