Homa at SemEval-2025 Task 5: Aligning Librarian Records with OntoAligner for Subject Tagging
원문 초록
This paper presents our system, Homa, for SemEval-2025 Task 5: Subject Tagging, which focuses on automatically assigning subject labels to technical records from TIBKAT using the Gemeinsame Normdatei (GND) taxonomy. We leverage OntoAligner, a modular ontology alignment toolkit, to address this task by integrating retrieval-augmented generation (RAG) techniques. Our approach formulates the subject tagging problem as an alignment task, where records are matched to GND categories based on semantic similarity. We evaluate OntoAligner's adaptability for subject indexing and analyze its effectiveness in handling multilingual records. Experimental results demonstrate the strengths and limitations of this method, highlighting the potential of alignment techniques for improving subject tagging in digital libraries.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
CoVeR: 에이전트형 검색에서 커버리지 기반 검증기 호출 라우팅
CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval
에이전트형 검색(agentic retrieval) 시스템은 일련의 검색 쿼리를 발행하며, 각 단계에서 지금까지 수집한 증거가 검색을 멈추기에 충분한지 판단해야 한다. 이 판단을 LLM 검증기(verifier)나 프롬프트 판정기(prompt judge)에 위임하면 중단 시점 결정이 신뢰할 수 있게 되지만, 검증기가 매 검색 단계마다 계속 늘어나는 증거를 다시 처리해야 하므로 상당한 반복 비용이 발생한다. 본 논문은 이러한 호출 대부분을 답변 정확도를 실질적으로 변화시키지 않고 생략할 수 있음을 보인다. 고정된(frozen) 문장 임베딩 커버리지 마진(coverage margin)에 대한 단일 임계값만으로 증거가 아직 명백히 불완전한 상태를 탐지할 수 있으며, 검증기는 나머지 모호한 경우에만 호출된다. 우리는 이러한 게이트를 CoVeR(Coverage-based Verifier Routing, 커버리지 기반 검증기 라우팅)라고 부른다. 전체 규모 실험 이전에 평가 프로토콜을 고정한 상태에서 세 가지 멀티홉 QA 벤치마크를 대상으로 실험한 결과, CoVeR 게이트를 적용한 에이전트는 전체 예산(full-budget) 에이전트 및 항상 검증하는(always-verify) 기준선 모두와 EM 1점 미만의 차이 이내로 동등한 답변 정확도를 보였다. 이 방식은 검증기 호출을 62-68% 줄이며, 포화(saturated) 환경에서는 93%까지 줄인다. 증거 개수, 어휘 중첩(lexical overlap), BM25 관련도에 기반한 라우터는 단독으로 사용하거나 결합하여 학습하더라도 전반적인 트레이드오프가 더 열등했다. 또한 이 게이트는 재튜닝 없이 판정기(decider)와 에이전트 규모 전반에 걸쳐 전이되며, 그 드래프터(drafter)는 고정된 인코더 위에 얹은 921k 매개변수 헤드로 지식 증류(distillation)할 수 있어 라우팅 루프에 LLM이 전혀 필요하지 않다. 다만 동일한 신호가 검증 자체를 대체할 수는 없다. 주장과 일치하는 내용을 찾는 것이 그 주장이 뒷받침된다고 판단하는 것보다 훨씬 쉽기 때문이다.
UniK: 디지털 AI와 물리 AI를 위한 범용 지식 인식
UniK: Universal Knowledge Perception for Digital and Physical AI
조직의 운영 방식을 바꾸고 있는 두 가지 혁신적인 AI 시스템 유형이 있다. 하나는 기업 지식 위에서 추론하여 챗봇과 에이전트 워크플로를 구동하는 디지털 AI(digital AI)이고, 다른 하나는 영상, 게임플레이, 센서 원격 측정(telemetry)으로부터 로봇과 자율 시스템의 제어를 학습하는 물리 AI(physical AI)이다. 둘 다 동일한 근본적 병목에 직면한다. 이질적 모달리티에 걸친 대규모 원시 지식이 사설 코퍼스에 갇혀 있어, 기존 AI 인프라가 이를 신뢰성 있게 또는 효율적으로 접근하지 못한다는 점이다. 본 논문은 범용 지식 인식(Universal Knowledge Perception, UniK)을 두 유형 모두를 아우르는 공통 플랫폼으로 제안한다. 풍부한 텍스트와 영상부터 분자 데이터 및 센서 원격 측정에 이르는 다양한 모달리티에 걸쳐, 수집(ingestion), 강화(enrichment), 색인(indexing), 검색(retrieval), 지속적 평가(evaluation)를 포함하는 지식 전 생애주기 전반을 다룬다. 과제별 미세조정 없이, 자동으로 강화된 색인에 대한 다중 색인 융합(multi-index fusion)인 Polymath Retrieval 위에 구축된 UniK를 제시한다. 의학 문헌, 개방형 QA, 화학, 법률 영상 절차, 정부 공개 데이터 등 다섯 디지털 AI 도메인에서, 오픈소스 700억 매개변수 모델과 결합한 UniK는 차수적으로 더 큰 프론티어 독점 LLM과 지속적으로 동등하거나 그 이상의 성능을 보였다. 정부 데이터에서 RAG 정확도 76%(GPT-5는 47%), 미세조정 없이 의학 QA에서 77.9%, 모든 오픈소스 화학 파이프라인을 상회했다. 동일한 인프라가 물리 AI 월드 모델 학습이 직면한 데이터 큐레이션, 색인, 검색 과제를 직접 해결할 수 있음을 보이며, 해당 영역에서는 지식 문제가 더 어렵지만 구조적으로 동일하다.
PRISM-RAG: 담배 제품 및 입법 정책 추론을 위한 멀티모달 하이퍼그래프 검색-증강 생성
PRISM-RAG: Multimodal Hypergraph Retrieval-Augmented Generation for Tobacco Product and Legislative Policy Reasoning
관할권 간 의미적으로 유사한 법령 문구를 구분하는 문제는 기존 방법으로는 해결되지 않는 검색(retrieval) 문제이다. 이러한 문맥 간 충돌은 생성 모델이 주제적으로는 관련 있으나 관할권상으로는 잘못된 출처에 근거한, 확신에 찬 답변을 내도록 이끌 수 있다. 담배 및 니코틴 규제는 미국 관할권마다 달라 종종 유사한 표현을 공유하므로, 견고한 추론을 위해서는 관련 문장만 검색하는 것이 아니라 특정 제품에 어떤 관할권의 법이 적용되는지 식별해야 한다. 신규 제품(예: 파우치)은 모호한 정의를 이용해 규제를 회피한다. 최신(SOTA) 문서 검색-증강 생성(RAG) 방법은 이러한 문맥 간 충돌을 다루기 어려워, 이미지 속성(예: 풍부한 속성 캡션)과 유사한 법령 텍스트 집합을 연결하는 데도 어려움을 겪는다. 우리는 NicoPRISM(Nicotine Product and Regulation Image-and-Text Surveillance Multimodal)을 제안하며, 이는 161,563장의 이미지, 속성 캡션, 13개 미국 관할권에 걸친 제품·보건·입법 문서 지식 베이스, 그리고 정책 준수 QA와 제품 지식 QA 두 과제에 걸친 1,495개의 검증된 질의-응답 쌍으로 구성된다. 또한 PRISM-RAG를 제안한다. 이는 이미지, 캡션, 엔티티 위에 구축된 멀티모달 하이퍼그래프 RAG 프레임워크로, 인덱싱 시점에는 LLM 호출 없이 모든 질의를 제품 이미지에 그라운딩(grounding)하고, 질의된 관할권의 법령 텍스트가 구조적으로 언어 모델에 전달되도록 관할권 인식 문맥 조립 메커니즘을 통해 검색을 라우팅한다. PRISM-RAG는 정책 준수 질의의 93.9%에서 올바른 관할권의 구절을 검색하며, 표준 RAG 대비 48.6%p 우위(p<0.001)를 보인다. 인덱싱 시점 LLM 호출은 0회, 쿼리 시점 1회이며, 키워드·의미·관할권·준수 정확도 지표에서 최신 RAG 프레임워크와 동등하거나 더 나은 성능을 낸다.
문서 검색-인식 청킹(D-RAC): PDF 정규화 및 멀티모달 마크다운 변환을 통한 엔터프라이즈 문서의 범용 검색-인식 수집
Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion
엔터프라이즈 지식 베이스 기반의 검색-증강 생성(RAG) 시스템은 PDF, Word 문서, 프레젠테이션, 스캔본 등 다양한 문서 형식을 수집해야 하지만, 이러한 문서의 콘텐츠는 복잡한 시각적 레이아웃, 다단 페이지, 조밀한 표 내에 갇혀 있습니다. 규칙 기반 추출과 광학 문자 인식(OCR)은 읽기 순서를 훼손하고 표를 평탄화하며 제목 계층 구조를 잃어버리는 반면, 추출된 텍스트에 대해 완전 에이전트(agent) 기반 청킹을 수행하면 높은 토큰(token) 비용과 환각(hallucination) 위험이 발생합니다. 본 논문에서는 웹 검색-인식 청킹(W-RAC) 프레임워크를 임의의 문서 형식으로 확장한 문서 검색-인식 청킹(D-RAC)을 제안합니다. D-RAC은 사실상 모든 형식이 충실하고 결정론적인 PDF 렌더링을 지원한다는 점을 활용하여 모든 입력 문서를 먼저 PDF로 정규화(normalization)합니다. 이후 단일 멀티모달 LLM 패스를 통해 렌더링된 페이지를 검색에 최적화된 마크다운으로 변환하며, 이때 표를 독립적인 산문 문장으로 재작성하고 제목 계층 구조를 보존합니다. 그 뒤 청킹 과정은 W-RAC과 완전히 동일하게 진행되어, ID 주소 지정이 가능한 단위로 결정론적 파싱을 수행한 다음 텍스트가 아닌 식별자 기반의 경량 LLM 청크 계획 수립을 거칩니다. 청킹 과정에서 원본 텍스트는 결코 재생성되지 않으므로, W-RAC의 비용 절감, 결정론성, 관측 가능성 이점을 유지하는 동시에 렌더링 가능한 모든 형식을 일급 입력(first-class input)으로 활용할 수 있게 합니다. 5개 엔터프라이즈 도메인에 걸친 RAG-Multi-Corpus 벤치마크의 236개 문서, 795페이지 분량의 PDF 서브셋에서, D-RAC은 전체 말뭉치를 오류 없이 72분 만에 변환 및 청킹하여 1,748개의 검색 준비 청크를 생성했습니다. 최신 프론티어 LLM을 사용한 에이전트 기반 청킹과 비교했을 때, D-RAC은 청킹 단계의 출력 토큰을 95.7% 줄여 청킹 비용을 77.8%(GPT-4.1 가격 기준)에서 85.6%(Gemini 2.5 Pro 가격 기준)까지 절감하고 청킹 시간을 75% 단축했습니다. D-RAC은 500페이지 이상의 문서에 대해서도 선형적으로 확장(scaling)됩니다.
검색-증강 생성 시스템을 위한 크로스 어텐션 보정 중복 제거
Cross-Attention Calibrated Deduplication for Retrieval-Augmented Generation System
검색-증강 생성(RAG) 시스템에서 흔히 쓰이는 청킹(chunking) 전략은 종종 중복 청크를 만들어 낸다. 이러한 중복 청크는 벡터 데이터베이스를 더 크게 만들고 검색을 느리게 한다. 흔한 해결책은 코사인 유사도 임계값 설정이다. 이 방법은 각 청크를 단일 벡터로 축소한 뒤, 유사도 점수로 벡터를 비교한다. 하지만 단일 벡터는 진정한 중복과 단순히 같은 주제만 공유하는 청크를 구별하는 데 필요한 세밀한 토큰 수준의 세부 정보를 잃을 수 있다. 우리는 크로스 어텐션 보정 중복 제거(CACD)를 제안한다. CACD는 단일 풀링 벡터 대신 크로스 인코더를 사용하여, 각 새 청크를 이미 보관된 청크의 인메모리 풀과 대조한다. 이를 통해 최종 비교까지 토큰 수준의 세부 정보를 유지한다. CACD는 세 가지 요소를 결합한다: 크로스 인코더 비교 자체, 이미 보관된 후보로 설명되지 않는 청크의 비율을 측정하는 신규 정보 점수(NIS), 그리고 단일 최적 매칭 대신 여러 후보에 대한 다수결 투표. NIS는 크로스 인코더의 어텐션 엔트로피로부터 계산된다. CACD를 기존 5가지 필터링 방법, 9가지 청킹 전략, 18가지 구성과 비교하여 SQuAD 1.1 전체 검증 세트에서 평가했다. 실험에서 CACD는 평균적으로 청크의 9.75%를 제거한다. 이 감소율은 다른 의미 수준 방법과 비슷하며, 거의 아무것도 제거하지 않는 정확 일치 필터보다 훨씬 높다. 또한 이 실험에서 CACD는 구성당 평균 51.0초로 처리하며, 가장 강한 기준선인 NERExact(69.6초)보다 약 27% 빠르고, 코사인 유사도 필터링(356.7초)보다 약 7배 빠르다. 이 결과는 단일 데이터셋에서 나온 것이므로, 일반적 주장이 아닌 초기 비교로 제시한다. 기준선 평가 및 CACD 코드는 https://github.com/lehuyphuong/rag_bench 및 https://github.com/lehuyphuong/cacd_dedup에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.