PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26237v1cs.IR

COLIEE 2026 Task 1의 ABAI: GraphRAG 강화 메타 학습 기반 다단계 검색과 교차 검증-테스트 격차에 대한 사후 분석

ABAI at COLIEE 2026 Task 1: Multi-Stage Retrieval with GraphRAG-Enhanced Meta-Learning, and a Post-Hoc Study of the Cross-Validation-to-Test Gap

본 논문은 COLIEE 2026 Task 1(판례법 검색)에 제출한 ABAI 시스템과, 해당 시스템의 성능이 기대에 못 미친 이유에 대한 통제된 분석을 제시한다. 이 과제에서는 인용된 구절 자체가 제거되어, 검색기가 의존할 수 있는 어휘적 중첩의 상당 부분이 사라진다. 이에 대응하여 우리의 파이프라인은 독립적으로 학습된 네 단계로 구성된다. 첫째, 인용 문맥 윈도우에 대한 다중 뷰 BM25와 역순위 융합(reciprocal rank fusion), 둘째, 신경망 리랭킹, 셋째, 엔티티 커뮤니티와 그래프 어텐션 네트워크(graph attention network)로부터 얻은 그래프 기반 특징, 넷째, 34개 특징에 대한 LightGBM 메타 학습기이다. 우리의 최고 성능 실행은 공식 테스트 세트에서 F1=0.177을 기록했으며, 이는 교차 검증에서의 0.311에 비해 낮다. 우리는 이 격차의 원인을 재현율(recall) 상한, 시간적 분포 변화, 임계값 보정 오류로 추정했고, 이후 세 가지를 모두 검증했다. 누수가 없는 프로토콜에서 임계값 전이에 따른 손실은 F1 0.007에 불과하고, 결정 품질은 시간순 사분위 전반에서 일정하며, 공식 테스트 질의는 두 개의 독립적인 임베딩 공간에서 학습 질의들 서로 간의 거리보다 학습 매니폴드에서 측정 가능할 만큼 더 멀지 않다. 대신 미스(miss)를 분해해 보면, 한 번도 검색되지 않은 후보와 검색되었으나 컷오프 아래로 순위가 매겨진 후보로 정확히 절반씩 나뉜다. 각 절반에 대한 해결책을 측정한 결과, BM25 길이 정규화 튜닝, 이벤트 트리플(event-triple) 뷰, 전체 콘텐츠 밀집 벡터(dense) 융합은 top-200 재현율을 3~7%p 높였고, 자기 인용 누수를 제거하면 인용 그래프 특징은 8개 시드에 걸쳐 F1을 0.014 향상시켰다. 반면 질의별 컷오프 규칙, 제로샷 리랭커 교체, 날짜 필터는 도움이 되지 않았다. 또한 프로토콜을 바로잡자 결과가 뒤집힌 네 가지 평가 아티팩트(artifact)도 함께 문서화한다.

arXiv:2607.21274v1cs.CL

그리스 도서 출판사 환경에서 임베딩과 LLM의 비교 평가 - CUP 데이터셋

A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset

우리는 868개의 카탈로그 레코드와 등급화된 관련성 판정을 갖춘 104개의 전문가 주석 쿼리로 구성된 그리스 도서 검색 벤치마크인 CUP를 제시한다. 이 도서 검색 환경에서 희소(BM25), 밀집(sentence-transformers), 하이브리드, LLM 보조 검색 방법을 평가한다. 다국어 임베딩은 그리스어 특화 모델보다 우수한 성능을 보이며, 하이브리드 검색이 전반적으로 가장 좋은 성능을 낸다. 쿼리 수준 분석에 따르면 BM25는 개체명 쿼리에서 뛰어나며, 밀집 및 하이브리드 방법은 자연어, 노이즈가 있는, 교차 언어, 개념 쿼리에서 성능이 향상된다. 필드 인식(field-aware) 프롬프팅은 모델별 효과를 보이며, LLM 목차(TOC) 요약은 목차 전용 검색을 개선하고 LLM 사후 필터링은 높은 비용으로 초기 단계 검색을 개선한다. 전반적으로 CUP는 어휘적, 의미적, 노이즈가 있는, 교차 언어 쿼리에 걸친 그리스어 검색의 실세계 평가를 가능하게 한다.