PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28290v1cs.CL

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2607.24332v1cs.CL

검색-증강 생성 시스템을 위한 크로스 어텐션 보정 중복 제거

Cross-Attention Calibrated Deduplication for Retrieval-Augmented Generation System

검색-증강 생성(RAG) 시스템에서 흔히 쓰이는 청킹(chunking) 전략은 종종 중복 청크를 만들어 낸다. 이러한 중복 청크는 벡터 데이터베이스를 더 크게 만들고 검색을 느리게 한다. 흔한 해결책은 코사인 유사도 임계값 설정이다. 이 방법은 각 청크를 단일 벡터로 축소한 뒤, 유사도 점수로 벡터를 비교한다. 하지만 단일 벡터는 진정한 중복과 단순히 같은 주제만 공유하는 청크를 구별하는 데 필요한 세밀한 토큰 수준의 세부 정보를 잃을 수 있다. 우리는 크로스 어텐션 보정 중복 제거(CACD)를 제안한다. CACD는 단일 풀링 벡터 대신 크로스 인코더를 사용하여, 각 새 청크를 이미 보관된 청크의 인메모리 풀과 대조한다. 이를 통해 최종 비교까지 토큰 수준의 세부 정보를 유지한다. CACD는 세 가지 요소를 결합한다: 크로스 인코더 비교 자체, 이미 보관된 후보로 설명되지 않는 청크의 비율을 측정하는 신규 정보 점수(NIS), 그리고 단일 최적 매칭 대신 여러 후보에 대한 다수결 투표. NIS는 크로스 인코더의 어텐션 엔트로피로부터 계산된다. CACD를 기존 5가지 필터링 방법, 9가지 청킹 전략, 18가지 구성과 비교하여 SQuAD 1.1 전체 검증 세트에서 평가했다. 실험에서 CACD는 평균적으로 청크의 9.75%를 제거한다. 이 감소율은 다른 의미 수준 방법과 비슷하며, 거의 아무것도 제거하지 않는 정확 일치 필터보다 훨씬 높다. 또한 이 실험에서 CACD는 구성당 평균 51.0초로 처리하며, 가장 강한 기준선인 NERExact(69.6초)보다 약 27% 빠르고, 코사인 유사도 필터링(356.7초)보다 약 7배 빠르다. 이 결과는 단일 데이터셋에서 나온 것이므로, 일반적 주장이 아닌 초기 비교로 제시한다. 기준선 평가 및 CACD 코드는 https://github.com/lehuyphuong/rag_bench 및 https://github.com/lehuyphuong/cacd_dedup에서 이용할 수 있다.