저비트 양자화는 언제 벡터 검색의 결정을 보존하는가
When Does Low-Bit Quantization Preserve the Decisions of Vector Search?
한국어 초록
직교 회전은 2비트 Cohere 코드의 거리 순위 상관을 0.75에서 0.91로 향상시키지만, 최근접 이웃 비교의 뒤집힘은 51% 증가시킨다. 본 논문은 그래프 탐색이 수행하는 비교를 통해 양자화를 분석한다. 비교는 양자화 오차가 정확한 마진을 초과할 때에만 바뀌며, 이로부터 아슬아슬한 경우와 큰 오차를 구분하는 뒤집힘 상계를 얻는다. 공유되는 끝점은 상관된 거리 오차를 유발하며, 이 오차는 한 비교 안에서 부분적으로 상쇄된다. 정확한 재생 항등식은 후보 수준의 동작을 이웃 선택의 출력과 연결한다. 가우시안 모델은 좌표 코드 오차를 닫힌 형태로 제시하고, 희귀 스파이크 구성은 모집단 반경 오차의 두꺼운 꼬리를 드러낸다. 홀드아웃 블록은 정확한 마진 또는 양자화된 마진에 기반한 수용 규칙에 대해 모델 비의존 인증서를 제공한다. 24개의 데이터셋-코드 구성에서, 보정으로 추정한 위험도는 홀드아웃 순위 및 가지치기 뒤집힘과 각각 0.97과 0.99의 상관을 보이는데, 마진 대 잡음 요약 지표는 0.91과 0.99, 거리 순위 상관은 0.74와 0.05이다. 20만 벡터 그래프의 쌍을 이룬 구축 실험은 회전, 질의 점수 계산, 위상을 종단 간 재현율 및 탐색 작업량과 연결한다.
원문 초록
An orthogonal rotation improves the distance rank correlation of two-bit Cohere codes from 0.75 to 0.91, yet increases nearest-neighbour comparison flips by 51%. We analyse quantization through the comparisons made by graph search. A comparison changes only when its quantization error exceeds its exact margin, giving a flip bound that separates close calls from large errors. Shared endpoints induce correlated distance errors that partly cancel within a comparison. An exact replay identity connects candidate-level actions to the output of neighbour selection. A Gaussian model gives coordinate-code errors in closed form, and a rare-spike construction exposes heavy tails in the population-radius error. Held-out blocks give model-free certificates for acceptance rules based on exact or quantized margins. Across 24 dataset-code configurations, calibration-estimated risk correlates with held-out ranking and pruning flips at 0.97 and 0.99, compared with 0.91 and 0.99 for a margin-to-noise summary and 0.74 and 0.05 for distance rank correlation. Paired builds of 200,000-vector graphs connect rotation, query scoring, and topology to end-to-end recall and search work.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.09854v2제출 시각 미확인
- arXiv:2609.09854v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.