PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03651v1cs.AI

MRVQ: 차원 및 비트 전송률에 탄력적인 벡터 검색을 위한 단일 상주 인덱스

MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search

밀집 검색(dense-retrieval) 서비스는 지연 시간, 품질 및 메모리 예산 변화에 따라 임베딩 접두 차원과 인덱스 비트 전송률(bit rate) 사이를 전환해야 합니다. 각 전송률마다 양자화기(quantizer)를 개별적으로 튜닝하면 최상의 품질을 얻을 수 있지만, 검색 계층이 여러 코드 스트림과 양자화기 상태를 동시에 유지해야 합니다. 본 논문에서는 동결된 임베딩을 위한 사후 잔차 양자화기인 마트료시카 잔차 벡터 양자화(MRVQ, Matryoshka Residual Vector Quantization)를 제안합니다. MRVQ의 최대 전송률 코드는 두 가지 방식으로 잘라낼 수 있습니다. 잔차 단계를 줄이면 전송률이 낮아지고, 임베딩 좌표를 줄이면 차원이 낮아집니다. 따라서 단 하나의 상주 아티팩트만으로 평가 대상인 모든 (차원, 전송률) 쌍을 처리할 수 있습니다. FiQA 및 NFCorpus, 4가지 임베딩 계열, {4, 8, 16}바이트 코드 전반에 걸쳐 MRVQ는 평가된 설계 중 가장 적은 RAM을 사용합니다. 이는 개별적으로 학습된 3개의 QINCo2 인덱스보다 17.8~22.0배 적은 메모리를 사용하며, 간소화된 공유 모델(shared-model) 스틸맨보다 1.89~2.02배 적은 메모리를 사용합니다. 이러한 메모리 절감이 공짜는 아닙니다. 전송률별 QINCo2는 FiQA에서 nDCG@10 기준 0.026~0.107 더 우수합니다. 그러나 MRVQ는 동일한 코드 크기에서 PQ, OPQ 및 AdANNS-OPQ를 능가합니다. 또한 중앙값 기준 420배 더 빠르게 피팅되면서 RaBitQ 및 그 확장 모델과 비슷한 품질을 달성하는 낮은 구축 비용의 PCA 스칼라 설계도 평가합니다. 마지막으로 두 가지 부정적 결과(negative results)를 보고합니다. QINCo2는 높은 전송률에서 학습될 때 붕괴되며, 랭킹 경계 가설은 사전에 지정된 수락 기준을 충족하지 못합니다. 따라서 MRVQ는 탄력적 검색을 위한 저메모리 운영 지점이지 만능 품질 승자는 아닙니다.

arXiv:2609.27018v1cs.LG

GeoRVQ: 생체 신호의 잔차 토큰 예측을 위한 디코더 인식 기하학

GeoRVQ: Decoder-aware geometry for residual-token prediction in physiological signals

잔차 벡터 양자화(RVQ)는 생체 파형을 조밀한 토큰 시퀀스로 변환하지만, 기존의 마스크 모델링은 모든 잘못된 토큰을 동일한 비용으로 취급합니다. 본 논문에서는 목적 함수가 고정된(frozen) 파형 디코더의 국소 반응을 반영하는 대략적인 수준에서 세밀한 수준까지(coarse-to-fine) 마스크 토큰 모델인 GeoRVQ를 제안합니다. 디코더 유도 비용은 기하학 인식 소프트 타깃과 기대 왜곡을 정의하는 한편, 양자화기 인과적(quantizer-causal) 예측은 대략적인 수준부터 세밀한 수준까지 잔차 의존성을 따릅니다. MIMIC-IV Waveform, VitalDB 및 CODE-15%에 대한 종합 평가에서, GeoRVQ는 일치된 모델 및 학습 조건 하에 정확한 토큰 정확도를 $.133\pm.004$에서 $.143\pm.003$으로 높이고, 디코딩 거리를 $.606\pm.006$에서 $.393\pm.007$로 감소시키며, R-peak F1 점수를 $.784\pm.004$에서 $.837\pm.008$로 향상시킵니다. 45개의 미공개(held-out) 코드 대체 전반에서, 유클리드 코드워드 거리의 경우 $.54$인 데 반해 디코더 유도 비용은 실제 디코딩된 비용과 $.85$의 스피어만 상관계수를 보입니다. 이러한 결과는 디코더 인식 목적 함수가 정확한 토큰 정확도의 큰 증가를 요구하지 않고도 파형 및 이벤트 보존 능력을 향상시킬 수 있음을 나타냅니다.