Bayesian Triplet Loss: Uncertainty Quantification in Image Retrieval
원문 초록
Uncertainty quantification in image retrieval is crucial for downstream decisions, yet it remains a challenging and largely unexplored problem. Current methods for estimating uncertainties are poorly calibrated, computationally expensive, or based on heuristics. We present a new method that views image embeddings as stochastic features rather than deterministic features. Our two main contributions are (1) a likelihood that matches the triplet constraint and that evaluates the probability of an anchor being closer to a positive than a negative; and (2) a prior over the feature space that justifies the conventional l2 normalization. To ensure computational efficiency, we derive a variational approximation of the posterior, called the Bayesian triplet loss, that produces state-of-the-art uncertainty estimates and matches the predictive performance of current state-of-the-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
부분 검증 조건에서의 등각 예측
Conformal Prediction under Partial Verification
등각 예측(Conformal prediction)은 유한 표본 보장을 제공하는 예측 집합을 산출하지만, 캘리브레이션에 필요한 라벨 검증 비용은 매우 클 수 있습니다. 본 연구에서는 완전 검증과 정확히 동일한 예측 집합을 반환하는 부분 검증 기법을 개발합니다. 등각 임계값을 결정하기에 충분한 검증 정보인 캘리브레이션 인증서(calibration certificate)의 특성을 규명하고, 여러 캘리브레이션 예시 간의 검증을 조율하는 절차를 설계합니다. 높은 커버리지에서의 유한한 임계값에 대해, 후보군을 순서대로 확인할 때 본 방법의 검증 비용은 최소 인증서 비용의 2배 미만입니다. 검색, 수학 문제 풀이, 구성 평가 전반에서 이 방식은 동일한 예측 집합을 생성하면서도 캘리브레이션 예시를 하나씩 검증하는 방식 대비 검증 비용을 15~82% 절감합니다.
AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당
AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking
비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.
HHR: 효율적인 LLM 생성을 위한 계층적 해시 검색
HHR: Hierarchical Hash Retrieval for Efficient LLM Generation
효율적인 긴 문맥 추론(inference)은 대규모 언어 모델(LLM)에 필수적이지만, 극심한 연산 병목 현상을 유발합니다. 해시 기반 검색은 쿼리(query)와 키(key)를 이진 코드로 인코딩하고 해밍 거리(Hamming distance)를 사용하여 키를 선택함으로써 효율적인 대안을 제공합니다. 그러나 이는 해밍 거리와 어텐션(attention) 관련성 사이에 심각한 불일치를 초래합니다. 쿼리-키 로짓(logit)은 방향 유사도와 특징(feature) 크기에 함께 의존하는 반면, 해시 이진화는 크기 정보를 버리기 때문에 낮은 로짓 키의 위양성(false-positive) 검색과 높은 로짓 키의 위음성(false-negative) 누락을 모두 유발합니다. 이러한 실패를 해결하기 위해, 본 논문에서는 기하학 인식 키 라우팅(Geometry-Aware Key Routing, GKR)과 학습된 해시 투영(Learned Hash Projection, LHP)을 통해 점진적으로 검색 정확도를 향상시키는 coarse-to-fine 프레임워크인 계층적 해시 검색(Hierarchical Hash Retrieval, HHR)을 제안합니다. GKR은 헤드별 직교 변환을 학습하여 특징 크기를 재분배하고 더 변별력 있는 페이지 수준 로짓 경계를 도출함으로써, 중요한 후보를 보존하면서 낮은 로짓 키의 효과적인 가지치기(pruning)를 가능하게 합니다. 그런 다음 LHP는 미세 단위(fine-grained) 검색을 위해 해밍 거리를 실제 쿼리-키 관련성 순위와 정렬하는 헤드별 투영 공간을 학습합니다. GKR과 LHP를 결합함으로써 HHR은 위양성을 억제하고 위음성을 복구하여 해시 기반 희소 어텐션(sparse attention)의 충실도를 크게 향상시킵니다. 다양한 LLM 및 벤치마크에 걸친 광범위한 실험을 통해 HHR이 기존 방법들보다 우수한 성능을 달성함을 입증합니다. 예를 들어 LongBench에서 HHR은 평균 점수를 1.10점 향상시키며, 128K 문맥 길이에서 Llama-3.1-8B-Instruct 기준 최대 3.30배의 디코딩 속도 향상과 2.83배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/HHR 에서 공개되어 있습니다.
조밀 예측(Dense Prediction)을 위한 Spatial Lifting
Spatial Lifting for Dense Prediction
우리는 조밀 예측(dense prediction) 작업을 위한 새로운 방법론인 Spatial Lifting(SL)을 제시한다. SL은 2D 이미지와 같은 표준 입력을 더 높은 차원의 공간으로 리프팅(lifting)한 후, 3D U-Net과 같이 해당 고차원에 맞게 설계된 네트워크를 사용하여 이를 처리하는 방식으로 동작한다. 직관에 반하게도, 이러한 차원 리프팅을 통해 기존 접근법 대비 벤치마크 작업에서 우수한 성능을 달성하는 동시에 추론(inference) 비용을 줄이고 모델(model) 파라미터 수를 대폭 줄일 수 있다. SL 프레임워크는 리프팅된 차원을 따라 본질적으로 구조화된 출력을 생성한다. 이러한 창발적(emergent) 구조는 학습(training) 중 조밀한 지도(supervision)를 가능하게 하고, 테스트 시점에 단일 순전파(forward pass)만으로 자기 일관성(self-consistency) 기반의 품질 및 불확실성 추정을 가능하게 한다. Spatial Lifting은 비전(vision) 분야의 조밀 예측 작업을 위해 더 효율적이고 정확하며 신뢰할 수 있는 딥 네트워크로 나아가는 유망한 경로를 제시하는 간단하고 일반적인 모델링 전략을 소개한다.
Semantic Editing Increment Benefits Zero-Shot Composed Image Retrieval
토론
이 논문과 연결된 포럼 글이 아직 없습니다.