arXiv:2006.13330

A Mean-Field Theory for Learning the Schönberg Measure of Radial Basis Functions

Masoud Badiei Khuzani, Yinyu Ye, Sandy Napel, Lei Xing

제출 2020-06-23

원문 초록

We develop and analyze a projected particle Langevin optimization method to learn the distribution in the Sch\"{o}nberg integral representation of the radial basis functions from training samples. More specifically, we characterize a distributionally robust optimization method with respect to the Wasserstein distance to optimize the distribution in the Sch\"{o}nberg integral representation. To provide theoretical performance guarantees, we analyze the scaling limits of a projected particle online (stochastic) optimization method in the mean-field regime. In particular, we prove that in the scaling limits, the empirical measure of the Langevin particles converges to the law of a reflected It\^{o} diffusion-drift process. Moreover, the drift is also a function of the law of the underlying process. Using It\^{o} lemma for semi-martingales and Grisanov's change of measure for the Wiener processes, we then derive a Mckean-Vlasov type partial differential equation (PDE) with Robin boundary conditions that describes the evolution of the empirical measure of the projected Langevin particles in the mean-field regime. In addition, we establish the existence and uniqueness of the steady-state solutions of the derived PDE in the weak sense. We apply our learning approach to train radial kernels in the kernel locally sensitive hash (LSH) functions, where the training data-set is generated via a $k$-mean clustering method on a small subset of data-base. We subsequently apply our kernel LSH with a trained kernel for image retrieval task on MNIST data-set, and demonstrate the efficacy of our kernel learning approach. We also apply our kernel learning approach in conjunction with the kernel support vector machines (SVMs) for classification of benchmark data-sets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02831v1cs.AI공통 태그 Retrieval, Image Retrieval

AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.

arXiv:2610.02521v1cs.CV공통 태그 Retrieval, Clustering

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2609.28086v1cs.LG공통 태그 Retrieval, Clustering

LAYERSCOPE: 비디오 및 멀티모달 학습 표현의 층별 특성 분석

LAYERSCOPE: A Layerwise Characterization of Video and Multimodal Learned Representations

우리는 비디오 및 멀티모달 환경에서 모델이 학습한 표현(representation)의 특성을 분석하는 것을 목표로 하는, 레이블이 필요 없는 층별(layerwise) 프레임워크인 LAYERSCOPE를 제안한다. 최종 층 또는 중간 층의 표현을 사용해 다운스트림 성능을 평가하려면 일반적으로 대량의 레이블 데이터, 반복적인 태스크별 평가, 그리고 상당한 연산량이 필요하다. 이러한 한계를 해결하기 위해 LAYERSCOPE는 국소적(local), 전역적(global), 분포적(distributional), 대응 기반(correspondence-based) 기하 지표를 활용하여, 태스크별 레이블 없이도 모델 내부와 모델 간의 층별 표현 구조를 비교한다. 우리는 MVEB/MVEB+의 비디오 및 멀티모달 분류(classification), 클러스터링, 텍스트-비디오 검색 태스크에서 아키텍처가 서로 다른 일곱 개의 모델을 평가한다. 그 결과, 중간 층의 표현이 최종 층 및 모델 기본 출력보다 더 좋은 성능을 낼 수 있음을 발견했다. 또한 어떤 단일 기하 지표도 다운스트림 성능을 일관되게 예측하지는 못하지만, 모델 계열별로 서로 구별되는 층별 기하 시그니처가 나타남을 확인했다. LID는 성능과 태스크에 따라 달라지는 관계를 보이며, RankMe는 분류와 클러스터링에 대해 가장 강력한 척도를 제공하지만 범용적인 층 선택 기준은 아니다. 아울러 페어링(pairing)을 고려하는 지표가 분포 거리만 사용하는 경우보다 검색 성능을 더 잘 설명한다는 점도 발견했다. 따라서 LAYERSCOPE는 모델과 층 전반에 걸쳐 표현을 비교할 수 있는 프레임워크를 제공하며, 비디오 및 멀티모달 환경에서 보다 체계적인 평가를 가능하게 한다.

arXiv:2609.27142v1cs.CV공통 태그 Retrieval, Image Retrieval

MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화

MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders

고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.

arXiv:2609.24057v1cs.AI공통 태그 Retrieval, Image Retrieval

다중모달 대규모 언어 모델을 활용한 의료 영상 해석을 위한 표현 유도 문맥 내 학습

Representation-guided in-context learning for medical image interpretation with multimodal large language models

의료 영상 해석은 진단과 치료의 핵심이지만, 범용 다중모달 대규모 언어 모델(MLLM)을 적용하려면 종종 자원 집약적인 도메인 특화 미세조정(fine-tuning)이 필요하다. 본 연구에서는 작업 특화 매개변수 업데이트 없이 고정된 인코더를 사용하여 질의와 정렬된 예시를 검색하는 학습(training) 불필요 추론(inference) 프레임워크인 표현 유도 문맥 내 학습(RG-ICL)을 소개한다. 조직병리학, 방사선학, 망막 안저검사를 아우르는 8개 데이터셋에 걸쳐, RG-ICL은 문맥이 없는 경우 및 기존 문맥 내 학습(ICL) 대비 분류(평균 20%포인트 향상)와 시각적 질의응답(VQA)(평균 13%포인트 향상) 성능을 개선하여 학습 기반 비교 대상에 근접하거나 이를 능가했다. 몇 개의 사례를 검색했는지보다 어떤 사례를 검색했는지가 더 중요했다. 질의와 정렬된 6개의 사례가 무작위로 선택된 최대 32개의 사례보다 우수한 성능을 보인 반면, 고정되거나 무작위인 사례는 종종 정확도를 기준선(baseline) 이하로 떨어뜨렸다. VQA의 경우 참조 사례를 영상 콘텐츠와 질문 의도 모두에 정렬했을 때 추가적인 성능 향상이 나타났다. 이러한 결과는 의료 영상 해석에서 MLLM에 제시할 참조 사례를 선별하는 것이 모델을 재학습시키는 실용적인 대안임을 시사한다.

arXiv:2609.24152v1cs.IR공통 태그 Retrieval, Image Retrieval

대규모 이커머스 시각 검색을 위한 등급별 관련성 합성 멀티모달 검색

Graded-Relevance Composed Multimodal Retrieval for E-commerce Visual Search at Scale

대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.