arXiv:2601.21262v4 cs.CL

CausalEmbed: 시각 문서 임베딩을 위한 잠재 공간에서의 자기회귀 멀티벡터 생성

CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding

Jiahao Huo, Yu Huang, Yibo Yan, Ye Pan, Kening Zheng, Wei-Chieh Huang, Yi Cao, Mingdong Ou, Philip S. Yu, Xuming Hu

제출 2026-09-23

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 고품질 멀티벡터 임베딩을 생성함으로써 시각 문서 검색(Visual Document Retrieval, VDR)에서 놀라운 잠재력을 보여 왔지만, 한 페이지를 수천 개의 시각 토큰으로 표현하는 데서 발생하는 막대한 저장 오버헤드가 실제 응용에서의 활용성을 제한한다. 이러한 문제를 해결하기 위해 우리는 멀티벡터 임베딩을 구성하는 자기회귀 생성 방식인 CausalEmbed를 제안한다. CausalEmbed는 대조 학습 과정에서 반복적 마진 손실(iterative margin loss)을 도입하여 임베딩 모델이 간결하고 구조가 잘 잡힌 표현을 학습하도록 유도한다. 우리의 방법은 수십 개의 시각 토큰만으로도 효율적인 VDR 작업을 가능하게 하며, 다양한 백본과 벤치마크에서 매우 경쟁력 있는 성능을 유지하면서 토큰 수를 30~155배 감소시킨다. 이론적 분석과 실험 결과는 학습 효율성과 테스트 시점의 확장성 측면에서 자기회귀 임베딩 생성이 갖는 고유한 장점을 보여 준다. 그 결과 CausalEmbed는 멀티벡터 VDR 표현을 위한 유연한 테스트 시점 스케일링(test-time scaling) 전략을 제시하며, 멀티모달 문서 검색에서 생성적 패러다임에 대한 통찰을 제공한다. 코드는 https://github.com/Z1zs/Causal-Embed 에서 확인할 수 있다.

원문 초록

Although Multimodal Large Language Models (MLLMs) have shown remarkable potential in Visual Document Retrieval (VDR) through generating high-quality multi-vector embeddings, the substantial storage overhead caused by representing a page with thousands of visual tokens limits their practicality in real-world applications. To address this challenge, we propose an auto-regressive generation approach, CausalEmbed, for constructing multi-vector embeddings. By incorporating iterative margin loss during contrastive training, CausalEmbed encourages the embedding models to learn compact and well-structured representations. Our method enables efficient VDR tasks using only dozens of visual tokens, achieving a 30-155x reduction in token count while maintaining highly competitive performance across various backbones and benchmarks. Theoretical analysis and empirical results demonstrate the unique advantages of auto-regressive embedding generation in terms of training efficiency and scalability at test time. As a result, CausalEmbed introduces a flexible test-time scaling strategy for multi-vector VDR representations and sheds light on the generative paradigm within multimodal document retrieval. Our code is available at https://github.com/Z1zs/Causal-Embed.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.21262v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13708v1cs.AI공통 태그 Decoder, Computational Efficiency

Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.

arXiv:2610.13889v1cs.AI공통 태그 Information Retrieval, Contrastive Learning

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

arXiv:2610.10552v1cs.LG공통 태그 Decoder, Computational Efficiency

디코더는 동결하고 인코더는 치유하기: SVD 기반 KV 캐시 압축을 위한 매개변수 효율적 적응 기법

Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression

단일의 공유된 학습률(learning rate) 하에서 매개변수 효율적 미세조정(PEFT) 레시피들을 비교하는 것은 흔하지만 결함이 있는 방식입니다. 비교 대상군들의 학습 가능한 매개변수 수가 크게 다를 경우, 공유된 학습률은 매개변수가 더 많은 실험군의 성능 평균을 낮추는 동시에 분산을 부풀려, 실제 효과가 아님에도 가장 작은 실험군에 대해 마치 다중 시드에서 유의미한 것처럼 보이는 큰 이점을 인위적으로 만들어낼 수 있습니다. 본 연구는 사후(post-hoc) SVD 기반 KV 캐시(KV-cache) 압축이라는 구체적인 설정에서 이러한 교란 요인을 기록합니다. 이 설정에서는 이미 사전학습된 모델의 키/값(key/value) 가중치를 다운 프로젝션("인코더")과 업 프로젝션("디코더")으로 분해하여 저차원(다중 헤드 잠재 어텐션 스타일) 캐시로 변환한 뒤, 짧은 미세조정("치유", healing)을 통해 절단(truncation)으로 손실된 정확도를 복구합니다. 공유된 학습률 하에서는 디코더를 동결(freezing)하고 인코더만 치유하는 것이 디코더만 치유하거나 두 요소를 모두 치유하는 것보다 확실히 우수한 것처럼 보이지만, 각 실험군에 맞게 튜닝된 자체 학습률을 부여하면 이러한 겉보기 이점은 사라집니다. 대신 인코더 전용 치유는 다른 대안들과 동등한 성능에 도달하면서도, 실제로 측정된 학습 가능 매개변수 수를 3배 줄이고 옵티마이저(optimizer) 상태 메모리를 3배 절감합니다. 우리는 비전-언어 모델(vision-language model; Qwen2.5-VL-3B-Instruct)에서 이 프로토콜이 다루는 단일 압축률에 대해 실험군별 학습률 튜닝과 구성당 3개의 시드를 사용하여 이러한 동등성을 검증했으며, 두 가지 백본에 걸친 텍스트 전용 테스트베드에서도 이를 재현했습니다. 따라서 인코더 전용 치유는 학습 시점에 저차원 KV 캐시 압축을 소급 적용(retrofiting)하기 위한 저메모리 드롭인(drop-in) 레시피이며, 본 논문에서 문서화하고 수정한 공유 학습률의 함정은 학습 가능한 매개변수 수가 서로 다른 미세조정 레시피들을 비교할 때 주의해야 할 경고성 결과를 제공합니다.

arXiv:2609.38743v2cs.AI공통 태그 Image Retrieval, Information Retrieval

다단계 임베딩 검색을 통한 시각적 공간에서의 경로 탐색 학습

Learning to Route in Visual Space via Multi-Step Embedding Retrieval

대규모 언어 모델(LLM) 에이전트는 외부 지식에 접근하기 위해 검색 도구에 의존하지만, 시각적 에이전트 탐색은 여전히 표준 단일 단계 검색기로 인해 심각한 병목 현상을 겪고 있습니다. 현재의 파이프라인에서는 에이전트가 모든 중간 단계마다 텍스트 쿼리를 생성해야 하므로, 시각적 단서를 설명하기 어렵거나 검색기가 상위 결과 내에 필요한 중간 증거를 제시하지 못할 때 어려움을 겪습니다. 본 논문에서는 전체 임베딩 공간에 걸친 다단계 탐색을 검색 도구로 직접 위임함으로써 이러한 성능 병목 현상을 해결할 수 있다는 가설을 세웁니다. 이를 체계적으로 연구하기 위해 시각적 매칭과 검색 계획을 모두 테스트하는 5가지 핵심 난이도를 갖춘 유연한 데이터 생성 프레임워크이자 벤치마크인 VHOP을 소개합니다. 이 프레임워크를 바탕으로 지도 미세조정(supervised fine-tuning), 온라인 모방 학습, 강화학습을 결합하여 표준 임베딩 모델을 자기회귀적 다단계 검색기로 변환하는 엔드투엔드 학습 파이프라인인 VHOP-Router를 개발했습니다. 시각적 잠재 공간(latent space)에서 직접 동작하는 VHOP-Router는 에이전트가 중간 텍스트 쿼리를 작성할 필요 없이 단 한 번의 도구 호출로 연결된 이미지 체인을 검색합니다. 실험 결과에 따르면 VHOP-Router는 검색 성능을 5% 미만에서 76.3%로 크게 향상시킵니다. 에이전트 탐색에서 작업 성공률을 52.7% 향상시키고 평균 토큰 길이를 1886개에서 728개로 61% 감소시킨 반면, 에이전트 자체를 업그레이드했을 때는 3.7%의 성능 향상에 그쳤습니다. 에이전트가 단계마다 상위 50개 결과를 검색하는 강력한 기준선과 비교했을 때, VHOP-Router는 문맥 내(in-context) 이미지를 23배 줄이고 누적 API 페이로드를 35배 절감하면서도 우수한 성능을 유지합니다. 또한 이 모델들은 학습 시 보지 못한 난이도와 실제 테스트 세트에서도 견고한 일반화 성능을 보입니다. 궁극적으로 VHOP과 VHOP-Router는 고유한 LLM 기능을 완전히 온전하게 유지하면서 시각적 에이전트 탐색을 위한 효율적이고 효과적인 솔루션을 제공합니다.

arXiv:2610.02831v1cs.AI공통 태그 Image Retrieval, Information Retrieval

AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.

arXiv:2610.01439v1cs.AI공통 태그 Decoder, Computational Efficiency

DRelay: 접두 문맥 인식 병렬 추측 디코딩 복구를 위한 전역 초안 문맥

DRelay: Global Draft Context for Prefix-Aware Parallel Speculative Decoding Repair

병렬 초안 작성(parallel drafting)은 대규모 언어 모델(LLM)을 위한 추측 디코딩(speculative decoding)의 초안 생성 오버헤드를 줄여주지만, 그로 인한 성능 향상은 수락되는 접두 문맥(prefix) 길이에 의해 여전히 제한됩니다. 올바른 토큰이 후보군에 존재하더라도, 초기에 발생한 단 하나의 선택 오류로 인해 후속 예측을 사용하지 못하게 됩니다. 본 논문에서는 타깃 모델의 검증 전에 전체 초안 블록의 전역 정보를 활용하여 후보 선택에 대한 접두 문맥 인식 선택적 복구를 수행하는 DRelay를 제안합니다. DRelay는 후보 간의 상관관계와 선택된 경로를 기반으로 결정을 내립니다. 즉, 전역 리더(global reader)가 각 후보에 대해 여러 위치에 걸친 예측 정보를 추출합니다. 동시에 인과적 선택기(causal selector)는 전역 판독을 통해 추출된 후보 수준 정보와 이전 위치에서 선택된 토큰들을 결합하여, 현재 위치의 기본 선택이 전역 증거 및 선택된 접두 문맥과 일치하는지 판단합니다. 그런 다음 해당 토큰을 유지할지 또는 교체할지 결정함으로써 초기 오류를 복구하고 수락되는 접두 문맥을 연장합니다. 나아가 초안 백본과 선택기를 공동으로 학습(training)시켜 후보 지원 학습과 복구 목적 함수를 결합하는 한편, 연속적으로 수락되는 접두 문맥에 대한 각 블록 위치의 잠재적 기여도에 따라 복구 손실(loss)에 가중치를 부여합니다. H800 GPU 기반의 8가지 다양한 벤치마크 전반에서 DRelay는 DFlash, Domino, DSpark 대비 평균 수락 길이와 엔드투엔드 디코딩 성능을 일관되게 향상시킵니다. SGLang 서빙 환경에서 DRelay는 DFlash, Domino, DSpark 대비 평균 엔드투엔드 속도 향상을 각각 14.7%~16.8%, 8.7%~9.3%, 8.1%~9.3% 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.