MoLE: 상호보완적 시각 추론을 위한 잠재 전문가 혼합
MoLE: Mixture of Latent Experts for Complementary Visual Reasoning
한국어 초록
잠재 시각 추론(latent visual reasoning)은 명시적인 텍스트 추론 경로(trace)나 반복적인 이미지 연산 없이도 시각적 증거를 처리할 수 있는 연속적인 중간 상태를 비전-언어 모델(vision-language model)에 제공합니다. 그러나 기존 방식들은 공유된 가치 프로젝션(value projection)을 통해 여러 잠재 토큰이 동일한 시각적 증거에 접근하도록 허용하는 경우가 많아, 상호보완적인 시각 정보를 추출할 수 있는 메커니즘을 제공하지 못합니다. 따라서 단순히 잠재 토큰의 예산(budget)을 늘리는 것만으로는 중복된 잠재 표현이 생성될 수 있습니다. 본 연구에서는 효과적인 잠재 추론을 위해 서로 다른 잠재 토큰들이 상호보완적인 시각 정보를 추출하도록 유도하여 전문화된 시각 전문가 역할을 수행하게 해야 한다고 주장합니다. 이러한 통찰을 바탕으로, 각 잠재 시각 전문가가 관찰하는 시각적 증거와 이를 변환하는 방식을 모두 제어하는 잠재 전문가 혼합(Mixture of Latent Experts) 프레임워크인 MoLE를 제안합니다. MoLE는 증거 추출 과정에서 잠재 시각 전문가들을 격리하고, 전용 잠재 요약 전문가를 활용해 잠재 시각 전문가들의 상호보완적인 표현을 집계합니다. 2단계 학습 파이프라인은 먼저 시각적 증거가 이 잠재 경로를 통과하도록 강제한 후 직접적인 시각적 접근을 복원하므로, 사전에 정의된 전문가 역할이나 중간 시각적 목표가 필요하지 않습니다. 5개의 시각 추론 벤치마크 전반에서 MoLE는 평균 점수 78.6점을 달성하여, 동일한 데이터로 매칭된 지도 미세조정(supervised fine-tuning)보다 4.9점, 동일한 잠재 예산에서 평가된 가장 강력한 잠재 시각 추론 기준선(baseline)보다 3.6점 높은 성능을 보였습니다. 표현 분석 결과 잠재 상태 간 유사도가 낮아지고 더 다양한 시각적 어텐션이 나타났으며, 잠재 경로를 마스킹했을 때는 평균 성능이 9.2점 감소했습니다. 이러한 결과는 단순히 잠재 토큰 수를 늘리는 것보다 잠재 연산을 전문화하는 것이 더 효과적임을 입증합니다.
원문 초록
Latent visual reasoning equips vision--language models with continuous intermediate states that can process visual evidence without explicit textual reasoning traces or repeated image operations. However, existing methods often allow multiple latent tokens to access the same visual evidence through shared value projections, providing no mechanism for them to extract complementary visual information; simply increasing the latent budget can therefore yield redundant latent representations. We argue that effective latent reasoning should encourage different latent tokens to extract complementary visual information, and thereby act as specialized visual experts. Based on this insight, we propose MoLE, a Mixture of Latent Experts framework that controls both what visual evidence each latent visual expert observes and how it transforms that evidence. MoLE isolates latent visual experts during evidence extraction and uses dedicated latent summary experts to aggregate the complementary representations of latent visual experts. A two-stage training pipeline first forces visual evidence through this latent pathway and then restores direct visual access, requiring neither predefined expert roles nor intermediate visual targets. Across five visual reasoning benchmarks, MoLE achieves an average score of 78.6, outperforming data-matched supervised fine-tuning by 4.9 and the strongest evaluated latent visual reasoning baseline at the same latent budget by 3.6. Representation analyses show lower latent-state similarity and more diverse visual attention, while masking the latent pathway reduces average performance by 9.2. These results demonstrate that specializing latent computation is more effective than merely increasing the number of latent tokens.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SLVR: 인간과 유사한 추론 흐름을 통한 구조화된 잠재 시각적 추론
SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows
멀티모달 대규모 언어 모델(MLLM)은 과제와 관련된 시각적 증거보다 언어적 사전 확률에 의존하여 시각적 추론 질문에 답하는 경우가 많습니다. 텍스트 기반 사고의 연쇄(Chain-of-Thought, CoT) 추론은 모델이 시각적 질문을 중간 증거 탐색 단계로 분해하도록 유도하여 이 문제를 부분적으로 완화할 수 있지만, 이러한 단계를 자기회귀적(autoregressively)으로 생성하면 추론(inference) 비용이 증가합니다. 잠재 추론(latent reasoning)은 명시적인 근거 생성을 피하지만, 기존 접근법은 중간 상태가 인코딩하는 정보에 대한 제어가 제한적이어서 계획(planning), 그라운딩(grounding), 증거 선택에 대한 개별적인 지도(supervision)를 적용하기 어렵습니다. 본 논문에서는 멀티모달 추론을 계획, 그라운딩, 증거 선택, 추론 통합을 위한 유형화된 잠재 단계로 구성함으로써 명시적 사고의 연쇄와 잠재 추론을 연결하는 학습(training) 프레임워크인 SLVR(Structured Latent Visual Reasoning)을 제안합니다. SLVR은 먼저 정답을 드러내는 텍스트를 마스킹하고 정답을 시각적으로 그럴듯한 오답과 대조함으로써 모델이 이미지에 의존하도록 학습시킵니다. 그런 다음 추론을 계획, 그라운딩, 증거 선택, 통합을 위한 잠재 단계로 구성하고, 각 단계를 그에 대응하는 신호인 계획, 바운딩 박스, 시각적 증거, 최종 근거로 지도합니다. 이를 통해 추론 시점에 생성되는 텍스트 체인을 피하면서도 잠재 추론에 명시적인 기능적 구조를 부여합니다. Qwen2.5-VL-7B를 기반으로 구축된 SLVR은 멀티모달 추론 벤치마크 전반에서 일관된 성능 향상을 보였으며, MMVP에서 +9.4, BLINK Relation에서 +14.2의 절대적 향상을 기록했을 뿐만 아니라 V*, MathVista, ChartQA에서도 성능이 향상되었습니다. 이러한 결과는 구조화된 잠재 지도가 텍스트 CoT의 디코딩 오버헤드 없이 미세한 시각적 추론을 개선할 수 있음을 시사합니다. 프로젝트 페이지는 \href{https://bogao-code.github.io/SLVR/}{여기}에서 확인할 수 있습니다.
불변 측도 추론기: 잠재 추론을 위한 안정적 표현
Invariant-Measure Reasoners: Stable Representations for Latent Reasoning
잠재 추론(latent reasoning) 모델은 동일한 순환 블록(recurrent block)을 사용하여 잠재 상태(latent state)를 반복적으로 갱신한다. 순환 깊이(recurrent depth)가 증가함에 따라 잠재 상태의 수열은 고정점(fixed point)으로 반드시 수렴하지는 않으면서도 상태 공간의 한 콤팩트한 부분집합으로 수렴할 수 있다. 기존 모델들은 일반적으로 단일 잠재 상태에 예측 헤드(prediction head)를 적용하여 예측을 수행한다. 그러나 잠재 상태는 여러 번의 갱신 이후에도 계속 변화할 수 있으며, 이는 순환 깊이에 따라 예측이 불안정해질 가능성을 만든다. 이러한 불안정성을 해결하기 위해, 우리는 불변 측도(invariant measure)를 안정적 표현으로 사용하는 프레임워크인 불변 측도 추론기(invariant-measure reasoners, ImR)를 제안한다. 이 측도는 콤팩트한 부분집합 위에서 잠재 상태의 장기 분포(long-run distribution)를 나타내며, 순환 블록에 의한 갱신에 대해 불변이다. ImR은 이 측도 하에서 예측 헤드 출력의 기댓값으로부터 예측을 수행한다. 우리는 ImR을 두 가지 방식으로 사용한다: 기존 모델의 예측 헤드만을 미세조정(fine-tuning)하는 방식과 모델을 처음부터 학습(training)하는 방식이다. 두 방식 모두 미로(maze) 및 스도쿠(Sudoku) 과제에서 많은 설정에서 예측 불안정성을 줄이고 정확도를 향상시킨다. 일부 설정에서는 ImR로 학습된 모델이 기존 모델보다 비고정점(non-fixed-point) 행동을 더 자주 보이면서도, 기존 모델과 달리 그러한 행동에서도 높은 정확도를 달성한다. 이러한 결과는 ImR이 그렇지 않았다면 불안정화를 유발했을 동역학(dynamics)을 잠재 추론에 활용할 수 있음을 시사한다.
공유 인코더가 곧 공유 태스크를 의미하지는 않는다: 딥 전문가 풀을 위한 조건부 비교
A Shared Encoder Is Not a Shared Task: Conditional Comparison for Deep Expert Pools
딥 인코더(deep encoder)를 공유하는 것만으로는 태스크 비교 점수의 핵심적인 교란 요인(confound)을 해결하지 못한다. 본 연구에서는 고정된 공유 표현 위에서 교차 평가된 헤드들이 얕은 교환 점수(shallow exchange score)의 외삽 교란을 그대로 물려받음을 보인다. 고정된 레이블 상태에서 순수한 입력 회전만으로도 딥 교환 점수가 약 0에서 0.80으로 부풀려지는 반면, 표현 새로움 점수(representation-novelty score)는 상보적인 방향에서 맹점을 드러낸다(태스크를 완전히 변경하는 레이블 순열 치환에서도 변화가 없음). 조건부 2-판별자 불일치(conditional two-discriminator discrepancy)를 임베딩 공간으로 이식하면 두 맹점이 모두 해결된다. 즉, 기능적 축은 회전 시에도 ±0.001 이내를 유지하며, 레이블 순열 드리프트 질량을 단조롭게 추적한다. 헤드 혼합(mixture-of-heads) 라이프사이클에 구축된 이 2축 게이트는 동일한 학습 예산 하에서 교환 또는 새로움 트리거보다 더 적은 수의 헤드로 더 우수한 결정 품질을 달성한다. 일반화된 카테고리 발견(generalized category discovery)에서, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)가 해당 구분을 거의 무작위 수준으로 수행하는 반면, 동일한 청크 단위 기능적 축은 의미론적 새로움과 측광학적 변화(photometric shift)를 AUROC 0.98~0.99로 분리한다. 모든 연구 결과는 CIFAR-100에서 고정된 ImageNet-21k ViT-B/16 및 자기지도학습 DINOv2 백본 전반에 걸쳐 재현되며, 순환(recurrence) 구조를 가진 잔차 어댑터 풀로도 확장된다. 여기서 영점 보정된 새로움 트리거는 메커니즘 변화에 전혀 작동하지 않지만, 2축 게이트는 완전한 순환 재사용을 통해 이를 처리한다. 마지막으로, 임베딩 공간의 결론이 원래 메커니즘으로 전이되기 위한 공통 인수분해 조건(common-factoring condition)을 명시적으로 제시한다.
UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.
VIVAS: 비전-언어 통합 자기회귀 감독을 통해 VLM 사전학습에서 시각적 지각 활성화하기
VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision
비전-언어 모델(VLM)은 강력한 성능을 보여주지만, 미세한 시각적 지각(fine-grained visual perception)이 부족하여 멀티모달 이해가 근본적으로 제한된다는 치명적인 한계를 여전히 겪고 있습니다. 본 논문에서는 이러한 병목 현상이 사전학습(pre-training) 중 텍스트 지향적 최적화 편향에서 기인한다고 보며, 이는 모델이 미세한 시각적 세부 정보를 간과하도록 유도하여 멀티모달 이해 능력을 저해합니다. 연구 결과, 이러한 병목을 극복하기 위해서는 두 가지 핵심 요소가 필요한 것으로 나타났습니다: (1) 안정적인 학습(training) 역학을 보장하는 통합 토큰(token) 공간 패러다임, (2) 핵심적인 시각적 표현을 포착하기 위해 구조적 세분성과 의미론적 정보가 모두 풍부하게 포함된 모달리티 정렬 고밀도 시각 감독 신호입니다. 이러한 통찰을 바탕으로, 통합 토큰 공간 패러다임을 기반으로 구축된 프레임워크인 VIVAS를 제안합니다. VIVAS는 시각 어휘를 통합하여 텍스트 어휘를 통합 비전-언어 어휘로 확장하는 고밀도 구조-의미론적 비전 토크나이저를 도입합니다. 사전학습 과정에서 VIVAS는 시각적 세부 정보와 언어적 콘텐츠 모두에 대해 비전-언어 통합 자기회귀 감독을 수행함으로써, 시각적 지각을 강화하여 멀티모달 이해도를 향상시킵니다. 12.4T 토큰으로 엔드투엔드 학습된 VIVAS는 7개 작업과 39개 멀티모달 벤치마크 전반에 걸쳐 최고 수준의 성능을 달성합니다.
ScoutNeRV: ScoutNet을 통한 그리드 기반 비디오 INR의 신속 인코딩
ScoutNeRV: Rapid Encoding of Grid-Based Video INRs via ScoutNet
암시적 신경 표현(INR)은 비디오 압축을 위한 유망한 패러다임으로 부상했으며, 유연한 공간·시간 복원을 제공하는 컴팩트한 신경 표현을 제공한다. HiNeRV와 같은 계층적 그리드 기반 아키텍처는 강력한 rate-distortion 성능을 달성하지만, 비디오마다 광범위한 최적화가 필요해 인코딩 비용이 높다. 이 한계를 해결하기 위해 계층적 비디오 INR의 최적화를 가속하는 콘텐츠 적응형 초기화 프레임워크인 ScoutNeRV를 제안한다. ScoutNeRV는 경량의 오프라인 학습 스카우트 네트워크가 소수의 샘플 프레임을 분석하고, 하드 라우팅(hard routing)으로 메모리 뱅크에서 적합한 사전학습 전문가(expert)를 선택한다. 선택된 전문가의 계층적 그리드 및 디코더 파라미터는 비디오별 미세조정 전에 대상 HiNeRV 모델을 초기화하기 위해 이전된다. 보지 못한 ReadySetGo 시퀀스에서 ScoutNeRV는 미세조정 전 초기 PSNR $34.95$~dB를 달성하며, 표준 초기화의 $13.70$~dB 대비 $21.25$~dB 향상에 해당한다. 단 37 에포크 후 ScoutNeRV는 $36.92$~dB에 도달하고, 평가된 rate-distortion 구성 전반에서 300-에포크 HiNeRV 기준선 대비 $0.42$--$0.80$~dB 이내를 유지한다. 또한 제안 초기화는 보고된 런타임 실험에서 wall-clock 기준 $9.25\times$ 속도 향상을 달성한다. 이러한 결과는 콘텐츠 인식 전문가 초기화가 계층적 비디오 INR의 최적화 비용을 크게 줄이면서도 경쟁력 있는 복원 및 압축 성능을 유지할 수 있음을 보여준다. 코드는 https://github.com/nasserdeveloper/ScoutNeRV 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.