arXiv:2306.03421

Diversifying Joint Vision-Language Tokenization Learning

Vardaan Pahuja, AJ Piergiovanni, Anelia Angelova

제출 2023-06-06

원문 초록

Building joint representations across images and text is an essential step for tasks such as Visual Question Answering and Video Question Answering. In this work, we find that the representations must not only jointly capture features from both modalities but should also be diverse for better generalization performance. To this end, we propose joint vision-language representation learning by diversifying the tokenization learning process, enabling tokens that are sufficiently disentangled from each other to be learned from both modalities. We observe that our approach outperforms the baseline models in a majority of settings and is competitive with state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28222v1cs.CV공통 태그 Question Answering, Representation Learning, Visual Question Answering

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2610.10738v1cs.CL공통 태그 Question Answering, Representation Learning

손실 압축 텍스트 오토인코더

Lossy Compressive Text Autoencoders

본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.

arXiv:2610.00573v1cs.CV공통 태그 Visual Question Answering, Video Question Answering

FORTE: 장시간 비디오 질의응답을 위한 적응형 스코어링과 정확한 키프레임 선택

FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering

질의 인식(query-aware) 키프레임 선택은 멀티모달 대규모 언어 모델(MLLM)이 질문과 관련된 소수의 프레임만을 사용하여 긴 비디오를 처리할 수 있게 한다. 그러나 기존의 점수 기반 방법들은 일반적으로 고정된, 균일하게 샘플링된 후보 풀 내에서만 탐색하기 때문에, 이 풀 밖에 있는 증거는 결코 선택될 수 없다. 제한된 관련성 스코어링(relevance-scoring) 예산이 주어졌을 때, 핵심 과제는 유망한 프레임에 평가를 적응적으로 할당하면서도 저평가된 시간적 영역을 계속 탐색하는 것이다. 우리는 이러한 과제를 두 단계, 즉 적응형 관련성 스코어링과 전역 키프레임 최적화를 통해 해결하는 학습이 필요 없는(training-free) 프레임워크인 FORTE를 소개한다. 희소하고 균일하게 분포된 관측값에서 시작하여, 우리의 효율적인 가우시안 프로세스(Gaussian process) 관련성 예측기는 점수가 매겨지지 않은 프레임의 관련성을 추정하며, 시간적 지역성(temporal locality)과 대략적인 밴드 구조의 커널 구조를 활용하여 고정된 대역폭(bandwidth)에 대해 핵심 계산량을 프레임 수에 대해 3차(cubic)에서 선형(linear) 시간으로 줄인다. 이어서 스코어링 단계는 예측된 관련성과 시간적 커버리지(temporal coverage)의 균형을 맞춰 다음으로 점수를 매길 프레임을 선택하며, 유망한 영역을 우선시하면서도 비디오에서 상대적으로 덜 대표된 부분도 탐색한다. 최적화 단계는 측정된 관련성과 시간적 커버리지를 함께 포착하는 목적 함수를 최대화하여 최종 키프레임을 선택한다. 우리는 로그 커버리지 구조를 활용하여, 고정된 최종 프레임 예산에 대해 점수가 매겨진 후보 풀의 최적 부분집합을 풀 크기에 대해 선형 시간 내에 식별하는 정확한(exact) 알고리즘을 도출한다. 네 가지 장시간 비디오 질의응답(long-video question-answering) 벤치마크에 대한 실험 결과, FORTE는 테스트된 모든 스코어링 예산에서 비교 대상 선택기들 중 가장 높은 관측 평균 정확도를 달성하였다. 추가 평가는 서로 다른 관련성 스코어러(relevance scorer)와 다운스트림 MLLM 전반에서 FORTE의 일관된 효과를 보여준다.

arXiv:2610.01917v1cs.CV공통 태그 Representation Learning, Visual Question Answering

MoLE: 상호보완적 시각 추론을 위한 잠재 전문가 혼합

MoLE: Mixture of Latent Experts for Complementary Visual Reasoning

잠재 시각 추론(latent visual reasoning)은 명시적인 텍스트 추론 경로(trace)나 반복적인 이미지 연산 없이도 시각적 증거를 처리할 수 있는 연속적인 중간 상태를 비전-언어 모델(vision-language model)에 제공합니다. 그러나 기존 방식들은 공유된 가치 프로젝션(value projection)을 통해 여러 잠재 토큰이 동일한 시각적 증거에 접근하도록 허용하는 경우가 많아, 상호보완적인 시각 정보를 추출할 수 있는 메커니즘을 제공하지 못합니다. 따라서 단순히 잠재 토큰의 예산(budget)을 늘리는 것만으로는 중복된 잠재 표현이 생성될 수 있습니다. 본 연구에서는 효과적인 잠재 추론을 위해 서로 다른 잠재 토큰들이 상호보완적인 시각 정보를 추출하도록 유도하여 전문화된 시각 전문가 역할을 수행하게 해야 한다고 주장합니다. 이러한 통찰을 바탕으로, 각 잠재 시각 전문가가 관찰하는 시각적 증거와 이를 변환하는 방식을 모두 제어하는 잠재 전문가 혼합(Mixture of Latent Experts) 프레임워크인 MoLE를 제안합니다. MoLE는 증거 추출 과정에서 잠재 시각 전문가들을 격리하고, 전용 잠재 요약 전문가를 활용해 잠재 시각 전문가들의 상호보완적인 표현을 집계합니다. 2단계 학습 파이프라인은 먼저 시각적 증거가 이 잠재 경로를 통과하도록 강제한 후 직접적인 시각적 접근을 복원하므로, 사전에 정의된 전문가 역할이나 중간 시각적 목표가 필요하지 않습니다. 5개의 시각 추론 벤치마크 전반에서 MoLE는 평균 점수 78.6점을 달성하여, 동일한 데이터로 매칭된 지도 미세조정(supervised fine-tuning)보다 4.9점, 동일한 잠재 예산에서 평가된 가장 강력한 잠재 시각 추론 기준선(baseline)보다 3.6점 높은 성능을 보였습니다. 표현 분석 결과 잠재 상태 간 유사도가 낮아지고 더 다양한 시각적 어텐션이 나타났으며, 잠재 경로를 마스킹했을 때는 평균 성능이 9.2점 감소했습니다. 이러한 결과는 단순히 잠재 토큰 수를 늘리는 것보다 잠재 연산을 전문화하는 것이 더 효과적임을 입증합니다.

arXiv:2609.27915v1cs.CV공통 태그 Representation Learning, Visual Question Answering

UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상

UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm

멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.

arXiv:2609.27948v1cs.CV공통 태그 Representation Learning, Visual Question Answering

VIVAS: 비전-언어 통합 자기회귀 감독을 통해 VLM 사전학습에서 시각적 지각 활성화하기

VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision

비전-언어 모델(VLM)은 강력한 성능을 보여주지만, 미세한 시각적 지각(fine-grained visual perception)이 부족하여 멀티모달 이해가 근본적으로 제한된다는 치명적인 한계를 여전히 겪고 있습니다. 본 논문에서는 이러한 병목 현상이 사전학습(pre-training) 중 텍스트 지향적 최적화 편향에서 기인한다고 보며, 이는 모델이 미세한 시각적 세부 정보를 간과하도록 유도하여 멀티모달 이해 능력을 저해합니다. 연구 결과, 이러한 병목을 극복하기 위해서는 두 가지 핵심 요소가 필요한 것으로 나타났습니다: (1) 안정적인 학습(training) 역학을 보장하는 통합 토큰(token) 공간 패러다임, (2) 핵심적인 시각적 표현을 포착하기 위해 구조적 세분성과 의미론적 정보가 모두 풍부하게 포함된 모달리티 정렬 고밀도 시각 감독 신호입니다. 이러한 통찰을 바탕으로, 통합 토큰 공간 패러다임을 기반으로 구축된 프레임워크인 VIVAS를 제안합니다. VIVAS는 시각 어휘를 통합하여 텍스트 어휘를 통합 비전-언어 어휘로 확장하는 고밀도 구조-의미론적 비전 토크나이저를 도입합니다. 사전학습 과정에서 VIVAS는 시각적 세부 정보와 언어적 콘텐츠 모두에 대해 비전-언어 통합 자기회귀 감독을 수행함으로써, 시각적 지각을 강화하여 멀티모달 이해도를 향상시킵니다. 12.4T 토큰으로 엔드투엔드 학습된 VIVAS는 7개 작업과 39개 멀티모달 벤치마크 전반에 걸쳐 최고 수준의 성능을 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.