arXiv:2109.04422

TxT: Crossmodal End-to-End Learning with Transformers

Jan-Martin O. Steitz, Jonas Pfeiffer, Iryna Gurevych, Stefan Roth

제출 2021-09-09

원문 초록

Reasoning over multiple modalities, e.g. in Visual Question Answering (VQA), requires an alignment of semantic concepts across domains. Despite the widespread success of end-to-end learning, today's multimodal pipelines by and large leverage pre-extracted, fixed features from object detectors, typically Faster R-CNN, as representations of the visual world. The obvious downside is that the visual representation is not specifically tuned to the multimodal task at hand. At the same time, while transformer-based object detectors have gained popularity, they have not been employed in today's multimodal pipelines. We address both shortcomings with TxT, a transformer-based crossmodal pipeline that enables fine-tuning both language and visual components on the downstream task in a fully end-to-end manner. We overcome existing limitations of transformer-based detectors for multimodal reasoning regarding the integration of global context and their scalability. Our transformer-based multimodal model achieves considerable gains from end-to-end learning for multimodal question answering.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15810v1cs.CV공통 태그 Visual Question Answering, Multimodal Reasoning

적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기

Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning

긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.

arXiv:2610.10563v1cs.CV공통 태그 Visual Question Answering, Multimodal Reasoning

SLVR: 인간과 유사한 추론 흐름을 통한 구조화된 잠재 시각적 추론

SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows

멀티모달 대규모 언어 모델(MLLM)은 과제와 관련된 시각적 증거보다 언어적 사전 확률에 의존하여 시각적 추론 질문에 답하는 경우가 많습니다. 텍스트 기반 사고의 연쇄(Chain-of-Thought, CoT) 추론은 모델이 시각적 질문을 중간 증거 탐색 단계로 분해하도록 유도하여 이 문제를 부분적으로 완화할 수 있지만, 이러한 단계를 자기회귀적(autoregressively)으로 생성하면 추론(inference) 비용이 증가합니다. 잠재 추론(latent reasoning)은 명시적인 근거 생성을 피하지만, 기존 접근법은 중간 상태가 인코딩하는 정보에 대한 제어가 제한적이어서 계획(planning), 그라운딩(grounding), 증거 선택에 대한 개별적인 지도(supervision)를 적용하기 어렵습니다. 본 논문에서는 멀티모달 추론을 계획, 그라운딩, 증거 선택, 추론 통합을 위한 유형화된 잠재 단계로 구성함으로써 명시적 사고의 연쇄와 잠재 추론을 연결하는 학습(training) 프레임워크인 SLVR(Structured Latent Visual Reasoning)을 제안합니다. SLVR은 먼저 정답을 드러내는 텍스트를 마스킹하고 정답을 시각적으로 그럴듯한 오답과 대조함으로써 모델이 이미지에 의존하도록 학습시킵니다. 그런 다음 추론을 계획, 그라운딩, 증거 선택, 통합을 위한 잠재 단계로 구성하고, 각 단계를 그에 대응하는 신호인 계획, 바운딩 박스, 시각적 증거, 최종 근거로 지도합니다. 이를 통해 추론 시점에 생성되는 텍스트 체인을 피하면서도 잠재 추론에 명시적인 기능적 구조를 부여합니다. Qwen2.5-VL-7B를 기반으로 구축된 SLVR은 멀티모달 추론 벤치마크 전반에서 일관된 성능 향상을 보였으며, MMVP에서 +9.4, BLINK Relation에서 +14.2의 절대적 향상을 기록했을 뿐만 아니라 V*, MathVista, ChartQA에서도 성능이 향상되었습니다. 이러한 결과는 구조화된 잠재 지도가 텍스트 CoT의 디코딩 오버헤드 없이 미세한 시각적 추론을 개선할 수 있음을 시사합니다. 프로젝트 페이지는 \href{https://bogao-code.github.io/SLVR/}{여기}에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.