arXiv:2610.16135v1 cs.CL

옴니모달 LLM은 말하는 것보다 더 많이 알고 있다

Omni-Modal LLMs Know More Than They Say

Na Min An, Taekyung Kim, Jaemyung Yu, Hyunjung Shim, Dongyoon Han

제출 2026-10-12

저자 비고

arXiv Comments

36 pages, 25 figures, 14 Tables

한국어 초록

옴니모달 대규모 언어 모델(Omni-LLM)은 언어와 함께 시각, 오디오, IMU 신호 등 이질적인 모달리티(modality)를 처리하도록 LLM을 확장하여 더 폭넓은 멀티모달 과제를 가능하게 한다. 그러나 우리는 이러한 모델들이 비텍스트 모달리티의 정보를 정확하게 인지하고도 이를 제대로 표현하지 못하는 경우가 많다는 것을 발견했다. 우리는 이러한 단절 현상을 'knows-but-cannot-say(알지만 말할 수 없음)'라 명명한다. 이 현상을 조사하기 위해 우리는 개별 모달리티 표현과 응답 표현 간의 정렬을 측정하는 토큰 수준 모달리티 정렬(Token-level Modality Alignment, TMA)을 도입한다. 우리의 분석에 따르면 비텍스트 표현은 텍스트 표현에 비해 응답 토큰과의 정렬 정도가 낮고 받는 어텐션도 적은 것으로 나타났으며, 이는 모달리티 선호가 불균형하게 나타나는 원인을 설명해줄 수 있다. 이러한 발견에 착안하여 우리는 원본 모달리티 입력을 스스로 생성한 텍스트로 보완하여 비텍스트 지식에 더 쉽게 접근할 수 있게 하는 간단한 지각(perceive) → 추론(infer) 전략인 OmniCatalyst를 제안한다. 7개의 Omni-LLM 전반에서 OmniCatalyst는 일관되게 성능을 향상시키며(+7.29%) 더 균형 잡힌 모달리티 선호를 만들어내고, 다양한 학습 전략을 통해 추가적인 성능 향상도 얻을 수 있다. 추가 분석을 통해 지식 추출 단계가 TMA를 높인다는 것을 보였으며, 이는 정렬이 향상되면 응답 생성 과정에서 비텍스트 정보에 더 쉽게 접근할 수 있게 됨을 시사한다. 요약하면, 우리의 연구 결과는 Omni-LLM이 언어를 통해 모달리티 지식을 더 잘 표현할 수 있는 방법을 밝혀준다. 코드는 https://github.com/naver-ai/OmniLLM 에서 확인할 수 있다.

원문 초록

Omni-modal large language models (Omni-LLMs) extend LLMs to process heterogeneous modalities (e.g., vision, audio, and IMU signals) alongside language, enabling a broader range of multimodal tasks. Yet we find that these models often fail to express information from non-textual modalities even when they perceive it correctly. We term this disconnect knows-but-cannot-say. To investigate this phenomenon, we introduce Token-level Modality Alignment (TMA), which measures the alignment between individual modality representations and response representations. Our analysis shows that non-textual representations are less aligned with response tokens and receive less attention than textual representations, suggesting a potential explanation for uneven modality preferences. Motivated by these findings, we propose OmniCatalyst, a simple perceive $\rightarrow$ infer strategy that complements the original modality inputs with self-generated text, making non-textual knowledge more accessible. Across seven Omni-LLMs, OmniCatalyst consistently improves performance (+7.29%) and yields more balanced modality preferences, with further gains from diverse training strategies. Further analysis demonstrates that the knowledge extraction phases increase TMA, suggesting that improved alignment makes non-textual information more accessible during response generation. In summary, our findings uncover how Omni-LLMs can better express modality knowledge through language. Our code is available at https://github.com/naver-ai/OmniLLM.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.16135v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.