한국어 초록
옴니모달 대규모 언어 모델(Omni-LLM)은 언어와 함께 시각, 오디오, IMU 신호 등 이질적인 모달리티(modality)를 처리하도록 LLM을 확장하여 더 폭넓은 멀티모달 과제를 가능하게 한다. 그러나 우리는 이러한 모델들이 비텍스트 모달리티의 정보를 정확하게 인지하고도 이를 제대로 표현하지 못하는 경우가 많다는 것을 발견했다. 우리는 이러한 단절 현상을 'knows-but-cannot-say(알지만 말할 수 없음)'라 명명한다. 이 현상을 조사하기 위해 우리는 개별 모달리티 표현과 응답 표현 간의 정렬을 측정하는 토큰 수준 모달리티 정렬(Token-level Modality Alignment, TMA)을 도입한다. 우리의 분석에 따르면 비텍스트 표현은 텍스트 표현에 비해 응답 토큰과의 정렬 정도가 낮고 받는 어텐션도 적은 것으로 나타났으며, 이는 모달리티 선호가 불균형하게 나타나는 원인을 설명해줄 수 있다. 이러한 발견에 착안하여 우리는 원본 모달리티 입력을 스스로 생성한 텍스트로 보완하여 비텍스트 지식에 더 쉽게 접근할 수 있게 하는 간단한 지각(perceive) → 추론(infer) 전략인 OmniCatalyst를 제안한다. 7개의 Omni-LLM 전반에서 OmniCatalyst는 일관되게 성능을 향상시키며(+7.29%) 더 균형 잡힌 모달리티 선호를 만들어내고, 다양한 학습 전략을 통해 추가적인 성능 향상도 얻을 수 있다. 추가 분석을 통해 지식 추출 단계가 TMA를 높인다는 것을 보였으며, 이는 정렬이 향상되면 응답 생성 과정에서 비텍스트 정보에 더 쉽게 접근할 수 있게 됨을 시사한다. 요약하면, 우리의 연구 결과는 Omni-LLM이 언어를 통해 모달리티 지식을 더 잘 표현할 수 있는 방법을 밝혀준다. 코드는 https://github.com/naver-ai/OmniLLM 에서 확인할 수 있다.
원문 초록
Omni-modal large language models (Omni-LLMs) extend LLMs to process heterogeneous modalities (e.g., vision, audio, and IMU signals) alongside language, enabling a broader range of multimodal tasks. Yet we find that these models often fail to express information from non-textual modalities even when they perceive it correctly. We term this disconnect knows-but-cannot-say. To investigate this phenomenon, we introduce Token-level Modality Alignment (TMA), which measures the alignment between individual modality representations and response representations. Our analysis shows that non-textual representations are less aligned with response tokens and receive less attention than textual representations, suggesting a potential explanation for uneven modality preferences. Motivated by these findings, we propose OmniCatalyst, a simple perceive $\rightarrow$ infer strategy that complements the original modality inputs with self-generated text, making non-textual knowledge more accessible. Across seven Omni-LLMs, OmniCatalyst consistently improves performance (+7.29%) and yields more balanced modality preferences, with further gains from diverse training strategies. Further analysis demonstrates that the knowledge extraction phases increase TMA, suggesting that improved alignment makes non-textual information more accessible during response generation. In summary, our findings uncover how Omni-LLMs can better express modality knowledge through language. Our code is available at https://github.com/naver-ai/OmniLLM.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
36 pages, 25 figures, 14 Tables