Reinforcement learning with verifiable rewards has driven major gains in LLM reasoning, and it is intuitive to assume this recipe will transfer well to multimodal models. However, multimodal models do two things: first, perceive what is in an image, then reason about what it implies. Because these stages are graded jointly, it is hard to tell how much room reasoning alone has to grow. We study this on algorithmic visual puzzles, where both components are necessary and show that perception, not reasoning, is the binding constraint. Replacing images with simple textual descriptions raises performance by over 20 points on average for Claude models. We then evaluate six reward designs aimed at inducing visual grounding during reasoning without chain-of-thought supervision. Training Qwen-2.5-VL-7B with GRPO, reward design induces long, structured reasoning with self-reflection and visual references, yielding a 5.56-point gain over the base model. These gains are, however, uneven; no single reward improves all categories, and rewards with verifiable accuracy signals trade cross-domain transfer for in-domain accuracy. These results point to perception-aware reward design as a path forward, so that signals correct perception at its source rather than the reasoning that inherits its errors.
기존의 3D 대규모 언어 모델(LLM)은 두 가지 측면에서 타협합니다. 즉, 형상을 잠재 코드북 인덱스나 좌표 텍스트로 압축하여 모델이 관찰하는 대상에서 공간 구조를 제거하며, 백본을 미세조정(fine-tuning)하여 3D 모달리티를 획득함으로써 일반 언어 능력을 덮어씁니다. 본 논문에서는 두 한계를 모두 해결하는 OctLLM을 제시합니다. 기하학적 정보는 옥트리(octree) 점유 토큰의 명시적 3D 시퀀스로 입력됩니다. 그러나 전체 옥트리 시퀀스는 깊이에 따라 급격히 증가하므로, OctLLM은 형상을 보존하면서 끝에서 두 번째 레벨의 노드를 무작위로 비우고 하위 노드를 생략하여, 위치 인식 마스크 모델링 생성 및 3D 이해를 위한 좌표 및 깊이 기반의 더 짧은 희소 옥트리(Sparse Octree, S-Octree)를 생성합니다. 다른 한편으로, 기존 방법들은 완전 미세조정(full fine-tuning)이나 LoRA를 통해 새로운 모달리티를 도입하지만, 완전 미세조정은 비용이 많이 들고, LoRA는 3D 용량을 제한하며, 두 방식 모두 언어 경로를 수정합니다. 대신 OctLLM은 사전학습된 파라미터와 분리된 파라미터에 3D 용량을 추가합니다. 즉, 메시 토큰은 일부 블록의 독립적인 학습 가능 브랜치를 통해 라우팅되는 반면 텍스트 및 이미지 토큰은 고정된(frozen) 비전-언어 경로를 유지하고, 두 스트림은 공유된 셀프 어텐션(self-attention)을 통해 상호작용합니다. OctLLM은 완전 미세조정보다 훨씬 적은 파라미터를 학습하면서도 통합 멀티모달 LLM 중 새로운 최고 성능(state of the art)을 달성하여, ShapeLLM-Omni 대비 image-to-3D FID를 $17.4\%$ 낮추고 렌더링 기반 캡셔닝을 $28.7$점 향상시키는 동시에 일반 언어 벤치마크에서 백본 수준의 성능을 유지합니다.
고해상도 멀티모달 대규모 언어 모델(MLLM)의 실패는 흔히 시각적 문제로 귀결되어 세부적인 근거를 복원하거나 간섭을 억제하기 위한 줌(zooming), 크롭(cropping) 및 관련 시각적 개입을 유도해 왔습니다. 그러나 최근 연구에 따르면 관련 시각적 근거는 이미 중간 표현(intermediate representation)에 인코딩되어 있어 시각 측면의 개선만으로는 불충분함을 시사합니다. 이는 자연스럽게 다음과 같은 의문을 제기합니다. 남아있는 병목 현상은 시각적 탐색을 유도하는 텍스트에 있는 것일까? 본 연구에서는 기존에 간과되었던 언어적 병목 현상을 규명합니다. 즉, 답변 생성을 위해 구성된 질문이 위치 파악(localization)에 필요한 시각적 근거를 반드시 명시하지는 않는다는 점입니다. 이러한 불일치를 해결하기 위해, 최종 추론을 위한 원래 질문을 보존하면서 보완적인 근거 명세(evidence specifications)를 도출하는 학습(training) 불필요 컴파일러인 EviSpec을 제안합니다. 나아가 근거 명세와 위치 파악의 역할을 분리하는 일치 대조 실험(matched-control experiment)을 통해 이를 검증합니다. 탐색 예산이 고정된 상태에서 구조화된 근거 명세는 일반적인 요청 대비 8.6%의 상대적 성능 향상을 가져옵니다. 근거 지오메트리(geometry)가 일치된 상태에서 EviSpec으로 위치를 파악한 근거는 무작위 근거 대비 14.8%의 상대적 향상을 보입니다. 종합하면, 이러한 대조 실험은 단순히 시각적 접근성을 확장하기보다 찾아야 할 근거를 구체적으로 명시하는 것의 이점을 입증합니다. 5개의 모든 MLLM에 걸쳐 EviSpec은 3개 벤치마크 각각에서 해당하는 기준선(baseline) 대비 지속적으로 성능을 향상시키며, V\textsuperscript{*}Bench, HR-Bench-4K, HR-Bench-8K에서 각각 평균 \textbf{10.4%, 8.8%, 12.4%}의 상대적 성능 향상을 달성합니다. 고해상도 추론을 넘어, EviSpec은 시각적 질의응답(VQA) 및 환각(hallucination) 중심 벤치마크에서도 최고 성능(state-of-the-art)을 달성합니다.
기존 옴니모달 대규모 언어 모델의 토큰 압축 방법은 일반적으로 한 모달리티에 의존하여 다른 모달리티에서 무엇을 유지할지 결정합니다. 우리는 이 가정이 종종 무너진다는 것을 보여줍니다. 동일한 쿼리에 대해 오디오와 비디오의 관련성은 종종 서로 다른 시점에 정점을 찍습니다. 이러한 교차 모달리티 현저성(salience) 불일치는 단방향 안내가 공격적인 압축 하에서 답변에 결정적인 단서를 버리기 쉽게 만듭니다. 우리는 쿼리를 공유 의미 앵커로 사용하면서 오디오와 비디오에 대해 관련성을 각각 별도로 추정하는 학습 없는(training-free) 토큰 압축 프레임워크인 OmniScope를 제안합니다. OmniScope는 모달리티별 토큰 예산을 할당하고, 전역 컨텍스트와 시간적 변화를 모두 보존하는 anchor-delta 전략으로 시각 토큰을 가지치기(prune)하며, 시간적 연속성을 유지하면서 중복을 줄이기 위해 각 초 내의 오디오 토큰을 병합합니다. 4개의 오디오-비디오 벤치마크와 두 가지 Qwen2.5-Omni 모델 규모에서 OmniScope는 모든 압축 설정에서 최고의 평균 정확도를 달성합니다. 전체 토큰 유지율 25%에서 최대 3.53배 prefill 속도 향상과 15% 이상의 GPU 메모리 감소를 제공하며, 평균 정확도는 0.35포인트만 하락합니다. 이 결과는 OmniLLM 추론(inference)을 위한 간단한 설계 원칙을 시사합니다. 모달리티 간에 쿼리는 공유하되, 현저성 추정치는 공유하지 않는다. 코드는 https://github.com/MAC-AutoML/OmniScope 에서 이용할 수 있습니다.
우리는 새로운 학습 문제를 제안한다: 다양한 시각 작업에서 인간 목표에 대한 자연어 설명으로 시선을 디코딩하는 것이다. 사전 정의된 범주에 대한 판별(discriminative) 작업으로 시선 디코딩을 다루는 기존 연구와 달리, 우리는 이를 생성적 학습 문제로 공식화한다. 즉, 고정된 레이블을 넘어 인간 의도의 풍부한 뉘앙스와 개방형(open-ended) 특성을 포착하는 자유 형식(free-form) 설명을 생성하도록 모델을 학습시키는 것이다. 이를 위해 우리는 최초의 gaze-to-text 디코딩 프레임워크인 Gazette를 제안한다. 다중모달 대규모 언어 모델(MLLM)을 기반으로, Gazette는 범주형 레이블을 넘어설 수 있고 자연어로 표현이 필요한 목표에 대해 시선 스캔패스(scanpath)를 자연어로 디코딩하는 방법을 학습한다. Gazette가 시선 행동의 개인차를 걸러내고 정확한 자연어 목표 설명 생성에 필수적인 목표 특이적 시공간(spatiotemporal) 역학을 학습하도록 돕기 위해, 우리는 대규모 언어 모델의 백과사전적 지식과 추론 능력을 활용하여 목표 지향적 어텐션 행동에 대한 자연어 설명인 think-aloud 전사(transcript)를 합성하는 새로운 전략을 제안한다. 이러한 합성 내러티브에 대한 지시 미세조정을 통해 Gazette는 여러 작업에서 시선 디코딩 분야 최첨단(state-of-the-art) 성능을 달성하며, 이는 일반화 가능성과 다용성을 보여준다. 이에 따라 시선은 다양한 시나리오에서 인간 목표와 의도를 추론하는 강력하고 비침습적인(non-intrusive) 단서로 기능할 수 있다.
본 논문에서는 시각 토큰 가지치기(pruning)가 다중모달 대규모 언어 모델(MLLM)의 견고성을 향상시키며, 탈옥(jailbreak) 공격 및 환각(hallucination)과 같은 취약점을 완화한다는 것을 최초로 보여준다. 시각과 언어 모달리티가 완벽하게 정렬(alignment)될 수 없다는 점을 고려할 때, 정렬되지 않은 시각 토큰은 분포 밖(OOD) 입력으로 작용하여 예측 불가능한 출력을 유발하고 잠재적 취약점을 도입할 수 있다. 이러한 통찰을 바탕으로, 견고한 가지치기 레이어에서 OOD 시각 토큰을 줄임으로써 탈옥 및 환각에 대한 모델 견고성을 향상시키는 것을 목표로 하며, 부수적 이점으로 추론 비용도 절감한다. 구체적으로, 각 시각 토큰과 언어 특징 공간 사이의 거리를 측정한다. 그런 다음 거리가 큰 시각 토큰을 OOD 토큰으로 식별하여 반복적으로 가지치기할 수 있다. 방법의 효과를 입증하기 위해, 일곱 가지 다양한 인기 벤치마크에서 이를 평가한다. 특히, 본 방법은 탈옥 공격 방어에서 평균 13.29%의 개선을 달성하고, 환각 완화에서 꾸준히 경쟁력 있는 성능을 보이며, MME와 같은 일반 데이터셋에서도 강력한 결과를 유지한다.
Multimodal Large Language Models (MLLMs) perform strongly in high-resource languages, yet often produce fluent but culturally "thin" descriptions in low-resource settings. We argue that this failure is not merely a linguistic limitation: culture-specific visual knowledge depends on native visual-textual alignments that translation-centric pipelines rarely provide. We present MELLA, a multimodal dataset across eight low-resource languages, designed to support linguistic fluency and cultural groundedness. MELLA uses a dual-source strategy that combines native web image-alt-text pairs for culture-grounded supervision with generated-and-translated image descriptions for linguistically rich supervision, explicitly separating two learning signals often conflated in multilingual multimodal data. Through controlled diagnostic fine-tuning on multiple MLLM backbones, we show that MELLA mitigates cultural hallucination by helping models recognize and articulate culturally specific entities overlooked by translation-based adaptation. Our findings highlight data alignment, rather than model modification alone, as a path toward culturally grounded multimodal understanding in low-resource languages. The dataset is available at https://opendatalab.com/applyMultilingualCorpus.
풍부하고 식별 가능한 부품 라이브러리는 인쇄 회로 기판(PCB) 설계 및 생성의 초석이다. 전통적으로 엔지니어들은 심볼과 풋프린트를 수동으로 생성하고 PCB 회로도를 설계하는데, 이는 시간이 많이 소요되고 오류가 발생하기 쉽다. 다중모달 대규모 언어 모델(MLLM)을 활용하여, 우리는 전자 부품의 심볼 및 풋프린트에 대한 에이전트 기반 인식 및 생성 플로우인 SFgen을 개발한다. SFgen은 심볼 생성에서 86%의 정확도, 풋프린트 생성에서 80%의 정확도를 달성한다. 우리는 SFgen 방법을 사용하여 심볼과 풋프린트 데이터베이스인 SFnet을 구축한다. SFnet은 현재 1000개의 부품을 포함하고 있으며 지속적으로 확장 중이며, 이는 PCB 설계의 자동 생성을 위한 기반을 마련한다.
멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)은 최근 비전-언어(vision-language) 태스크 전반에서 우수한 성능을 보여주었다. 그러나 많은 입력 시각 토큰과 대규모 언어 모델(Large Language Model, LLM)의 무거운 연산으로 인한 높은 추론 비용은 실용적 배포의 핵심 장벽으로 남아 있다. 최근 연구는 예를 들어 중복 시각 토큰의 가지치기나 LLM 레이어 및 헤드 건너뛰기처럼 개별 차원을 적응적으로 최적화하여 비용을 줄이려 시도한다. 그럼에도 기존 접근법은 이러한 차원들을 독립적으로 다루는 경우가 많으며, 입력 내용에 따라 가용 연산 자원을 모든 차원에 걸쳐 동적으로 배분해야 한다는 근본적인 결합 관계를 간과한다. 이 간극을 메우기 위해, 우리는 변화하는 입력 내용과 연산 예산에 대응하여 시각 토큰 수와 모델 연산 능력을 공동으로 제어하는 통합 적응형 추론 프레임워크 SmartVL을 제안한다. SmartVL은 정보가 풍부한 시각 토큰을 동적으로 선택하는 비전 측 토큰 컨트롤러와 LLM 연산을 적응적으로 조절하는 LLM 측 연산 컨트롤러를 도입한다. 중요한 점은, 이 컨트롤러들이 서로 협조하도록 학습되어 전체 추론 비용이 목표 예산을 만족하도록 한다는 것이다. 이러한 공동 스케줄링을 가능하게 하기 위해, 공유 예산 인코딩으로 컨트롤러들을 연결하고 미분 가능한 지연(latency) 추정기를 활용하여 end-to-end 학습을 수행한다. 이 설계를 통해 SmartVL은 입력 복잡도와 런타임 연산 제약 모두에 적응하는 단계 간 할당 전략을 학습할 수 있다. 여러 MLLM 벤치마크에 걸친 실험은 공동 스케줄링을 통해 SmartVL이 기존 적응형 방법들을 일관되게 능가하며 더 우수한 정확도-효율 파레토 프론티어를 달성함을 보여준다. 프로젝트 페이지: https://www.schaterji.io/publications/2026/jointtokencompute.
멀티모달 대규모 언어 모델(MLLM)에서 발생하는 객체 환각(object hallucination)이 인간의 주의 분산 시 시각적 선명도가 저하되는 현상과 유사하게, 멀티헤드 어텐션의 공간적 불일치와 디코딩 과정에서 이미지 토큰에 대한 어텐션의 시간적 소실로 나타남을 규명하였다. 이를 바탕으로 크로스헤드 어텐션 강화와 동적 과거 어텐션 강화를 결합한 훈련 불필요 모듈 AFIP를 제안하여 다양한 벤치마크에서 환각 억제 효과를 검증하였다.
멀티모달 대규모 언어 모델(MLLM)의 기존 안전 메커니즘은 안전성과 유용성 사이의 근본적인 트레이드오프에 직면해 있다. 모델 미세조정은 강력한 안전성을 달성하지만 전반적인 유용성을 저하시킨다. 입력 측 안전 가드레일은 경량 대안을 제공하지만, 무해한 쿼리나 모델이 거부 또는 권고 응답을 통해 안전하게 답변할 수 있었던 질의까지 무차별적으로 차단하는 심각한 과도한 거부(over-refusal) 문제를 겪는다. 우리는 과도한 거부의 근본 원인이 입력 인식(input-aware) 패러다임에 있음을 규명한다: 안전 가드레일이 모델 자체가 안전한 응답을 생성할 능력이 있는지를 고려하지 않고 안전 결정을 내린다는 것이다. 일반적으로 MLLM은 해로운 입력을 무해한 출력으로 변환할 수 있는 내재적 안전 메커니즘을 이미 보유하고 있지만, 입력 측 안전 가드레일이 이 능력을 무력화하여 사용자 경험을 저하시킨다. 이러한 통찰에 기반하여, 우리는 출력 인식(output-aware) 안전 가드레일로의 패러다임 전환을 제안한다. 우리의 방법은 모델의 은닉 상태 공간 내에서 작동하여, 생성이 완전히 이루어지기 전에 다가오는 생성 결과가 안전하지 않을지를 예측한다. 은닉 상태 표현에 대한 다중 인스턴스 대조 학습을 통해 경량 분류기를 학습함으로써, 우리의 접근법은 입력 자체에 위험 요소가 포함되어 있더라도 안전하지 않은 출력으로 이어질 입력과 그렇지 않을 입력을 구별한다. 이를 통해 모델의 실제 응답이 유해할 경우에만 정확한 개입이 가능해진다. 광범위한 실험을 통해 우리의 출력 인식 안전 가드레일이 기존 방법의 안전성 성능과 동등하면서도 과도한 거부를 대폭 줄이고, 모델의 유용성과 내장 안전 능력을 보존함을 입증한다. 코드는 https://github.com/kunzhan/OutGuard 에서 확인할 수 있다.
문맥 내 학습(ICL)은 멀티모달 대규모 언어 모델(MLLM)이 소수의 레이블된 예시로부터 이미지를 분류할 수 있게 한다. 그러나 이러한 모델들이 제공된 컨텍스트를 어떻게 활용하는지는 여전히 불투명하다. 사고의 연쇄(Chain-of-Thought) 프롬프팅이 널리 사용되고 있지만, 최근 연구들은 이것이 실제 내부 연산을 반영하지 않을 수 있다고 주장한다. 본 논문에서는 기준선 분류부터 기술 논리(Description Logics, DL) 공리 생성에 이르는 형식적 엄밀성이 증가하는 다섯 가지 조건을 사용하여, 퓨샷(few-shot) ICL 환경에서 동결된(frozen) MLLM의 개념 기반 설명 가능성을 체계적으로 평가한다. 독립적인 LLM-as-a-judge 파이프라인을 통해 네 가지 최신 MLLM을 평가한 결과, 설명은 예측만 하는 것보다 실제로 더 어렵다는 것을 입증한다. 놀랍게도, 모델이 형식적으로 구조화된 개념 기반 설명을 생성하도록 강제하면 예측 정확도가 단조롭게 저하되며(93.8%에서 90.1%로), 이는 명시적 추론이 성능을 보편적으로 향상시킨다는 가정에 반한다. 그러나 모델이 클래스 판별적 시각적 특징을 성공적으로 표현할 때, 설명 품질은 올바른 예측과 강한 상관관계를 보인다. 이러한 결과는 MLLM이 시각적 분류에 뛰어난 성능을 보이지만, 형식적이고 기계 검증 가능한 설명 가능성을 위한 특정 인스트럭션 튜닝이 부족함을 시사한다.
고품질 시각적 표현(visual representation)은 컴퓨터 비전에서 오랜 과제다. 멀티모달 대규모 언어 모델(MLLM)의 맥락에서, 더 높은 해상도의 이미지를 입력하면 보다 세밀한 시각적 토큰을 생성할 수 있다. 그러나 이는 여러 차례의 순전파와 증가된 토큰의 후처리로 인해 추가적인 계산 및 설계 복잡성을 유발한다. 단순히 더 높은 해상도를 채택하기 전에, 표준 해상도에서 모델의 완전한 인식 능력을 진정으로 끌어냈는지 살펴볼 필요가 있다. 따라서 우리는 더 큰 이미지 없이 낮은 비용으로 세밀한 시각적 인식을 달성하는 방법이라는 흥미로운 문제를 연구한다. 본 논문에서는 SigLIP-HD를 제안한다. 핵심은 매우 단순한 세밀에서 거친 방향의 지도(supervision) 설계다. 중간 해상도 이미지의 거친 특징(feature)이 고해상도 버전의 세밀한 특징을 모방하도록 강제한다. 이 프레임워크는 고급 SigLIP 2 모델 위에 구축된다. 최종 모델은 정확히 동일한 추론 비용으로 더 우수한 시각적 토큰을 생성한다. 광범위한 MLLM 벤치마크에서 검증되었으며, 특히 OCR 관련 태스크에서 기준선 모델 대비 일관되게 더 강력한 결과를 제공한다.
Harrison.Rad 1.5(HR1.5)는 흉부, 근골격계, 복부, 척추, 골반 X선 및 유방 촬영 등 단순 방사선 촬영 전반을 다루는 방사선과 특화 멀티모달 대규모 언어 모델(LLM)로, 약 600만 건의 영상-보고서 쌍을 활용한 대조적 비전 인코더 학습과 다중 턴 VQA 파인튜닝을 포함한 3단계 파이프라인으로 학습되었다. 평가 결과 HR1.5는 모의 FRCR 2B 시험 합격 기준을 충족한 유일한 모델로, 폐쇄형 임상 질문 정확도 및 내부 다중 모달리티 보고서 생성에서 최고 성능을 달성했다.
기계공학 도면 이해에 특화된 최초의 종합 벤치마크 MechVQA를 소개하며, 3,300장의 고밀도 도면과 21,000개의 질의응답 쌍으로 인식·추론·판단 세 가지 능력 축에 걸쳐 10개 세부 태스크를 구성하였다. 이를 기반으로 지도 학습 파인튜닝과 DAPO 기반 강화학습을 결합한 다단계 학습으로 개발된 MechVL 모델은 최강 클로즈드소스 기준선 대비 7.57 퍼센트포인트 높은 성능을 달성하였다.
옴니모달 대규모 언어 모델(LLM)이 다화자 대화에서 '누가 무엇을 언제 말했는지' 정확히 파악하지 못하는 문제를 해결하기 위해, Visual Delta Encoder를 활용해 25fps로 프레임 간 모션 잔차를 프레임당 6개의 토큰으로 압축하는 HumanOmni-Speaker를 제안하고, 시각적 지름길을 배제한 VR-SDR(Visual-Registered Speaker Diarization and Recognition) 벤치마크를 통해 기존 오픈소스 모델을 크게 능가하며 Gemini3-Pro 수준의 성능을 달성했다.
현재의 멀티모달 대규모 언어 모델(MLLM)이 세 살 아이도 쉽게 해결하는 기본 시각 과제에서 일관되게 실패한다는 사실에 주목하여, 언어 지식과 독립적으로 핵심 시각 능력을 평가하는 벤치마크 BabyVision을 제안한다. 4개 범주 22개 하위 유형의 388개 문항으로 구성된 BabyVision에서 최고 성능 모델인 Gemini3-Pro-Preview조차 49.7점에 그쳐 성인 평균(94.1점)과 44.4%포인트 격차를 보였으며, 생성 모델 기반의 시각적 추론 평가를 위한 BabyVision-Gen과 자동 평가 툴킷도 함께 공개한다.
MLLM-LLaVA-FL은 연합학습(FL) 환경에서 클라이언트 간 데이터 이질성과 롱테일 분포 문제를 해결하기 위해 서버 측에서 LLaVA 같은 멀티모달 대규모 언어 모델(MLLM)을 활용하는 3단계 프레임워크(전역 멀티모달 사전학습 → 연합 파인튜닝 → 전역 정렬)를 제안한다. 이 방식은 클라이언트 디바이스의 추가 연산 부담이나 그래디언트 전송 없이 인터넷 오픈소스 데이터를 효과적으로 활용하여, 기존 최신 연합학습 방법 대비 우수한 성능을 달성하면서도 프라이버시 보호를 강화한다.
멀티모달 대규모 언어 모델(LLM)의 시각적 역학 이해 한계를 극복하기 위해, DynaVieW는 비디오 키프레임에서 추출한 시각적 상태와 계층적 JSON 스키마로 표현된 전이(transition) 설명을 인터리브하여 학습하는 동적 스키마 기반 세계 모델을 제안한다. 전문가 혼합(MoE) 아키텍처와 크로스 전문가 선택적 어텐션, 스키마 토큰 재가중 손실을 활용해 전이 예측과 상태 시뮬레이션을 공동 학습하며, 시각적 내러티브 생성 및 세계 시뮬레이션 과제에서 일관성·제어 가능성·인스트럭션 따르기(instruction-following) 측면의 성능 향상을 달성했다.
옴니모달 대규모 언어 모델(OmniLLM)은 오디오와 비디오를 동시에 처리하는 능력으로 폭넓은 주목을 받고 있지만, 오디오-비주얼 입력에서 대규모 토큰 시퀀스를 생성하여 상당한 추론 비용을 초래한다. 기존의 오디오-비주얼 토큰 압축 방법들은 단일 모달리티 가이던스에 의존하는 경우가 많아, 오디오-비주얼 입력에서 쿼리 관련 증거의 시간적 지역성을 간과하고, 두 모달리티가 시간적으로 정렬된 정보 밀도 분포를 공유한다는 암묵적인 가정을 한다. 우리는 OmniLLM을 위한 학습 없는 쿼리 기반 토큰 압축 방법인 OmniFocus를 제안한다. 이 방법은 비디오와 오디오에 대해 독립적인 중요도 추정을 수행하여 모달리티 대칭적인 압축 설계를 가능하게 하며, 오디오-비주얼 정렬을 유지하면서 모달리티별 핵심 증거를 보존함으로써 단일 모달리티 기반 압축에서 발생할 수 있는 모달리티 바이어스 문제를 완화한다. 네 가지 오디오-비주얼 벤치마크에 걸친 Qwen2.5-Omni 모델 패밀리 실험 결과, OmniFocus는 낮은 토큰 유지 비율에서도 강력한 압축 성능을 유지하며, 25% 토큰 유지 시 여러 주요 벤치마크 점수에서 기존 기준선을 능가한다. DailyOmni에서 Qwen2.5-Omni-7B을 25% 토큰 유지로 적용할 경우, OmniFocus는 59.40의 정확도를 유지하면서 전체 토큰 기준선 대비 최대 1.38배의 프리필 속도 향상을 달성하며, 실용적으로 우수한 정확도-효율성 트레이드오프를 보여준다.