사전학습(pre-training)된 비전 및 언어 모델을 연결할 때는 일반적으로 이미지 특징(feature)을 언어 모델의 입력 공간으로 투영하는 방식을 사용합니다. Inverse-LLaVA는 디코더 어텐션(attention) 내에서 이러한 매핑을 반대로 뒤집습니다. 즉, 언어 상태를 시각적 특징 차원으로 투영하고, 모달리티별 맵을 통해 잔차 쿼리, 키 및 밸류 업데이트를 생성합니다. 융합 및 저랭크 적응(LoRA)은 백본을 고정(frozen)한 채 별도의 정렬 단계 없이 665K개의 시각적 인스트럭션으로부터 공동으로 학습됩니다. 9개의 주요 벤치마크(benchmark) 평가 전반에서 최종 7B 모델은 여러 태스크에 걸쳐 2단계 LLaVA-1.5에 근접한 성능을 보입니다. VQAv2에서는 공식 LLaVA-LoRA의 79.13% 대비 78.45%를 기록했고, VizWiz에서는 48.56% 대비 50.96%를 달성했으며, TextVQA는 58.47% 대비 56.96%로 다소 낮았습니다. 통제된 연구를 통해 융합 구성 요소, 삽입 깊이, 시각적 특징, 언어 모델 크기를 분석합니다. 표현 분석 결과, 텍스트 맵은 기하학적 확산을 변화시키면서도 쌍별 유사도 순서의 상당 부분을 보존함을 보여줍니다. 추가적인 쌍별 지도학습은 유명인 인식을 향상시키는 한편, 인스트럭션 리플레이는 캡션으로 인해 발생하는 답변 형식 오류를 복구합니다. 분석적 비용 표현식 및 고정 작업 프로파일은 생략된 정렬 단계와 추가 융합 계산을 구분해 보여줍니다. 이러한 결과는 텍스트-비전 어텐션 융합이 인스트럭션 전용 멀티모달 적응을 위한 실용적인 대안임을 입증합니다.
백채널(backchannel)은 공감과 이해와 같은 청자의 상태를 나타내며, 자연스러운 인간 상호작용의 기본 요소이다. 그러나 현재 접근법은 오디오와 텍스트에만 의존한다. 이는 정확한 예측에 필요한 표정과 제스처와 같은 중요한 시각적 단서뿐만 아니라 더 넓은 대화 문맥을 누락한다. 본 논문에서는 Multi-Layer Multimodal Alignment(MMA)를 통해 시각 정보를 활용하는 새로운 프레임워크인 Context-Aware Multimodal Alignment for Backchannel Prediction(CAMA-BC)을 제안한다. 정렬(alignment) 과정은 두 단계로 구성된다. 먼저 Context Alignment(MMA-CA)는 비디오가 포함된 라벨 없는 대화를 활용하여 대화 문맥을 포착한다. 다음으로 Backchannel Alignment(MMA-BA)는 백채널 예측을 위해 표현을 특화적으로 파인튜닝(fine-tuning)한다. 실험 결과, CAMA-BC는 기존 방법과 단순한 멀티모달 베이스라인 모두를 크게 능가하며, 공감과 같은 복잡한 백채널을 인식하는 데 특히 효과적임을 보여준다.
Quantizing open-vocabulary object detection (OVOD) models reduces their memory and computational costs, but extremely low-bit quantization severely degrades both cross-modal (region-text) and intra-modal (region-region) alignments. This multimodal degradation is a unique challenge that prior quantization methods for closed-vocabulary detectors fail to resolve. To overcome this, we propose Quantization-Aware Training with Multimodal Alignment (QATMA), the first multimodal-aware and architecture-agnostic QAT framework tailored for OVOD. QATMA integrates two key components: (i) Curriculum QAT, which partitions the detector by functional roles and progressively expands the quantization scope to suppress error accumulation and ensure stable optimization; and (ii) Text-anchored Pairwise Similarity Distillation, which transfers both region-text and region-region alignments from a full-precision teacher model via pairwise cosine similarities in the joint embedding space. Experimental results on LVIS and COCO zero-shot benchmarks demonstrate that QATMA significantly outperforms existing QAT baselines under extremely low-bit settings, achieving gains of up to 4.3 and 7.6 AP, respectively.
강화학습(RL)은 멀티모달 대규모 언어 모델(MLLM)을 정렬하는 데 점점 더 많이 활용되고 있지만, 높은 보상이 항상 더 나은 태스크 성능을 의미하지는 않는다. 시각적 증거가 텍스트 전용 또는 약하게 그라운딩된 보상으로 평가될 때 이 위험은 증폭된다. 우리는 안전성 VQA, 차트 VQA, 스트레스 테스트 환경에서 MLLM 강화학습의 보상 해킹을 연구하며, 보상 설계, 데이터 모호성, 모델 규모(2B~32B), RL 알고리즘(GRPO, RLOO, DAPO)을 변화시켜 실험한다. 우리는 프록시 보상이 SFT 기준선 대비 향상된 샘플 중 실패 사례를 측정하는 새롭게 보상된 실패율(NRFR, Newly Rewarded Failure Rate)을 도입한다. 결과만을 활용한 보상(outcome-only rewards)은 보상 해킹률(RHR, Reward Hacking Rate) 48.1%에 달하는 심각한 해킹을 유발하며, NRFR이 RHR을 초과하는 현상은 RL이 기존 실패를 단순히 계승하는 것이 아니라 새로운 실패를 생성함을 보여준다. 스케일링은 해킹을 줄이지만 완전히 제거하지는 못한다: 32B 모델조차 결과만을 활용한 보상 하에서 54.9% 더 나쁜 비율을 유지하는 반면, 답변 인식 보상(answer-aware rewards)은 모든 규모에서 오라클 추세를 개선한다. 강건성 또한 알고리즘 및 규모에 의존적이다: GRPO는 일관되게 가장 강한 저항성을 보이고, RLOO는 취약한 상태를 유지하며, DAPO는 2B에서 8B로 확장 시 상당히 개선된다. 시각적 증거 보상(visual-evidence rewards)은 신뢰할 수 있는 검증이 있을 때만 도움이 된다: 키워드 기반 검사는 해킹을 증가시키는 반면, VLM-as-judge 의미론적 검증은 이를 감소시킨다. 전반적으로 멀티모달 보상 해킹은 불완전한 보상을 최적화한 체계적인 결과이며, 강건한 정렬(alignment)을 위해서는 최적화 압력 하에서도 신뢰성을 유지하는 보상과 검증기가 필요하다.
얼굴 인식 시스템의 다양한 공격(딥페이크, 스푸핑 등)을 통합 탐지하기 위해, 800만 장 이상의 공격 이미지로 구성된 MS-UFAD 데이터셋에 MLLMs(InternVL3)로 생성한 세밀한 위조 단서 텍스트 설명을 추가하고, 이를 활용하는 이중 정렬 위조 네트워크(DAF-Net)와 의미론적 위조 집약 모듈(SFAM)을 제안하여 비전 단독 방법 및 거친 텍스트 기반 방법 대비 우수한 일반화 성능을 달성하였다.
기존 보상 모델이 비전 중심적이고 불투명한 스칼라 점수에 의존하는 한계를 극복하기 위해, Omni-RRM은 텍스트·이미지·비디오·오디오 전반에 걸쳐 루브릭(rubric) 기반 다차원 보상 신호를 생성하는 옴니모달 보상 모델을 제안한다. 자동 루브릭 기반 선호도 합성으로 구축한 Omni-Preference 데이터셋과 점진적 SFT+GRPO 학습 방식을 통해 ShareGPT-Video 80.2%, Audio-HH-RLHF 66.8% 등 5개 벤치마크 전체 정확도 70.4%로 최고 수준의 성능을 달성했다.
CLIP 기반 대조적 사전학습이 가진 시간적 불일치(Temporal Misalignment)와 의미적 비대칭(Semantic Asymmetry) 문제를 해결하기 위해, 텍스트 측 프레임 인식 부분공간 선택기와 비디오 측 텍스트 관련 개념 분리기로 구성된 비대칭 이중 투영 프레임워크 MoVA를 제안한다. 잠재변수 식별 이론을 기반으로 설계된 MoVA는 다수의 비디오-텍스트 정렬 태스크에서 기존 방법들을 능가하며, 긴 캡션과 긴 비디오에도 자연스럽게 확장된다.
멀티모달 LLM에 촉각 모달리티를 추가할 때 발생하는 치명적 망각(catastrophic forgetting) 문제를 해결하기 위해, Splash는 사전학습된 파라미터의 중요도를 정량화하여 핵심 부분공간은 동결하고 휴면 부분공간만 선택적으로 업데이트하는 마스크 격리 촉각 정렬(mask-isolated tactile alignment) 프레임워크를 제안한다. Splash-3B는 SSVTP, TVL, TacQuad 등 시각-촉각 벤치마크에서 기존 7B 규모 모델을 능가하는 최첨단 성능을 달성하면서도 추가적인 추론 오버헤드 없이 기존 비전-언어 능력을 온전히 유지함을 입증한다.
형태학적 형질은 계통 발생 재구성과 진화 관계 분석에 중요한 근거를 제공한다. 최근 이미지 기반 접근법은 표본 이미지에서 형태학적 특징을 추출하기 위해 심층 학습, 특히 합성곱 모델을 도입했지만, 이러한 방법은 일반적으로 단일 모달 시각 표현에 의존하며 형태학적 의미론을 명시적으로 통합하지 않는다. 본 연구는 곤충 계통 발생 재구성을 위한 형태학 인식 다중 모달 정렬 프레임워크를 제안한다. 이 프레임워크는 매개변수 효율적 미세조정과 지도 대조 학습을 통해 비전 트랜스포머를 적응시키고, 공유 잠재 공간에서 이미지-텍스트 정렬을 수행함으로써 표본 이미지와 큐레이션된 형태학적 설명을 결합한다. 학습된 이미지 임베딩은 이후 베이지안 계통 발생 재구성을 위한 연속 형질로 사용된다. 공개 Rove-Tree-11 데이터셋에서, 여러 시각 백본과 특징 적응 전략에 걸친 비교 및 ablation 실험은 다중 모달 정렬이 참조 계통수와의 위상학적 일치를 개선함을 보여준다. 결과는 제안된 프레임워크가 계산적 계통 발생 재구성을 위한 형태학 인식 시각 형질을 도출할 수 있음을 나타낸다.
플로우 매칭(flow matching) 기반 비디오 생성 모델은 복잡한 지시 기반 비디오 편집을 처리하기 위해 앞단에 비전-언어 모델(VLM)을 붙이는 방식에 점점 더 의존하고 있다. 이 패러다임의 지배적인 가정은, 커넥터 모듈이 VLM의 풍부한 멀티모달 추론을 DiT의 원래 텍스트 임베딩 공간과 매끄럽게 정렬할 수 있다는 것이다. 그러나 우리는 이 정렬이 심각한 의미적 병목으로 작용하여 세밀한 구조적 변수를 훼손한다고 가설한다. 이를 검증하기는 어려운데, 종단간 평가는 정렬 실패와 생성 오류를 뒤섞어 버리고, 자연 데이터셋에는 분리된 주석이 부족하기 때문이다. 이를 엄밀히 조사하기 위해, 비디오 합성에 기반한 통제된 데이터 처리 파이프라인을 제안하여 관계 기반 편집에 초점을 맞춘 진단용 데이터셋 TRACE-Edit을 구축한다. 이 데이터셋을 활용해, 기존 비디오 편집 모델의 메타 쿼리(meta-query)와 커넥터라는 두 가지 중요한 설계를 분석하는 포괄적 진단 프로토콜을 제안한다. 네 가지 대표 모델 사례에 대한 체계적 평가 결과, 세밀한 구조적 의미는 정렬 과정에서 심각하게 훼손될 수 있음을 보여준다. 우리의 발견은 무손실 의미 전달이라는 가정을 뒤집고, VLM-to-DiT 정렬을 주요 병목으로 규명하며, 향후 멀티모달 정렬 아키텍처를 위한 새로운 진단 기반을 제공한다.
멀티모달 대조 학습(contrastive learning)이 시각적·언어적 표현을 정렬하는 데 성공했음에도 불구하고, 지속적인 기하학적 이상 현상인 모달리티 갭(Modality Gap)은 여전히 남아 있다. 동일한 의미를 표현하는 서로 다른 모달리티의 임베딩(embedding)은 체계적으로 오프셋된 영역을 차지한다. 이 갭을 해소하려는 기존 접근법은 대부분 과도하게 단순화된 등방성(isotropic) 가정에 제한되어, 대규모 시나리오에서의 적용을 저해한다. 본 논문에서는 모달리티 갭의 기하학적 형태를 정밀하게 특성화하고 이를 효율적인 모델 스케일링(scaling)에 활용함으로써 이러한 한계를 해결한다. 먼저, 고정 프레임 모달리티 갭 이론(Fixed-frame Modality Gap Theory)을 제안한다. 이는 고정된 기준 프레임 내에서 모달리티 갭을 안정적인 편향(bias)과 비등방성(anisotropic) 잔차로 분해한다. 이 정밀한 모델링에 기반하여, 학습 없이(training-free) 모달리티를 정렬하는 전략인 ReAlign을 도입한다. ReAlign은 대규모 비페어(unpaired) 데이터의 통계를 활용하여, Anchor, Trace, Centroid Alignment로 구성된 3단계 과정을 통해 텍스트 표현을 이미지 표현 분포에 정렬함으로써 기하학적 불일치를 명시적으로 교정한다. ReAlign을 기반으로, 멀티모달 대규모 언어 모델(MLLM)을 위한 확장 가능한 학습 패러다임인 ReVision을 제안한다. ReVision은 ReAlign을 사전학습(pre-training) 단계에 통합하여, 시각 지시 미세조정(instruction tuning) 이전에 비페어 텍스트로부터 시각 표현의 분포를 학습할 수 있게 하며, 대규모 고품질 이미지-텍스트 페어가 필요하지 않다. 본 프레임워크는 통계적으로 정렬된 비페어 데이터가 비용이 큰 이미지-텍스트 페어를 효과적으로 대체할 수 있음을 보여주며, MLLM의 효율적인 스케일링을 위한 견고한 경로를 제공한다.