원문 초록
Large audio-language models (LALMs) frequently hallucinate by overriding acoustic evidence with language priors. While contrastive decoding (CD) offers training-free mitigation, existing methods rely on blunt perturbations like masking or noise, leaving structured audio transformations unexplored. We explore this design space by evaluating a diverse library of targeted audio perturbations and adaptively selecting the optimal negative branch for each task and example. First, we improve upon earlier prompt engineering by showing that a simple binary yes/no constraint reduces the model's tendency to falsely confirm absent audio features. Second, evaluating our library across temporal, spectral, frequency, and amplitude domains reveals that optimal transformations are highly task-dependent; for instance, reversing the audio array disrupts temporal coherence, raising accuracy on the temporal order task from 74.7% to 81.4%. Finally, we trained a light-weight perturbation selector on model hidden states to dynamically route negative branches, yielding an additional +4.3% gain on the existence task.
요약
대규모 오디오-언어 모델(LALM)의 환각 문제를 해결하기 위해, 기존의 단순한 마스킹이나 노이즈 대신 시간, 스펙트럼, 주파수, 진폭 영역에 걸친 105개 변환으로 구성된 체계적인 퍼터베이션(perturbation) 라이브러리를 구축하고 대조적 디코딩(contrastive decoding)에 적용하였다. 최적 변환이 태스크별로 상이함을 실험적으로 확인하였으며, 모델의 히든 스테이트(hidden state)로 학습된 경량 선택기를 통해 예시별로 최적 네거티브 브랜치를 동적으로 라우팅하여 AH Existence 태스크에서 추가 +4.3% 성능 향상을 달성하였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.00247v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.
모달리티 게이트 딥 어댑터: 기존 출력을 정확히 보존하면서 고정된 임베딩 모델에 모달리티 추가하기
Modality-Gated Deep Adapters: Adding a Modality to a Frozen Embedding Model with Exact Preservation
멀티모달 임베딩 모델은 대규모로 배포되며, 검색 인덱스, 벤치마크 결과, 행동 감사(behavioral audit)는 모두 베이스 모델의 정확한 출력에 의존한다. 기존의 매개변수 효율적 방법으로 이러한 모델을 새로운 모달리티로 확장하면 이 출력이 조용히 바뀐다. LoRA 방식의 적응은 가중치를 병합하든 병합하지 않든 텍스트 경로를 재작성하므로, 저장된 모든 임베딩이 무효가 된다. 본 논문은 모달리티 게이트 딥 어댑터(modality-gated deep adapters)를 제안한다. 이는 고정된(frozen) 멀티모달 임베딩 LLM의 모든 디코더 층에 병목(bottleneck) 어댑터를 부착하고, 이를 모달리티별 팩(pack)으로 묶어 해당 모달리티가 인코딩되는 동안에만 실행되도록 한 것이다. 그 결과 기존 출력에는 전혀 변화 없이 모달리티를 추가할 수 있다. 어떤 팩도 담당하지 않는 입력은 베이스 모델 자체의 계산 그래프를 비트 단위로 변함없이 통과하며, 함께 로드된 팩들은 정확히 0인 격리 행렬(isolation matrix)로 합성된다. 두 성질은 모두 명제(proposition)로 서술되며, 초기화 시점뿐 아니라 임의의 학습 이후에도 성립하고, 추론 시 태스크 레이블이나 라우팅 메타데이터를 필요로 하지 않으며, 공개된 체크포인트에 대한 정확한 동일성(exact-equality) 테스트로 검증된다. 고정된 2B 베이스 모델에서, (커넥터 토큰으로 주입되는) 오디오 팩은 동일하게 학습된 대조군 대비 오디오-텍스트 R@10을 +3.4~+5.4포인트 향상시켰으며, 이는 모든 시드에서 양의 값이고 11배의 데이터에서도 재현되었다. 베이스 모델의 고정된 비전 경로를 재사용하는 열화상(thermal) 팩은 모든 시드에서 사전 등록한 합격 기준을 약 7배 수준으로 넘어서며, 열화상-텍스트 R@10을 0.224에서 0.785로 끌어올렸다. 인코더 교체 실험은 부족한 용량이 어디에 있는지 보여 준다. CLAP 방식 비교에서 Whisper 계열 인코더를 능가하는 외부 오디오 인코더가 고정된 LLM 내부에서는 R@10 기준 16포인트 뒤처졌으며, 따라서 필요한 용량은 게이트 어댑터가 배치하는 바로 그 층에 있다. 본 논문은 오디오 모델, 열화상 팩, 그리고 학습·평가·불변성(invariance) 검증 스위트를 공개한다. 모델은 huggingface.co/EximiusLabs에, 코드는 GitHub에 있다.
대수적 일관성만으로는 잠재 행동 모델의 시간적 구조를 보증할 수 없다
Algebraic Consistency Alone Does Not Certify Temporal Structure in Latent Action Models
잠재 행동 모델(Latent action models)은 행동 라벨이 없는 비디오의 두 프레임 간 전이(transition)를 나타내는 코드를 추론한다. 최근의 방법들은 이 코드가 덧셈적으로 합성되고 반대칭적으로 역전되도록 정규화(regularization)하며, 그 결과 발생하는 오차의 수치상 자릿수 감소를 코드가 시간적 구조를 포착했다는 무라벨 보증(label-free certificate)으로 보고한다. 본 연구에서는 이러한 결론이 타당하지 않음을 보인다. 재구성은 디코딩된 전이를 상태 피처의 차이로 유도하며, 이 경우 어떠한 쌍에 대해서도 두 항등식이 성립하므로, 평가 지표는 이를 방해 상태(nuisance state)나 좌표계 규약을 인코딩한 해와 구별할 수 없다. 5개 소스 도메인에 걸쳐, 제약 없이 학습된 대응 모델조차 학습되지 않은 기준선 앵커 대비 오차 감소율의 83-97%를 이미 달성한다. 잔차의 차이는 무엇을 학습했는지만큼이나 디코더 패밀리에 의해 좌우된다. 시간적 쌍 구조를 파괴한 후 재학습된 제약 모델조차도 각 도메인에서 실제 데이터에 대한 비제약 모델보다 더 낮은 오차를 달성한다. 다운스트림 작업에서 시간적 쌍 구조를 보존하는 것은 LIBERO-GOAL이나 LIBERO-SPATIAL에서 일관된 이점을 제공하지 못하며, 테스트된 로봇 팔 전반에서 대수적 오차가 개선될수록 코드의 평균 선형 행동 디코딩 가능성은 오히려 떨어진다. 또한 가장 직접적인 해결책으로서 파괴된 쌍에서 대수적 관계가 깨지도록 요구하는 위반-대조 목적함수(violation-contrastive objective)를 테스트했으나, 테스트된 구성에서는 학습 및 테스트 트리플 모두에서 재구성 예산 내 한계 수준의 분리만을 제공했다. 본 연구는 현재 이러한 방법들에 결여된 검증 프로토콜로 기준선 보정 지표, 파괴된 쌍에 대한 재학습, 시드-예산 분석을 제안한다.
고해상도 MLLM에서 텍스트에 더 많은 어텐션을 기울여라
Pay More Attention To Text In High-Resolution MLLMs
고해상도 멀티모달 대규모 언어 모델(MLLM)의 실패는 흔히 시각적 문제로 귀결되어 세부적인 근거를 복원하거나 간섭을 억제하기 위한 줌(zooming), 크롭(cropping) 및 관련 시각적 개입을 유도해 왔습니다. 그러나 최근 연구에 따르면 관련 시각적 근거는 이미 중간 표현(intermediate representation)에 인코딩되어 있어 시각 측면의 개선만으로는 불충분함을 시사합니다. 이는 자연스럽게 다음과 같은 의문을 제기합니다. 남아있는 병목 현상은 시각적 탐색을 유도하는 텍스트에 있는 것일까? 본 연구에서는 기존에 간과되었던 언어적 병목 현상을 규명합니다. 즉, 답변 생성을 위해 구성된 질문이 위치 파악(localization)에 필요한 시각적 근거를 반드시 명시하지는 않는다는 점입니다. 이러한 불일치를 해결하기 위해, 최종 추론을 위한 원래 질문을 보존하면서 보완적인 근거 명세(evidence specifications)를 도출하는 학습(training) 불필요 컴파일러인 EviSpec을 제안합니다. 나아가 근거 명세와 위치 파악의 역할을 분리하는 일치 대조 실험(matched-control experiment)을 통해 이를 검증합니다. 탐색 예산이 고정된 상태에서 구조화된 근거 명세는 일반적인 요청 대비 8.6%의 상대적 성능 향상을 가져옵니다. 근거 지오메트리(geometry)가 일치된 상태에서 EviSpec으로 위치를 파악한 근거는 무작위 근거 대비 14.8%의 상대적 향상을 보입니다. 종합하면, 이러한 대조 실험은 단순히 시각적 접근성을 확장하기보다 찾아야 할 근거를 구체적으로 명시하는 것의 이점을 입증합니다. 5개의 모든 MLLM에 걸쳐 EviSpec은 3개 벤치마크 각각에서 해당하는 기준선(baseline) 대비 지속적으로 성능을 향상시키며, V\textsuperscript{*}Bench, HR-Bench-4K, HR-Bench-8K에서 각각 평균 \textbf{10.4%, 8.8%, 12.4%}의 상대적 성능 향상을 달성합니다. 고해상도 추론을 넘어, EviSpec은 시각적 질의응답(VQA) 및 환각(hallucination) 중심 벤치마크에서도 최고 성능(state-of-the-art)을 달성합니다.
PETR: 비전-언어 모델을 위한 학습 불필요 라우팅 기반 프롬프트 앙상블
PETR: Prompt Ensembling with Training-free Routing for Vision-Language Models
프롬프트 학습(prompt learning)은 비전-언어(vision-language) 모델(VLM)을 다운스트림 태스크에 효율적으로 적응시키지만, 기존에 본 클래스(seen classes)에서의 성능 향상은 종종 보지 못한 클래스(unseen classes)에 대한 일반화 성능 저하를 초래합니다. 이러한 한계를 해결하기 위해, 우리는 학습 불필요 라우팅 기반 프롬프트 앙상블(PETR)을 제안합니다. 이 방법의 핵심 혁신은 정교하게 설계된 듀얼 프롬프트 아키텍처로, 서로 다른 데이터와 목적함수로부터 두 개의 상호 보완적인 프롬프트를 학습하여 각각 본 클래스 구별과 보지 못한 클래스 일반화를 강조합니다. 학습(training) 중에는 공유된 동결 CLIP 백본을 사용하여 두 프롬프트를 모두 파인튜닝(fine-tuning)하며, 학습 세트 로짓(logit)으로부터 통계 정보를 수집합니다. 추론(inference) 시점에는 각 테스트 샘플과 본 데이터 간의 유사도를 판별하고, 해당 샘플을 가장 적절한 프롬프트 브랜치로 라우팅합니다. 우리가 아는 한, 이는 통계적 유사성을 기반으로 학습 불필요 적응형 라우팅을 수행하는 최초의 프롬프트 튜닝 프레임워크입니다. 이러한 설계는 해석 가능한 라우팅 신호를 제공하며 라우터 학습 불안정성 및 부하 불균형과 같은 일반적인 전문가 혼합(MoE) 방식 라우팅의 병리적 현상을 방지합니다. 11개 벤치마크(benchmark) 데이터셋(dataset)에 대한 광범위한 실험은 제안하는 프레임워크가 본 클래스와 보지 못한 클래스 모두에서 기존 방법들을 일관되게 능가하며 새로운 최고 성능(state-of-the-art)을 달성함을 입증합니다.
중요한 곳을 보라: 세밀한 비전-언어 추론을 위한 무료의 레이블 없는 시각적 증거 신호
Look Where It Counts: A Free, Label-Free Visual Evidence Signal for Fine-Grained Vision-Language Reasoning
멀티모달 대규모 언어 모델(MLLM)은 추론을 하지 못해서가 아니라 애초에 증거를 보지 못하기 때문에 세밀한 시각적 질문에서 실패한다: 고해상도 이미지는 인코딩되기 전에 다운샘플링되므로, 모델은 언어적 사전(linguistic prior)에 기반해 답한다. 표준적인 해결책들은 비용이 크다: 주석된 정답(SFT), 수작업으로 설계된 검증기(RLVR), 또는 대규모 외부 교사 모델을 이용한 온-정책 증류(on-policy distillation)가 필요하다. 우리는 시각적 증거 자체가 무료로 이러한 신호를 제공할 수 있는지 묻는다. 우리는 대조적 증거 격차(contrastive evidence gap), 즉 질문과 관련된 영역을 조건으로 했을 때와 관련 없는 영역을 조건으로 했을 때 모델이 자신의 출력에 부여하는 토큰별 로그-가능도 비율을 정식화하고, 이를 V*Bench 상에서 Qwen2.5-VL-7B, Qwen3-VL-8B, Qwen3-VL-30B-A3B 전반에 걸쳐 연구한다. 우리의 주요 긍정적 결과는 학습이 필요 없다는 것이다: 모델의 답변 분포가 가장 뾰족해지는 후보 크롭(crop)을 선택하는 단일 뷰(single-view)의 레이블 없는 기준만으로, 바운딩 박스나 학습, 레이블 없이도 정답을 포함하는 영역을 찾아낼 수 있다. 이는 우연에 비해 목표 영역을 4.4배에서 5.1배 더 정확하게 지역화하며, 추론 시 세밀한 정확도를 70%에서 85%로 끌어올린다. 우리는 또한 이 격차가 모델 자신의 확신도(confidence)와 상호 보완적임을 보인다. 둘을 결합하면 각각을 단독으로 사용할 때보다 정답 여부를 더 잘 예측하며, AUC는 최대 0.99에 이르고, 고확신 하위집합 내에서 자신 있게 틀린 답변을 AUC 0.97~1.00으로 표시해낸다. 이러한 효과는 모두 지각 병목(perception-bottleneck) 질문에 집중되며, 전역 맥락(global-context) 대조군에서는 사라진다. 마지막으로 우리는 정직한 부정적 결과를 보고한다: 동일한 신호를 학습 방법으로 전환한 게이트형 자기 증류(gated self-distillation, SEG-Distill)는 파일럿 규모에서 세 가지 게이트 설계 전반에 걸쳐 기본 모델을 능가하지 못했으며, 더 공격적인 게이팅은 오히려 정확도를 저하시켰다. 이 신호는 실재하지만, 이를 학습 성능 향상으로 전환하는 것은 여전히 열린 문제로 남아 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.