Consistency and Uncertainty: Identifying Unreliable Responses From Black-Box Vision-Language Models for Selective Visual Question Answering
원문 초록
The goal of selective prediction is to allow an a model to abstain when it may not be able to deliver a reliable prediction, which is important in safety-critical contexts. Existing approaches to selective prediction typically require access to the internals of a model, require retraining a model or study only unimodal models. However, the most powerful models (e.g. GPT-4) are typically only available as black boxes with inaccessible internals, are not retrainable by end-users, and are frequently used for multimodal tasks. We study the possibility of selective prediction for vision-language models in a realistic, black-box setting. We propose using the principle of \textit{neighborhood consistency} to identify unreliable responses from a black-box vision-language model in question answering tasks. We hypothesize that given only a visual question and model response, the consistency of the model's responses over the neighborhood of a visual question will indicate reliability. It is impossible to directly sample neighbors in feature space in a black-box setting. Instead, we show that it is possible to use a smaller proxy model to approximately sample from the neighborhood. We find that neighborhood consistency can be used to identify model responses to visual questions that are likely unreliable, even in adversarial settings or settings that are out-of-distribution to the proxy model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Realtime-Venus: 비동기 위임을 갖춘 전이중(full-duplex) 상호작용 시스템
Realtime-Venus: A full-duplex interaction system with asynchronous delegation
디지털 및 물리적 환경에서의 자연스러운 상호작용은 지속적인 인지(perception)와 적시의 응답을 요구한다. 음성 대화는 음향 및 언어적 단서에 의존하며, 영상 상호작용은 또한 변화하는 시각적 맥락 속에서 대화를 그라운딩(grounding)할 필요가 있다. 우리는 별도로 학습된 9B 모델 두 개—오디오-비주얼 상호작용용 Realtime-Venus-Omni와 음성 상호작용용 Realtime-Venus-Audio—를 갖춘 선제적 전이중 상호작용 시스템 Realtime-Venus를 제시한다. 각 모델은 완전한 대화형 프론트엔드로 동작하며, 사용자 입력, 모델 출력, 위임(delegation) 이벤트에 대한 공유 인과 타임라인을 통해 지속적 인지, 대화 제어, 네이티브 음성 생성을 통합한다. 이중 루프 런타임은 라이브 상호작용과 백그라운드 추론 및 도구 실행을 조율한다. Realtime-Venus-Harness가 비동기적으로 작업을 실행하고 진행 중인 대화에 통합할 결과를 반환하는 동안 전경(foreground) 상호작용은 계속된다. 두 모델 모두 오프라인 이해, 선제적 전이중 궤적, 위임 워크플로를 결합한 공통 사후 학습 레시피를 따른다. 평가된 온라인 모델 가운데 Realtime-Venus-Omni는 여덟 개 영상 벤치마크 중 여섯에서 최고 점수를 기록했으며, StreamingBench(70.2%), OVO-Bench(64.7%), Daily-Omni(81.3%)를 포함한다. 여덟 개의 오디오 이해 및 음성 질의응답 벤치마크 전반에서 Realtime-Venus-Audio는 MMAU(78.0%), MMAU-Pro(63.2%), Llama Questions(83.8%), Speech CMMLU(67.8%)에서 비교 모델들을 앞서며, VoiceBench AlpacaEval 점수 4.81로 최고 성능과 동률을 기록했다. Full-Duplex-Bench v1.5에서 Realtime-Venus-Audio는 사용자 끼어들기의 75%에 응답하며, 백채널(backchannel), 타인 지향 발화(other-directed speech), 배경 음성(background speech) 조건에서 각각 97%, 88%, 86%의 continuation rate를 달성해 세 continuation 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 넘어선다.
3D 비전-언어에서 정렬에서 융합으로
From Alignment to Fusion in 3D Vision-Language
통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.
하나의 도메인, 다양한 언어: 쌍을 이루는 데이터 없이 도메인 및 언어 LoRA를 결합한 교차 언어 원격 탐사 MLLM
One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data
원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.
FireWorldBench: 결합장 화재 역학을 통한 복합 물리 세계 지능 벤치마킹
FireWorldBench: Benchmarking Complex Physical World Intelligence through Coupled-Field Fire Dynamics
실제 물리 시스템은 다중 연속장, 잠재적 인과 메커니즘, 부분 관측, 개입에 민감한 역학을 포함하므로, 물리적 세계를 이해하기 위해서는 객체 인식, 장면 기술, 단기 시각 예측 이상의 능력이 필요합니다. 본 논문에서는 결합장(coupled-field) 화재 역학을 통해 멀티모달 대규모 언어 모델(LLM)과 에이전트(agent)의 복합 물리 세계 지능을 평가하기 위한 벤치마크(benchmark)인 FireWorldBench를 제안합니다. 화재는 상호작용하는 다중 물리장이 관측 가능한 상태와 시간적 역학을 공동으로 형성하는 대표적인 스트레스 테스트 환경(environment)을 제공합니다. FireWorldBench는 물리적 역량 축과 화재 시나리오 태스크 축이라는 상호 보완적인 두 가지 축으로 구성되어, 물리적 상태 이해, 시간적 역학, 인과 메커니즘, 개입 추론을 종합적으로 다룹니다. 이 벤치마크는 7가지 환경 패밀리에 걸친 47개 장면 원형을 아우르는 494개의 제어된 시뮬레이션 환경 및 26개의 실세계 연계 이벤트 그룹을 포함하여 총 520개의 화재 세계 엔트리로 구성됩니다. 이러한 엔트리들은 구조화된 텍스트 관측, 다중 2D 물리장 시각화, 3D 이벤트 수준 장면 모델링을 결합하여, 객관식 선택형 및 서술형 보고서 생성 형식에 걸쳐 9,074개의 텍스트-이미지 인터리브 질의응답 쌍을 제공합니다. FireWorldBench는 모델이 멀티모달 부분 관측으로부터 잠재적 물리 상태를 추론하고, 기저 메커니즘을 설명하며, 결합장의 진화를 예측하고, 개입의 결과를 평가할 수 있는지를 평가함으로써 복합 물리 세계 지능을 위한 도전적인 테스트베드를 제공합니다.
효과적이고 효율적인 체화 탐험을 위한 능동적 공간 검사
Active Spatial Inspection for Effective and Efficient Embodied Exploration
높은 작업 성공률과 효율성을 달성하는 것은 체화 탐험(Embodied Exploration)에서 핵심적인 목표로 남아 있다. 기존 프레임워크는 일반적으로 공간적으로 조악하고 간접적인 암시적 단서 및 방향 평가를 통해 에이전트(Agent) 행동을 유도하지만, 이러한 설계는 단서의 충분성과 추가 검사(inspection)의 필요성을 판단하는 데 어려움을 겪어 조기 종료나 과도한 지속으로 이어지고, 결과적으로 작업 성공률과 효율성을 저하시킬 수 있다. 본 연구는 공간적으로 명시적인 관점에서 체화 탐험을 재고하고, 근거 기반 지각(evidence-grounded perception)과 노출 정보 기반 이동(exposure-informed movement)을 결합하여 공간적으로 해상된 의사결정 패러다임을 확립하는 공간 검사 기반 능동 탐험(spatial-inspection-guided ACtive Exploration, ACE) 프레임워크를 제안한다. 근거 기반 지각은 세밀한 위치 추정(localization)과 집중적 검증(verification)을 통합하여 암시적 단서를 정확하고 결정적인 시각적 근거로 전환함으로써 추론적 타당성을 강화한다. 노출 정보 기반 이동은 전향적 우선순위화(prospective prioritization)와 후향적 억제(retrospective suppression)를 통해 방향 판단을 촉진하며, 효율적인 공간적 진행을 위해 유망한 방향을 선택한다. ACE는 조기 종료를 방지하는 것과 불필요한 지속을 피하는 것 사이의 긴장 관계를 완화한다. 광범위한 실험을 통해 ACE가 기존 최신(state-of-the-art) 베이스라인 대비 내비게이션(navigation) 작업 성공률을 18.0% 향상시키고, 질의응답(question answering)을 위한 탐험 효율성을 10.3% 향상시켜 효과적이고 효율적인 체화 탐험을 진전시킨다는 것을 입증한다.
MM-ContextFold: 멀티모달 에이전틱 검색을 위한 컨텍스트 폴딩
MM-ContextFold: Context Folding for Multimodal Agentic Retrieval
멀티모달 에이전틱 검색(Multimodal Agentic Retrieval, MAR)은 에이전트가 외부 도구를 반복적으로 호출하여 복잡한 정보 탐색 작업을 해결할 것을 요구한다. ReAct와 같은 일반적인 프레임워크는 원본 멀티모달 입력과 누적되는 상호작용 이력을 단일한, 계속 커지는 컨텍스트에 유지하며, 이는 컨텍스트 폭발 문제로 이어진다. 기존 방법들은 중복된 텍스트를 압축함으로써 이 문제를 완화하지만, 토큰 소모가 큰 시각적 콘텐츠를 관리하는 효과적인 전략은 여전히 대부분 충분히 연구되지 않았다. 이러한 격차를 해소하기 위해, 우리는 먼저 약 1만 개의 궤적(trajectory)에 대한 체계적인 실증 연구를 수행한다. 그 결과, 시각적 단서가 외부 도구를 통해 점진적으로 추출되어 컨텍스트에 텍스트화됨에 따라 원본 이미지가 점점 더 중복되는 것으로 나타났다. 이미지를 계속 유지하는 것은 더 높은 출력 엔트로피와 관련이 있으며, 심지어 작업 정확도를 저하시킬 수도 있다. 이러한 발견에 착안하여, 우리는 필요할 때만 원본 이미지를 불러오는 학습이 필요 없는(training-free) 프레임워크인 MM-ContextFold를 제안한다. 이 프레임워크는 상위 수준의 계획(planning)을 위해 텍스트만으로 구성된 영속적인 메인 컨텍스트를 유지하며, 이미지에 의존하는 하위 작업을 위해 일시적인 분기 컨텍스트(branch context)를 생성한다. 각 분기 내에서 에이전트는 관련 이미지를 불러와 하위 작업을 완료한 뒤, 그 결과를 간결한 텍스트 요약으로 메인 컨텍스트에 다시 접어 넣는다(fold back); 이후 이미지와 분기 흔적(branch trace)은 폐기된다. 다섯 개의 백본 모델에 걸친 일곱 개의 MAR 벤치마크에서의 실험 결과, MM-ContextFold는 ReAct 대비 평균 정확도를 6.3퍼센트 포인트 향상시키는 동시에 작업 컨텍스트 길이를 27.5% 줄이는 것으로 나타났다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.