arXiv:2110.01013 공식 코드 · Papers with Code

Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering

Long Chen, Yuhang Zheng, Yulei Niu, Hanwang Zhang, Jun Xiao

제출 2021-10-03

원문 초록

Today's VQA models still tend to capture superficial linguistic correlations in the training set and fail to generalize to the test set with different QA distributions. To reduce these language biases, recent VQA works introduce an auxiliary question-only model to regularize the training of targeted VQA model, and achieve dominating performance on diagnostic benchmarks for out-of-distribution testing. However, due to complex model design, these ensemble-based methods are unable to equip themselves with two indispensable characteristics of an ideal VQA model: 1) Visual-explainable: The model should rely on the right visual regions when making decisions. 2) Question-sensitive: The model should be sensitive to the linguistic variations in questions. To this end, we propose a novel model-agnostic Counterfactual Samples Synthesizing and Training (CSST) strategy. After training with CSST, VQA models are forced to focus on all critical objects and words, which significantly improves both visual-explainable and question-sensitive abilities. Specifically, CSST is composed of two parts: Counterfactual Samples Synthesizing (CSS) and Counterfactual Samples Training (CST). CSS generates counterfactual samples by carefully masking critical objects in images or words in questions and assigning pseudo ground-truth answers. CST not only trains the VQA models with both complementary samples to predict respective ground-truth answers, but also urges the VQA models to further distinguish the original samples and superficially similar counterfactual ones. To facilitate the CST training, we propose two variants of supervised contrastive loss for VQA, and design an effective positive and negative sample selection mechanism based on CSS. Extensive experiments have shown the effectiveness of CSST. Particularly, by building on top of model LMH+SAR, we achieve record-breaking performance on all OOD benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27987v1cs.LG공통 태그 Question Answering, Diagnostic, counterfactual

PCQC: 다턴 의료 대화를 위한 특권적 반사실적 질문 크레딧

PCQC: Privileged Counterfactual Question Credit for Multi-Turn Medical Dialogue

대규모 언어 모델(LLM)은 의료 질의응답에서 상당한 진전을 이루었지만, 효과적인 의료 대화를 위해서는 관련 환자 정보를 드러내는 질문을 하는 법을 학습하는 것도 필요하다. 이러한 대화 정책을 학습하기 위해 흔히 최종 진단 정확도에 기반한 지도 미세조정과 강화학습(RL)을 결합하는 파이프라인을 사용한다. 그러나 이러한 결과 기반 감독은 개별 질문의 기여를 직접 구분하지 못하며, 실행되지 않은 대안 질문에 대한 질문 수준의 피드백도 제공하지 않는다. 이 공백을 해소하기 위해, 학습 중 실행되지 않은 질문으로부터도 학습하기 위해 특권 환자 정보를 사용하는 PCQC(Privileged Counterfactual Question Credit)를 제안한다. 학습 중 PCQC는 특권 환자 사실을 이용해 대안 질문에 대한 답을 구성함으로써, 동일한 대화 상태에서 대안 질문을 직접 비교 가능하게 한다. 고정된 진단 점수기는 각 결과 질문-답변 쌍이 올바른 진단을 얼마나 강하게 뒷받침하는지에 따라 그 진단적 유용성을 평가한다. PCQC는 이러한 비교를 상대적 질문 크레딧으로 변환하여 정책이 어떤 질문을 선호해야 하는지 가르치며, 실행되지 않은 대안에 대한 완전한 롤아웃 없이도 실행된 질문과 실행되지 않은 질문 모두에 결과 기반 RL과 함께 직접 감독한다. 네 개의 의료 벤치마크에 걸친 광범위한 실험에서 PCQC는 평균 진단 정확도 63.10%를 달성하여 GRPO와 ATPO보다 각각 4.38 및 4.21퍼센트포인트 높은 성능을 보였다. 이러한 향상은 GRPO보다 문진 턴 수가 33.1% 적은 상태에서 달성되었다.

arXiv:2609.23064v1cs.AI공통 태그 Question Answering, Visual Question Answering, counterfactual

FireWorldBench: 결합장 화재 역학을 통한 복합 물리 세계 지능 벤치마킹

FireWorldBench: Benchmarking Complex Physical World Intelligence through Coupled-Field Fire Dynamics

실제 물리 시스템은 다중 연속장, 잠재적 인과 메커니즘, 부분 관측, 개입에 민감한 역학을 포함하므로, 물리적 세계를 이해하기 위해서는 객체 인식, 장면 기술, 단기 시각 예측 이상의 능력이 필요합니다. 본 논문에서는 결합장(coupled-field) 화재 역학을 통해 멀티모달 대규모 언어 모델(LLM)과 에이전트(agent)의 복합 물리 세계 지능을 평가하기 위한 벤치마크(benchmark)인 FireWorldBench를 제안합니다. 화재는 상호작용하는 다중 물리장이 관측 가능한 상태와 시간적 역학을 공동으로 형성하는 대표적인 스트레스 테스트 환경(environment)을 제공합니다. FireWorldBench는 물리적 역량 축과 화재 시나리오 태스크 축이라는 상호 보완적인 두 가지 축으로 구성되어, 물리적 상태 이해, 시간적 역학, 인과 메커니즘, 개입 추론을 종합적으로 다룹니다. 이 벤치마크는 7가지 환경 패밀리에 걸친 47개 장면 원형을 아우르는 494개의 제어된 시뮬레이션 환경 및 26개의 실세계 연계 이벤트 그룹을 포함하여 총 520개의 화재 세계 엔트리로 구성됩니다. 이러한 엔트리들은 구조화된 텍스트 관측, 다중 2D 물리장 시각화, 3D 이벤트 수준 장면 모델링을 결합하여, 객관식 선택형 및 서술형 보고서 생성 형식에 걸쳐 9,074개의 텍스트-이미지 인터리브 질의응답 쌍을 제공합니다. FireWorldBench는 모델이 멀티모달 부분 관측으로부터 잠재적 물리 상태를 추론하고, 기저 메커니즘을 설명하며, 결합장의 진화를 예측하고, 개입의 결과를 평가할 수 있는지를 평가함으로써 복합 물리 세계 지능을 위한 도전적인 테스트베드를 제공합니다.

arXiv:2609.24172v1cs.CV공통 태그 Diagnostic, Visual Question Answering, counterfactual

LegendBench: 반사실적 개입을 통한 범례 이해 진단 벤치마크

LegendBench: A Diagnostic Benchmark for Legend Understanding with Counterfactual Interventions

범례(legend)는 차트 이해의 핵심 요소로, 신뢰할 수 있는 해석을 위해서는 범례 항목을 그에 대응하는 시각적 마크와 올바르게 결합해야 합니다. 비전-언어 모델(VLM)이 차트 이해에 점점 더 많이 적용되고 있지만, 이들의 범례 이해 능력은 종합 정확도로는 제대로 진단되지 않습니다. 종합 정확도는 피상적인 지름길(shortcut)에 의해 충족될 수 있으며, 범례 특화 오류를 다른 추론 실패와 혼동할 수 있기 때문입니다. 세밀한 진단과 통제된 테스트를 가능하게 하기 위해, 본 논문에서는 목적 지향적인 범례 중심 테스트 케이스를 생성하는 모수적 벤치마크이자 생성 파이프라인인 LegendBench를 소개합니다. LegendBench는 (1) 오류 위치를 특정하기 위해 범례 파싱, 범례 그라운딩(grounding), 범례 조건부 추론, 범례 인식 기권(abstention)을 아우르는 역량-작업 분류 체계와 (2) 모델의 불변성(invariance)과 민감도를 탐색하기 위해 통제된 범례 개입 하에서 각 기본 차트로부터 여러 변형을 생성하는 반사실적 그룹 생성을 제공합니다. LegendBench를 활용하여 범용 VLM과 특화된 차트 모델을 모두 평가하고 이들의 역량 프로파일을 생성한 결과, 신뢰할 수 있는 범례-마크 결합과 반사실적 일관성에서 지속적인 병목 현상이 나타남을 확인했습니다. 이어 이러한 역량 프로파일을 바탕으로 목표 지향적 미세조정(fine-tuning)을 수행하여, 병목 현상에 특화된 개입이 국소적인 역량 격차를 효과적으로 해소하고 보지 못한 데이터에도 일반화될 수 있음을 입증합니다. 나아가 본 논문의 반사실적 설계를 활용해 인코딩 채널 효과, 범례 순서 지름길, 다양한 가시성 조건에서의 기권 등을 분석하는 세밀한 진단 실험을 수행합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.