Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering
원문 초록
We propose a new class of probabilistic neural-symbolic models, that have symbolic functional programs as a latent, stochastic variable. Instantiated in the context of visual question answering, our probabilistic formulation offers two key conceptual advantages over prior neural-symbolic models for VQA. Firstly, the programs generated by our model are more understandable while requiring lesser number of teaching examples. Secondly, we show that one can pose counterfactual scenarios to the model, to probe its beliefs on the programs that could lead to a specified answer given an image. Our results on the CLEVR and SHAPES datasets verify our hypotheses, showing that the model gets better program (and answer) prediction accuracy even in the low data regime, and allows one to probe the coherence and consistency of reasoning performed.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FireWorldBench: 결합장 화재 역학을 통한 복합 물리 세계 지능 벤치마킹
FireWorldBench: Benchmarking Complex Physical World Intelligence through Coupled-Field Fire Dynamics
실제 물리 시스템은 다중 연속장, 잠재적 인과 메커니즘, 부분 관측, 개입에 민감한 역학을 포함하므로, 물리적 세계를 이해하기 위해서는 객체 인식, 장면 기술, 단기 시각 예측 이상의 능력이 필요합니다. 본 논문에서는 결합장(coupled-field) 화재 역학을 통해 멀티모달 대규모 언어 모델(LLM)과 에이전트(agent)의 복합 물리 세계 지능을 평가하기 위한 벤치마크(benchmark)인 FireWorldBench를 제안합니다. 화재는 상호작용하는 다중 물리장이 관측 가능한 상태와 시간적 역학을 공동으로 형성하는 대표적인 스트레스 테스트 환경(environment)을 제공합니다. FireWorldBench는 물리적 역량 축과 화재 시나리오 태스크 축이라는 상호 보완적인 두 가지 축으로 구성되어, 물리적 상태 이해, 시간적 역학, 인과 메커니즘, 개입 추론을 종합적으로 다룹니다. 이 벤치마크는 7가지 환경 패밀리에 걸친 47개 장면 원형을 아우르는 494개의 제어된 시뮬레이션 환경 및 26개의 실세계 연계 이벤트 그룹을 포함하여 총 520개의 화재 세계 엔트리로 구성됩니다. 이러한 엔트리들은 구조화된 텍스트 관측, 다중 2D 물리장 시각화, 3D 이벤트 수준 장면 모델링을 결합하여, 객관식 선택형 및 서술형 보고서 생성 형식에 걸쳐 9,074개의 텍스트-이미지 인터리브 질의응답 쌍을 제공합니다. FireWorldBench는 모델이 멀티모달 부분 관측으로부터 잠재적 물리 상태를 추론하고, 기저 메커니즘을 설명하며, 결합장의 진화를 예측하고, 개입의 결과를 평가할 수 있는지를 평가함으로써 복합 물리 세계 지능을 위한 도전적인 테스트베드를 제공합니다.
LININ: Logic Integrated Neural Inference Network for Explanatory Visual Question Answering
Few-Shot Multimodal Explanation for Visual Question Answering
OVQA: A Clinically Generated Visual Question Answering Dataset
Focal Visual-Text Attention for Memex Question Answering
MetaRubric: 루브릭 기반 강화학습을 위한 보상 학습
MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
루브릭 기반 강화학습(RL)은 개별 응답 요구사항에 부분 점수를 부여함으로써 개방형 과제로 보상 기반 최적화를 확장합니다. 그러나 루브릭 판정 모델은 요구되는 정보나 행동이 응답에 없음에도 불구하고 높은 기준 점수를 부여할 수 있으며, 본 논문에서는 이러한 실패 모드를 '공허한 점수 부여(Vacuous Credit)'라고 명명합니다. 이러한 점수 부여는 필수 정보가 제거된 후에도 지속되며, 응답의 GRPO 어드밴티지 부호를 역전시킬 수 있습니다. 이 문제를 해결하기 위해, 우리는 증거 인식 정책 최적화와 응답 유도 루브릭 적응을 번갈아 수행하는 MetaRubric을 제안합니다. 우리는 각 프롬프트에서 과제와 관련된 하나의 사실을 변경하여 반사실적(counterfactual) 대응물을 구성합니다. 정책 최적화 과정에서는 응답이 요구되는 루브릭 기준을 충족하기에 충분한 증거를 포함할 때만 점수가 부여됩니다. 각 정책 최적화 단계 이후에는 현재 정책의 응답을 바탕으로 원래 기준과 반사실적 기준을 수정하며, 이때 각 프롬프트의 사실에 따라 해석되는 원래 프롬프트의 초기 루브릭 의미는 보존합니다. 또한 관찰된 정책 오류를 더 잘 해결하기 위해 단계 경계에서 기준 가중치를 조정합니다. 다양한 백본에 걸쳐 MetaRubric은 정적 판정 모델 기반 GRPO 대비 PubMedQA 정확도를 6.00~20.40% 포인트 향상시켰으며, HealthBench-Hard 및 두 개의 멀티모달 의료 벤치마크에서도 추가적인 성능 향상을 달성했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.