PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01605v1cs.CV

Hob-VL: 시각적 그라운딩 기반 불리언 추론을 위한 벤치마크

Hob-VL: A Benchmark for Visually Grounded Boolean Reasoning

신뢰할 수 있는 시각적 추론(visual reasoning)을 수행하려면 여러 시각적 관찰 결과를 조합하고 논리적으로 동등한 질문에 대해 일관된 답변을 도출할 수 있어야 합니다. 본 연구에서는 시각적 그라운딩(visually grounded) 기반 불리언 추론(Boolean reasoning)을 위한 벤치마크인 Hob-VL을 소개합니다. Hob-VL은 두 가지 태스크로 구성됩니다: (1) 이미지에서 불리언 규칙이 성립하는지 평가하기, (2) 불리언 설명을 만족하는 (고유한) 객체 식별하기. Hob-VL은 생성된 1,000개의 장면과 46개의 다양한 라벨링된 사진에 걸쳐 10개의 시각적 진술의 불리언 조합으로 정의된 6,000개의 사람이 검증한 균형 잡힌 Yes/No 질문과 동일한 사진들에 대한 1,000개의 객체 식별 질문을 포함합니다. 본 연구의 질문 집합은 오해를 유발하는 로컬 단서와 중첩된 논리 연산을 통해 추론 능력에 도전하도록 의도적으로 설계되었으며, 기호적 표현과 구조화된 자연어 표현을 모두 포함합니다. 사고(thinking) 기능을 비활성화하거나 최소화한 8개 모델 구성 전반에서 불리언 정확도는 48.52%에서 50.57%에 그쳤고, 식별 정확도는 최대 43.0%에 불과했습니다. 사고 기능을 활성화한 GLM 모델 구성의 경우 불균등한 성능 향상을 보였으나 상당한 오류와 불일치는 여전히 지속되었습니다. Hob-VL은 실행 가능한 참조 답변과 정합된 평가를 통해 이러한 실패 사례들을 드러냅니다.