Misleading Failures of Partial-input Baselines
원문 초록
Recent work establishes dataset difficulty and removes annotation artifacts via partial-input baselines (e.g., hypothesis-only models for SNLI or question-only models for VQA). When a partial-input baseline gets high accuracy, a dataset is cheatable. However, the converse is not necessarily true: the failure of a partial-input baseline does not mean a dataset is free of artifacts. To illustrate this, we first design artificial datasets which contain trivial patterns in the full input that are undetectable by any partial-input model. Next, we identify such artifacts in the SNLI dataset - a hypothesis-only model augmented with trivial patterns in the premise can solve 15% of the examples that are previously considered "hard". Our work provides a caveat for the use of partial-input baselines for dataset verification and creation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MedHallTune: 비전-언어 모델의 의료 환각 완화를 위한 인스트럭션 튜닝 벤치마크
MedHallTune: An Instruction-Tuning Benchmark for Mitigating Medical Hallucination in Vision-Language Models
의료 분야 애플리케이션에서 비전-언어 모델(VLM)의 활용이 증가함에 따라, 겉보기에는 그럴듯하지만 실제로는 부정확한 결과를 생성하는 환각(hallucination)과 관련된 큰 과제가 대두되고 있습니다. 이러한 환각은 임상적 의사결정을 위태롭게 하여 잠재적으로 진단과 치료에 악영향을 미칠 수 있습니다. 본 연구에서는 의료 VLM의 환각을 평가하고 완화하기 위해 특별히 설계된 대규모 벤치마크인 MedHallTune을 제안합니다. 10만 개 이상의 이미지와 100만 개 이상의 인스트럭션 쌍으로 구성된 MedHallTune은 환각 및 비환각 샘플을 모두 포함하며, 각각 정답(ground-truth) 주석이 제공됩니다. 우리는 MedHallTune을 사용하여 현재의 의료 및 범용 VLM에 대한 종합적인 평가를 수행하고 임상 정확도, 관련성, 세부 수준, 위험 수준 등의 주요 지표 전반에서 성능을 평가했습니다. 실험 결과에 따르면 MedHallTune을 통한 미세조정(fine-tuning)은 환각을 관리하는 기존 여러 모델의 능력을 성공적으로 향상시키고 다운스트림 시각적 질의응답(VQA) 태스크에서의 제로샷 성능을 높여, 실제 의료 애플리케이션에서 더 높은 신뢰성을 갖추도록 지원함을 보여줍니다. 본 연구는 보다 신뢰할 수 있는 VLM 개발에 기여합니다. 코드와 데이터셋은 \href{https://github.com/russellyq/MedHallTune}{MedHallTune}에서 제공될 예정입니다.
Describe Anything Model for Visual Question Answering on Text-rich Images
DS@GT at CheckThat! 2025: Evaluating Context and Tokenization Strategies for Numerical Fact Verification
Decoupled Seg Tokens Make Stronger Reasoning Video Segmenter and Grounder
DrishtiKon: Multi-Granular Visual Grounding for Text-Rich Document Images
HRIBench: Benchmarking Vision-Language Models for Real-Time Human Perception in Human-Robot Interaction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.