같은 차트, 다른 이야기: 비전-언어 차트 해석의 바이어스
Same Chart, Different Story: Bias in Vision-Language Chart Interpretation
한국어 초록
비전-언어 모델(VLM)은 차트를 해석하고 사회적으로 중요한 데이터에 대한 자연어 설명을 생성하는 데 점점 더 많이 사용되고 있다. 그러나 참조되는 사회 집단만 바뀌었을 때 동일한 차트에 대해 서로 다른 서사를 생성할 수 있어 고정관념을 강화하고 잘못된 의사결정을 유도할 수 있다. 이러한 위험에도 불구하고, 사회적 차원에 걸친 차트 해석 바이어스를 체계적으로 평가할 벤치마크는 존재하지 않는다. 우리는 VLM 기반 차트 해석에서 바이어스를 감사하기 위한 최초의 벤치마크인 ChartBias를 제안한다. ChartBias는 인종, 소득, 연령, 종교, 이민 신분, 성별의 여섯 속성을 아우르는 820개의 수동으로 큐레이션한 실세계 차트를 포함하며, 4,319개의 유효한 차트-속성 인스턴스와 차트는 고정하고 집단 용어만 교체한 8,638개의 쌍(pair) 생성물을 산출한다. 독점 및 오픈소스 VLM 12개에 걸쳐 총 155,484개의 모델 응답을 분석한 결과, 세 가지 광범위한 실패 양상을 발견한다: 서사 전환(narrative shift, 동일 차트·상이한 서사), 집단 환각(group hallucination, 근거 없이 차트를 특정 집단에 귀속), 선호 극성(preference polarity, 유리한 추세가 한 집단에 더 자주 연결됨). 또한 차트에 근거한 증거 추출과 집단 조건 생성을 분리하고, 반사실적(counterfactual) 판정자가 집단에 따른 차이가 차트로 뒷받침되는지 검증하는 다중 에이전트 완화 프레임워크를 제안하며, 이는 강한 기준선 역할을 한다. 이 프레임워크는 차트에 근거한 추론을 유지하면서 서사 전환을 실질적으로 줄인다. 우리의 결과는 차트 이해 평가가 정확도뿐 아니라 사회 집단 간 공정성과 일관성도 측정해야 함을 보여준다. ChartBias는 https://github.com/vis-nlp/ChartBiasBench 에서 공개한다.
원문 초록
Vision-language models (VLMs) are increasingly used to interpret charts and generate natural-language explanations for socially consequential data. However, they may produce different narratives for the same chart when only the referenced social group changes, reinforcing stereotypes and misleading decisions. Despite these risks, no benchmark exists for systematically evaluating bias in chart interpretation across social dimensions. We introduce ChartBias, the first benchmark for auditing bias in VLM-based chart interpretation. ChartBias contains 820 manually curated real-world charts spanning six attributes: race, income, age, religion, immigration status, and gender, yielding 4,319 valid chart, attribute instances and 8,638 paired generations where the chart is fixed and only the group term is swapped. Across 12 proprietary and open-source VLMs, totaling 155,484 model responses, we find three widespread failure modes: narrative shift (same chart, different narratives), group hallucination (assigning a chart to a group without evidence), and preference polarity (favourable trends often linked to one group). We further propose a multi-agent mitigation framework that serves as a strong baseline by separating chart-grounded evidence extraction from group-conditioned generation and using a counterfactual judge to verify that group-driven differences are supported by the chart. The framework substantially reduces narrative shift while preserving chart-grounded reasoning. Our findings show that evaluating chart understanding requires measuring not only accuracy, but also fairness and consistency across social groups. We release ChartBias at https://github.com/vis-nlp/ChartBiasBench.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.26210v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습
When MLLMs miss what humans read: diagnosing and learning to read squint text
멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.
RESCUE: 이 알람은 대응할 가치가 있는가? VLA 런타임 모니터의 반사실적 평가
RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors
로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.
SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.
틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?
Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.
공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때
Empty Commitments: When Agents Promise What They Cannot Deliver
"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.
심사 로또: 동료 평가 노이즈에 대한 관측 기반 추정기 벤치마킹 (ICLR 2017-2025)
The Review Lottery: Benchmarking an Observational Estimator of Peer-Review Noise (ICLR 2017-2025)
동일한 논문을 다른 심사위원단이 평가한다면 학술대회 채택/탈락 결정은 얼마나 달라질까요? 두 번째 독립적인 프로그램 위원회를 운영하는 것이 이에 답하기 위한 최적의 표준(gold standard)이지만, 이는 비용이 과도하게 많이 들어 단 두 번(NeurIPS 2014 및 2021)만 진행되었습니다. 본 연구에서는 공개 심사 데이터만을 활용하여 이 수치에 대한 관측 기반 추정기를 구축하고, 두 차례 캘리브레이션을 거친 뒤 9년간의 ICLR(2017-2025; 논문 36,113편, 리뷰 134,912건) 데이터에 적용합니다. 이 추정기는 베이즈 순서화 프로빗 모델(Bayesian ordered-probit model)을 통해 점수를 논문 품질과 심사위원 노이즈로 분해하고, 로지스틱 모델로 점수를 최종 결정에 매핑하며, 두 개의 독립적인 위원회를 시뮬레이션합니다(사후 표본 추출 B=1,000; 위원회 크기 k=2,3,4). 추정된 불일치율은 k=2일 때 23-30%, k=4일 때 18-24%이며, 채택된 논문의 30-50%는 탈락될 수 있는 것으로 나타났습니다. 외부 캘리브레이션 결과, NeurIPS 2021 심사위원 수 기준(k=3)에서 시뮬레이션된 2021년 불일치율은 23.3% [21.7%, 25.0%]로 보고된 23.0%와 유사했습니다(바이어스 +0.3%p). 채택 정밀도와 위원회 간 상관관계 또한 각각 5%p 및 0.04 이내로 일치했습니다. 내부 캘리브레이션에서는 4개 이상의 리뷰가 있는 18,740편의 논문에 대해 모델을 배제한 무작위 2+2 심사위원 분할 결과가 2018년 및 2021-2025년의 k=2 시뮬레이션과 1%p 이내로 일치함을 확인했습니다. 시계열 분석상 2017-2025년 동안 심사위원 노이즈에서 뚜렷한 시간적 추세는 발견되지 않았습니다. 2020년과 2021년의 높은 채택 논문 번복률은 서로 다른 메커니즘을 가집니다. 2020년의 4점 척도는 점수를 압축시켰으며(논문의 23.7%가 논문 내 분산 0을 기록), 반사실적 분석에 따르면 척도를 단순화할 경우 불일치가 약 7%p 증가하는 것으로 나타났습니다. 반면 2021년은 표본 내 최저 신호 대 잡음비(SNR)와 임계값 부근에 가장 밀집된 채택 분포가 결합된 결과였습니다. 대규모 언어 모델(LLM) 시대와 관련하여, 논문 내 점수 분산에 대한 2023년 구조 변화 검정(breakpoint test)에서는 변화가 발견되지 않았으나, 해당 설계는 검정력이 거의 없으며 2022년 이후의 리뷰 텍스트나 확신도(confidence) 데이터가 존재하지 않아 LLM으로 인한 영향 귀인은 시도하지 않았습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.