arXiv:2606.04326v2 cs.LG

중요한 것을 측정하기: 개념 병목 모델을 위한 합성 벤치마크

Measuring What Matters: Synthetic Benchmarks for Concept Bottleneck Models

Julian Skirzynski, Harry Cheon, Shreyas Kadekodi, Meredith Stewart, Berk Ustun

제출 2026-11-19

한국어 초록

개념 병목 모델은 입력에서 검출된 고수준 개념을 사용하여 예측한다. 이러한 모델은 해석 가능성의 이점을 얻는 간단한 방법을 제공하지만, 개념 레이블을 포함하는 실제 데이터셋이 매우 적기 때문에 학습과 평가가 어렵다. 본 논문에서는 개념 병목 모델을 위한 합성 벤치마크를 개발한다. 이 벤치마크를 통해 연구자들은 레이블이 있는 데이터셋을 생성하고, 데이터 양식, 개념의 선택, 주석 품질 등 성능에 영향을 미치는 속성을 제어할 수 있다. 따라서 이러한 모델에 적합한 문제를 찾고 실패의 원인 요인을 분리할 수 있다. 본 벤치마크가 개념 병목 모델의 주요 사용 사례, 즉 인간 전문가가 더 나은 결정을 내리도록 돕는 의사결정 지원과, 감독 없이 일상적인 작업을 처리하는 자동화를 평가하는 데 어떻게 사용될 수 있는지 보인다. 시연 결과는 이 벤치마크가 새로운 실패 모드를 식별하고 이를 아키텍처 또는 데이터의 탓으로 귀속할 수 있음을 보여 준다.

원문 초록

Concept bottleneck models predict using high-level concepts detected in inputs. Although these models provide a simple way to reap benefits from interpretability, they are hard to train and evaluate because very few real-world datasets include concept labels. In this paper, we develop synthetic benchmarks for concept bottleneck models. With our benchmarks, researchers can generate labeled datasets and control properties that affect performance, such as data modality, the choice of concepts, or annotation quality. They can thus find problems that suit these models and isolate the factors behind their failures. We demonstrate how our benchmarks can be used to evaluate major use cases for concept bottleneck models: decision support, i.e., helping human experts make better decisions; and automation, i.e., handling routine tasks without supervision. Our demonstrations show how the benchmarks can identify new failure modes and attribute them to either the architecture or the data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.04326v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.