CHOQOLATE: 쇼케 적분을 활용한 개념 병목 잠재 공간 구조화
CHOQOLATE: Organizing Concept Bottleneck Latent Spaces with Choquet Integrals
CLIP과 같은 비전-언어(vision-language) 모델을 기반으로 구축된 개념 병목 모델(CBM)은 잠재 공간을 인간이 이해할 수 있는 개념으로 표현합니다. 그러나 이러한 표현은 신뢰성이 떨어집니다(unfaithful). 서로 연관된 개념들이 얽혀 있어(entangled) 개별 점수가 본래 의도한 의미를 제대로 반영하지 못하기 때문입니다. 본 논문에서는 상관관계가 있는 개념들을 간결한 노드로 병합하는, 2-가법적 쇼케 적분(2-additive Choquet integrals) 기반의 해석 가능 설계 층(layer)인 CHOQOLATE를 제안합니다. 네 가지 데이터셋 전반에서 CHOQOLATE는 가중치 희소성(weight-sparse)과 의미론적 일관성을 갖춘 노드를 통해 유리한 정확도-해석 가능성 트레이드오프를 달성합니다. 실험을 통해 뒷받침된 닫힌 형태(closed-form)의 그래디언트 유도는 명시적인 지도 없이도 쇼케 층이 왜 이러한 구조화를 유도하는지 설명합니다. 또한 쇼케 가중치는 샤플리 값(Shapley values)에 직접 매핑되어 테스트 시점의 개입(test-time intervention)을 가능하게 합니다. 표준 바이어스 완화 벤치마크에서, 학습 후 가짜 개념(spurious concepts)을 억제하는 방식은 그룹 주석이나 재학습이 필요한 기존 방법들과 대등한 성능을 보이면서도 이 둘 모두를 필요로 하지 않습니다.