개념 병목 모델(CBM)의 사전 정의된 개념 집합 의존성과 정보 누수 문제를 해결하기 위해, LMM이 생성한 캡션을 병목층으로 활용해 텍스트만으로 분류를 수행하는 CaBM(Caption Bottleneck Models) 프레임워크를 제안한다. CaBM은 설계상 누수 없는 구조를 보장하면서 학습 후 텍스트 분류기 분석을 통해 데이터셋 특화 개념을 자율적으로 발견하며, 세밀 및 조대 벤치마크에서 경쟁력 있는 정확도와 해석 가능성을 동시에 달성한다.
도메인 일반화(Domain generalization)는 여러 도메인에 걸쳐 신뢰할 수 있는 분류를 지원하는 안정적인 표현을 식별해야 합니다. 도메인들은 기저 컴포넌트 간의 동일한 구조적 관계를 유지하면서도 색상, 질감 또는 시각적 스타일과 같은 저수준 속성에서는 차이가 날 수 있습니다. 기존 방법들은 주로 학습 과정을 개선하거나 도메인 간 특징을 정렬함으로써 이러한 차이를 해결합니다. 그러나 공유되는 구성적 구조를 암시적인 상태로 남겨두기 때문에, 더 신뢰할 수 있는 불변성의 원천을 간과할 수 있으며 결과적으로 보지 못한 도메인으로의 일반화 효과가 떨어질 수 있습니다. 본 논문에서는 시각적 인식을 시각적 프리미티브와 이들의 관계적 구성으로 분해하는 이미지 분류 프레임워크인 CRISP(Compositional Relational Invariance from Spatial Primitives)를 제안합니다. 우리는 이러한 구성을 프리미티브 위치 및 외형에 대한 소프트 단항, 이항, 삼항 술어로 표현하여, 엔드투엔드로 학습 가능한 공간적 및 시각적 정렬에 대한 미분 가능한 측정값을 산출합니다. 프리미티브와 관계적 구조를 공동으로 학습하기 위해, (1) 일반화된 특징을 추출하는 시각적 백본, (2) 이러한 특징을 미분 가능한 공간 좌표를 갖는 프리미티브 히트맵에 매핑하는 개념 병목 층(concept bottleneck layer), (3) 감지된 프리미티브 간의 후보 공간 관계를 평가하는 구조적 스코어링 층의 세 가지 구성 요소로 이루어진 엔드투엔드 아키텍처를 설계합니다. 마지막으로, 클래스별 관계 구성과 국소화된 프리미티브 외형의 결합 증거로부터 클래스 확률을 계산합니다. 널리 사용되는 DomainBed 스위트의 5가지 실제 이미지 분류 데이터셋에서 CRISP를 평가하며, 이는 묘사 스타일, 데이터셋 출처, 카메라 트랩 위치의 변화를 포괄하고 두 벤치마크 모두에서 새로운 최고 성능(state-of-the-art)을 달성합니다.
시각적 반사실적 설명(counterfactual explanation)은 "이 이미지에 어떤 최소한의 변화를 가하면 모델의 예측이 뒤집힐까?"라는 질문에 답하려 하며, 비전 모델이 안전이 중요한(safety-critical) 영역(예: 의학)에 배포됨에 따라 점점 더 중요해지고 있다. 기존 확산 기반 방법들은 사실적인 편집을 생성할 수 있지만, 노이즈가 있는 이미지에서도 안정적으로 동작해야 하는 외부 분류기(classifier)에 의존하므로 취약하고, 견고한(robust) 설명을 위해 배포하기 어렵다. 우리는 C-VCE를 제안한다. 이는 개념 병목(concept bottleneck) 층을 통해 분류기를 생성 모델(generative model)에 직접 통합하는 새로운 확산 프레임워크로, 반사실적 결과가 픽셀 수준 편집과 함께 동작하는 별도의 노이즈 견고 분류기 대신 사람이 해석 가능한 특징(concepts)에 의해 유도된다. 우리 모델(model)은 사용자가 샘플링 중 의미적 개념(concept)을 켜고 끌 수 있게 하며, 특징(feature) 상관관계를 존중하면서 이미지의 나머지 부분은 보존한 채 관련 이미지 영역만 최소한으로 조정한다. 편집을 작고 통제 가능하게 유지하기 위해, "예측을 바꾸기"와 "원본에 가깝게 유지하기"를 균형 맞추는 단순한 확률적 정규화(regularizer)와, 수정을 가장 관련 있는 영역으로 제한하는 그래디언트(gradient) 기반 마스크를 추가한다. CelebA와 같은 벤치마크(benchmark)에서 C-VCE는 별도의 노이즈 이미지 분류기에 의존하는 베이스라인보다 입력에 시각적으로 더 가깝고 왜곡이 적은 반사실적 결과를 생성하면서 뒤집기(flip) 비율을 맞추거나 개선한다. 이러한 특성은 사용자가 추가의 노이즈 견고 분류기를 신뢰할 필요 없이 구체적인 "what-if" 이미지가 필요한 비전 시스템에서 C-VCE를 실용적인 도구로 만든다. 더 넓게 보면, 우리 결과는 내부 개념 층(layer)을 노출하고 제어하는 것이 강력한 생성 모델(generative model)을 더 이해하기 쉽고 더 안전하게 사용할 수 있게 만드는 유망한 방법임을 시사한다.
Concept Bottleneck Models provide interpretable-by-design predictions by mediating diagnosis through human-understandable concepts, but in medical imaging, their trustworthiness is often limited by the quality and granularity of available supervision. In particular, predicted concept activations can be driven by irrelevant regions, leading to spatially unfaithful explanations. We study a data-centric spatially grounded Concept Bottleneck Model (SG-CBM) that leverages coarse lesion delineations as weak supervision to encourage anatomically plausible concept evidence. For breast ultrasound, we derive two clinically motivated zones from each lesion mask: (i) an in-lesion region of interest for morphology-related concepts and (ii) a posterior acoustic band for posterior phenomena. We train concept maps using a grouped spatial grounding objective and preserve semantic faithfulness with a linear bottleneck classifier. Across five-fold stratified group cross-validation, the proposed SG-CBM improves diagnostic AUROC and concept macro-AUROC while markedly increasing spatial alignment of concept evidence. We also perform a Train-corrupt/Test-clean annotation-quality stress test to quantify the impact of supervision quality on diagnosis and spatial faithfulness. Overall, the results underscore the need for data-quality-aware supervision design and systematic trustworthiness validation for deployable healthcare AI systems.