fokus.fraunhofer.de

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.19489v1cs.LG

Concept Flow Models: 계층적 병목을 활용한 개념 기반 추론의 고정

Concept Flow Models: Anchoring Concept-Based Reasoning with Hierarchical Bottlenecks

Concept Bottleneck Models (CBMs)는 학습된 특징(feature)을 인간이 이해 가능한 개념 공간으로 투영(projection)하여 해석 가능성을 향상시킵니다. 최근 접근법들은 비전-언어 모델(vision-language models)을 활용하여 개념 임베딩(embeddings)을 생성함으로써 수동 개념 주석(annotations)의 필요성을 줄입니다. 그러나 이러한 모델들은 치명적인 제한 사항이 있습니다. 개념의 수가 임베딩 차원에 근접함에 따라 정보 누출(information leakage)이 증가하여, 모델이 가짜(spurious)이거나 의미적으로 무관한 상관관계를 이용하게 되고 해석 가능성을 저해합니다. 본 연구에서는 평면적인 병목(flat bottleneck)을 계층적이고 개념 기반의 의사결정 나무(decision tree)로 대체하는 Concept Flow Models (CFMs)를 제안합니다. 계층 구조 내의 각 내부 노드(internal node)는 식별 가능한 개념의 국지적 부분 집합에 집중하여 점진적으로 예측 범위를 좁혀갑니다. 우리의 프레임워크는 시각적 임베딩(visual embeddings)으로부터 의사결정 계층을 구성하고, 각 계층 수준에서 의미적 개념을 분배하며, 확률적 트리 순회(tree traversal)를 통해 미분 가능한 개념 가중치를 학습합니다. 다양한 벤치마크(benchmarks)에 대한 광범위한 실험을 통해 CFMs가 평면 CBMs의 예측 성능과 대등하면서도, 유효 개념 사용량을 줄임으로써 정보 누출을 상당히 완화함을 입증했습니다. 또한, CFMs는 계층적 클래스 구조와 함께 투명하고 감사 가능한 모델 추론을 가능하게 하는 단계적 의사결정 흐름(decision flows)을 생성합니다.