PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2506.05014v3cs.LG

합리적인 개념 병목 모델을 향하여

Towards Reasonable Concept Bottleneck Models

본 논문에서는 개념 병목 모델(CBM) 설계를 위한 새롭고 유연하며 효율적인 프레임워크를 제안합니다. 이 프레임워크를 통해 실무자는 예측 시 모델의 추론 과정 내에서 개념-개념($C-C$) 및 개념-작업($C \to Y$) 관계에 대한 사전 지식과 신념을 명시적으로 인코딩하고 확장할 수 있습니다. 이를 통해 도출된 개념 추론 모델(CREAM)은 상호 배타성, 계층적 연관성 및 상관관계와 같은 임의 유형의 $C-C$ 관계뿐만 아니라 잠재적으로 희소한 $C \to Y$ 관계를 구조적으로 인코딩합니다. 또한 CREAM은 잠재적으로 불완전한 개념 집합을 보완하기 위해 정규화된 사이드 채널을 선택적으로 통합할 수 있어, 예측이 개념에 기반(concept-grounded)하도록 유도하는 동시에 경쟁력 있는 작업 성능을 달성합니다. 이러한 환경에서 CBM을 평가하기 위해, 예측이 사이드 채널에 부분적으로 의존할 때의 해석 가능성을 정량화하는 $C \to Y$ 무관 지표를 도입합니다. 실험을 통해 추가적인 계산 오버헤드 없이 CREAM 모델이 효율적인 개입을 지원하고 개념 누출(concept leakage)을 방지할 수 있으며, 개념이 누락된 상황에서도 블랙박스 수준의 성능을 달성함을 보입니다. 나아가 선택적 사이드 채널이 해석 가능성과 개입 가능성에 미치는 영향을 분석합니다. 중요한 점은, 사이드 채널 덕분에 제한된 수의 개념만 사용할 수 있는 시나리오에서도 CBM이 유효성을 유지할 수 있다는 것입니다.

arXiv:2609.37786v2cs.CV

CHOQOLATE: 쇼케 적분을 활용한 개념 병목 잠재 공간 구조화

CHOQOLATE: Organizing Concept Bottleneck Latent Spaces with Choquet Integrals

CLIP과 같은 비전-언어(vision-language) 모델을 기반으로 구축된 개념 병목 모델(CBM)은 잠재 공간을 인간이 이해할 수 있는 개념으로 표현합니다. 그러나 이러한 표현은 신뢰성이 떨어집니다(unfaithful). 서로 연관된 개념들이 얽혀 있어(entangled) 개별 점수가 본래 의도한 의미를 제대로 반영하지 못하기 때문입니다. 본 논문에서는 상관관계가 있는 개념들을 간결한 노드로 병합하는, 2-가법적 쇼케 적분(2-additive Choquet integrals) 기반의 해석 가능 설계 층(layer)인 CHOQOLATE를 제안합니다. 네 가지 데이터셋 전반에서 CHOQOLATE는 가중치 희소성(weight-sparse)과 의미론적 일관성을 갖춘 노드를 통해 유리한 정확도-해석 가능성 트레이드오프를 달성합니다. 실험을 통해 뒷받침된 닫힌 형태(closed-form)의 그래디언트 유도는 명시적인 지도 없이도 쇼케 층이 왜 이러한 구조화를 유도하는지 설명합니다. 또한 쇼케 가중치는 샤플리 값(Shapley values)에 직접 매핑되어 테스트 시점의 개입(test-time intervention)을 가능하게 합니다. 표준 바이어스 완화 벤치마크에서, 학습 후 가짜 개념(spurious concepts)을 억제하는 방식은 그룹 주석이나 재학습이 필요한 기존 방법들과 대등한 성능을 보이면서도 이 둘 모두를 필요로 하지 않습니다.

arXiv:2511.19636v3cs.LG

개념 병목 모델을 위한 라쇼몽 슬라이스의 매개변수 효율적 구축

Parameter-Efficient Construction of the Rashomon Slice for Concept Bottleneck Models

많은 머신러닝 문제에서 근본적으로 서로 다른 내부 논리에 의존하면서도 거의 동일한 예측 성능을 달성하는 여러 모델이 존재할 수 있습니다. 그러나 표준적인 학습(training) 절차는 단일 모델만을 생성하므로, 다운스트림 요구에 더 적합할 수 있는 대안들을 탐색할 실질적인 방법을 제공하지 못합니다. 이처럼 동등하게 정확한 모델들의 집합을 라쇼몽 집합(Rashomon set)이라고 합니다. 라쇼몽 집합을 탐색하는 것은 중간 단계의 인간이 이해할 수 있는 개념을 통해 예측을 수행하여 컴퓨터 비전(CV) 분야에서 널리 사용되는 개념 병목 모델(Concept Bottleneck Models, CBMs)과 같이 크고 복잡한 가설 공간에서 특히 어렵습니다. 본 논문에서는 CBM의 라쇼몽 집합을 효율적으로 탐색하는 방법을 제시합니다. 제안하는 프레임워크는 특화된 병렬 매개변수 효율적 적응 모듈을 체크포인팅 기법 및 개념 다양성 목표와 결합하여, 단 한 번의 학습 과정에서 동등하게 정확한 다수의 CBM을 생성합니다. 실증적 결과는 제안하는 방법이 훨씬 적은 메모리를 사용하면서도 베이스라인보다 다양성이 더 뛰어난 모델들을 찾아냄을 보여줍니다. 나아가 이렇게 다양하면서도 정확한 CBM들에 접근할 수 있게 됨으로써 신뢰할 수 있는 모델 선택, 클래스 간 혼동 해소, 의사결정 시 신뢰성 있는 기권(abstention)이 가능해짐을 입증합니다.

arXiv:2606.19489v1cs.LG

Concept Flow Models: 계층적 병목을 활용한 개념 기반 추론의 고정

Concept Flow Models: Anchoring Concept-Based Reasoning with Hierarchical Bottlenecks

Concept Bottleneck Models (CBMs)는 학습된 특징(feature)을 인간이 이해 가능한 개념 공간으로 투영(projection)하여 해석 가능성을 향상시킵니다. 최근 접근법들은 비전-언어 모델(vision-language models)을 활용하여 개념 임베딩(embeddings)을 생성함으로써 수동 개념 주석(annotations)의 필요성을 줄입니다. 그러나 이러한 모델들은 치명적인 제한 사항이 있습니다. 개념의 수가 임베딩 차원에 근접함에 따라 정보 누출(information leakage)이 증가하여, 모델이 가짜(spurious)이거나 의미적으로 무관한 상관관계를 이용하게 되고 해석 가능성을 저해합니다. 본 연구에서는 평면적인 병목(flat bottleneck)을 계층적이고 개념 기반의 의사결정 나무(decision tree)로 대체하는 Concept Flow Models (CFMs)를 제안합니다. 계층 구조 내의 각 내부 노드(internal node)는 식별 가능한 개념의 국지적 부분 집합에 집중하여 점진적으로 예측 범위를 좁혀갑니다. 우리의 프레임워크는 시각적 임베딩(visual embeddings)으로부터 의사결정 계층을 구성하고, 각 계층 수준에서 의미적 개념을 분배하며, 확률적 트리 순회(tree traversal)를 통해 미분 가능한 개념 가중치를 학습합니다. 다양한 벤치마크(benchmarks)에 대한 광범위한 실험을 통해 CFMs가 평면 CBMs의 예측 성능과 대등하면서도, 유효 개념 사용량을 줄임으로써 정보 누출을 상당히 완화함을 입증했습니다. 또한, CFMs는 계층적 클래스 구조와 함께 투명하고 감사 가능한 모델 추론을 가능하게 하는 단계적 의사결정 흐름(decision flows)을 생성합니다.

arXiv:2606.11446v1cs.CV

3D-CBM: 생성형 3D 모델링에서 개념 기반 해석 가능성을 위한 프레임워크

3D-CBM: A Framework for Concept-Based Interpretability in Generative 3D Modeling

본 연구는 딥 기하학적 학습(deep geometric learning)에 내재된 '의미적 격차(semantic gap)'를 해결하기 위해 개념 병목 모델(Concept Bottleneck Models, CBMs)을 3D 생성형 아키텍처에 통합하는 프레임워크를 소개합니다. 딥 모델이 3D 콘텐츠 생성의 중심이 됨에 따라, 해석 가능성(explainability)은 의료 및 제조와 같은 안전 중요 도메인에서 신뢰와 책임성을 위한 부가적 기능이 아닌 필수 요건으로 변모했습니다. CBM은 잠재 표현(latent representations)을 인간이 정의한 개념과 정렬되도록 제약함으로써 내재적 해석 가능성(intrinsic interpretability) 솔루션을 제공하지만, 비정형 3D 데이터에 대한 적용은 아직 탐험되지 않은 상태입니다. 우리는 포인트 클라우드(point clouds) 및 메쉬(meshes)를 포함한 원시 기하학적 입력을 해석 가능한 프리미티브(primitives) 및 기능적 속성의 다계층 분류 체계로 매핑하는 공식적인 3D-CBM 아키텍처를 설계, 구현 및 검증합니다. 또한 이 프레임워크는 개념 기반 감독(supervision)에 특화된 PartNet 및 ShapeNet과 같은 전략적 데이터셋을 식별합니다. 3D 부품 조작 개념 증명(proof-of-concept) 실험의 결과는 이 프레임워크의 효율성을 입증하며, 88.8%의 개념 예측 정확도와 0.0115의 Chamfer Distance를 달성했습니다. 무엇보다 이 모델은 정밀한 테스트 타임 개입(test-time intervention)을 가능하게 하여, 구조적 오류를 대화형으로 수정할 수 있게 합니다. 이 연구는 의미론적으로 조정 가능한(steerable) 3D 생성을 위한 기초를 마련하고, 협업적 인간-루프(human-in-the-loop) 설계 시스템에 대한 추가 연구를 제안합니다.