PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13935v1cs.CV

숨바꼭질(Hide and Seek): 블랙박스 모델의 설명을 찾기(SEEK) 위해 개념을 숨기기(HIDE)

Hide and Seek: HIDE Concepts to SEEK explanations for black box models

머신러닝 모델의 예측을 해석하는 것은 특히 블랙박스 비전 모델에서 핵심적인 과제입니다. 개념 기반 기여도 분석(concept-based attribution) 방법은 사람이 이해할 수 있는 개념을 사용하여 모델을 해석합니다. 기존의 개념 기반 방법들은 분류(classification) 및 회귀 모델만을 해석할 수 있습니다. 또한 모델 가중치에 대한 접근이나 대규모 개념 주석 데이터셋을 필요로 하며, 대부분의 방법은 이미지 수준의 기여도를 제공하지 못합니다. 본 논문에서는 모델 가중치 접근이나 라벨이 지정된 개념 데이터셋 없이도 동작하는 새로운 개념 수준 기여도 분석 방법인 Hide and Seek(HnS)를 제안합니다. HnS는 광범위한 비전 모델을 해석할 수 있습니다. 개념과 이미지 세트가 주어지면, HnS는 비전-언어 모델(VLM)을 사용하여 개념과 일치하는 이미지를 검색하고, 각 이미지 내에서 해당 개념의 위치를 특정(localize)한 뒤, 해당 영역을 마스킹하고, 원본 이미지와 마스킹된 이미지 간의 블랙박스 모델 출력 변화로부터 기여도를 측정합니다. 이를 통해 모델의 동작을 직접 측정하고 국소적(local) 기여도를 지원함으로써 충실한 기여도 분석을 가능하게 합니다. 저자들은 CelebA와 COCO-Stuff에서 HnS를 검증했습니다. 기존 방법들과 비교했을 때, HnS는 정답(ground-truth) 기여도와 더 높은 일치도를 보였습니다. 또한 기존의 개념 기여도 분석 방법을 적용할 수 없었던 이미지 캡셔닝 및 위성 이미지 분할(image segmentation)을 포함한 다양한 태스크에서 HnS의 적용 가능성을 입증했습니다. 익명화된 코드는 보충 자료(supplementary material)에 제공되었습니다.

arXiv:2604.08295v4cs.AI

U-CECE: 개념적 반사실적 설명을 위한 범용 다중 해상도 프레임워크

U-CECE: A Universal Multi-Resolution Framework for Conceptual Counterfactual Explanations

AI 모델이 점차 복잡해짐에 따라 신뢰 구축을 위한 설명가능성(explainability)이 필수적이지만, 개념 기반 반사실적(counterfactual) 방법들은 여전히 표현력과 효율성 사이의 상충 관계(trade-off)에 직면해 있습니다. 기저 개념을 원자적 집합(atomic sets)으로 표현하는 것은 빠르지만 관계적 맥락을 놓치며, 완전한 그래프 표현은 더 충실하지만 NP-난해인 그래프 편집 거리(GED) 문제를 해결해야 합니다. 본 논문에서는 데이터 체제(data regime)와 연산 예산에 적응하는 개념적 반사실적 설명을 위한 통합형 모델 불가지론적(model-agnostic) 다중 해상도 프레임워크인 U-CECE를 제안합니다. U-CECE는 세 가지 수준의 표현력을 포괄합니다. 즉, 포괄적인 설명을 위한 원자적 개념, 단순한 상호작용을 위한 관계적 집합의 집합(sets-of-sets), 그리고 완전한 의미 구조를 위한 구조적 그래프입니다. 구조적 수준에서는 지도 학습 기반 그래프 신경망(GNN)을 활용하는 정밀도 지향 트랜스덕티브(transductive) 모드와 비지도 학습 기반 그래프 오토인코더(GAE)를 활용하는 확장 가능한 인덕티브(inductive) 모드를 모두 지원합니다. 구조적으로 상이한 CUB 및 Visual Genome 데이터셋에 대한 실험을 통해 각 수준별 효율성-표현력 상충 관계를 규명하였으며, 설문조사와 대규모 비전-언어 모델(LVLM) 기반 평가를 통해 CUB에서 검색된 구조적 반사실적 설명이 기준 결정론적 GED 기반 설명과 의미론적으로 동등하다고 평가되는 경우가 많고, 이를 능가하여 선호되기도 함을 입증했습니다.