PriCBMs: 시각적 프라이버시 인식을 위한 다중 granularity 개념 병목 비전-언어 모델
PriCBMs: Multi-granular Concept Bottleneck Vision-Language Models for Visual Privacy Recognition
한국어 초록
소셜 미디어에서 이미지 공유가 널리 확산됨에 따라 의도치 않게 노출된 프라이버시 정보를 식별하기 위한 시각적 프라이버시 인식의 필요성이 커졌다. 그러나 다중 레이블 시각적 프라이버시 인식에는 두 가지 어려움이 있다. 첫째, 프라이버시 범주는 상위 수준의 의미 속성을 나타내며 시각적 객체와 일대일로 대응하지 않는다. 서로 다른 시각적 객체가 동일한 프라이버시 범주에 해당할 수 있고, 같은 유형의 객체가 서로 다른 유형의 민감 정보를 포함할 수도 있다. 이러한 상황에서 직접 예측 방식은 일반적으로 범주와 관련된 프라이버시 단서를 식별하기 위한 명시적 지침이 부족하여, 이 과정이 학습된 이미지-레이블 사상 속에 암묵적으로 남아 분류 성능을 제한할 수 있다. 둘째, 프라이버시 단서는 이미지 영역 전반에 분산되어 있는 경우가 많아 전체 이미지 특징만으로는 충분히 표현되지 않을 수 있다. 이러한 문제를 해결하기 위해 우리는 프라이버시 개념 병목 모델(PriCBMs)을 제안한다. 프라이버시 관련 개념을 중간 의미 표현으로 도입함으로써, PriCBMs는 먼저 시각-개념 매칭을 통해 범주와 관련된 프라이버시 단서를 식별한 뒤 개념 반응에 기반하여 프라이버시 범주를 예측한다. 이 과정은 프라이버시 예측을 더 해석 가능하게 만든다. 이러한 개념의 품질을 높이기 위해 대상 범주 관련성, 범주 간 판별성, 의미적 다양성에 기반한 개념 선택 전략을 설계한다. 아울러 전역 맥락을 유지하면서 국소적 프라이버시 증거를 포착하는 전역-영역 모델링 모듈을 도입한다. VISPR와 FineViP에서의 실험 결과, PriCBMs는 네 가지 다중 레이블 지표 전반에서 평가된 경쟁 방법들을 능가한다. 절제 연구와 개념 품질 분석은 제안한 설계의 효과를 뒷받침한다. 코드는 https://github.com/sun2293674491-dotcom/PriCBMs 에서 확인할 수 있다.
원문 초록
Widespread image sharing on social media has increased the need for visual privacy recognition to identify inadvertently exposed privacy information. However, multi-label visual privacy recognition presents two challenges. First, privacy categories represent high-level semantic attributes and do not have a one-to-one correspondence with visual objects. Different visual objects may involve the same privacy category, while the same type of object may contain different types of privacy-sensitive information. In this setting, direct prediction methods generally lack explicit guidance for identifying category-relevant privacy cues, leaving this process implicit in the learned image-to-label mapping and potentially limiting classification performance. Second, privacy cues are often distributed across image regions and may not be adequately represented by whole-image features. To address these challenges, we propose Privacy Concept Bottleneck Models (PriCBMs). By introducing privacy-related concepts as intermediate semantic representations, PriCBMs first identify category-relevant privacy cues through visual-concept matching and then predict privacy categories based on concept responses. This process makes privacy predictions more interpretable. To improve the quality of these concepts, we design a concept selection strategy based on target-category relevance, cross-category discriminability, and semantic diversity. Meanwhile, we introduce a global-region modeling module to capture localized privacy evidence while retaining global context. Experiments on VISPR and FineViP show that PriCBMs outperform evaluated competitors across all four multi-label metrics. Ablation studies and concept-quality analyses support the effectiveness of the proposed design. Code is available at https://github.com/sun2293674491-dotcom/PriCBMs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
33 pages