시각적 지각의 기하학은 무엇인가? 신경망 표현을 해석 가능한 부분으로 분해하는 데 가장 널리 사용되는 프로토콜은 개념을 고립된 방향으로 취급하지만, 최근 연구에 따르면 개념은 활성화 공간의 저차원 영역에서 기하학적 구조로 실현되는 경우가 많다. 우리는 이 간극을 좁히기 위해 구조적 희소성(Structured Sparsity) 문헌으로 눈을 돌려, 방향을 블록으로 그룹화하는 블록 희소성이 표현이 저차원 매니폴드의 희소한 합인 생성 모델에 부합하는 사전 분포임을 보인다. 이는 시각적 특징이 단일 조율 뉴런이 아닌 협력적 뉴런 그룹에 의해 전달된다는 시각 신경과학의 고전적 아이디어의 현대적이고 학습된 형태이다. 우리는 블록-희소 특징화기(BSF, block-sparse featurizer)의 세 가지 변형을 구현하고, 최소 기술 길이(MDL) 분석을 통해 세 가지 모두 방향 기반 특징화기보다 활성화를 더 간결하게 기술하며 복원된 개념이 일반적으로 2차원에서 4차원임을 보인다. 그런 다음 BSF를 활용하여 (i) 선행 연구를 재맥락화하고 InceptionV1의 곡선 검출기가 실제로 단일 연속 곡선 매니폴드에서 읽어냄을 보이며, (ii) DINOv3에서 그림자 및 조명을 포함한 새로운 매니폴드를 발견하고, (iii) 매니폴드 스티어링을 통해 확산 모델(SDXL)의 이미지 생성에 대한 해석 가능한 제어를 지원한다.
비전-언어 모델(VLM)은 이미지 캡셔닝(image captioning)과 시각적 질의응답(VQA)과 같이 이미지와 텍스트를 공동으로 이해해야 하는 과제에서 인상적인 성능을 보여 왔지만, 내부 처리 과정에 대한 이해는 여전히 제한적이다. 최근 희소 오토인코더(SAE)는 VLM에 인코딩된 개념의 해석을 지원하는 유망한 도구로 부상했다. 그러나 대부분의 SAE 기반 접근법은 다중모달 개념을 무시하고 텍스트 또는 시각 개념만을 각각 따로 다룬다. 이러한 한계는 두 모달리티를 통합하는 개념이 잘못 분류될 수 있기 때문에 VLM에 대한 포괄적 이해를 방해한다. 또한 이전의 시각적 접근법은 종종 모호하거나 불완전한 저품질 시각 개념 설명을 생성하여, 모델 추론을 이해하는 데 있어 유용성을 제한한다. 우리는 VLM에서 시각, 텍스트, 다중모달 개념을 추출하고 분석하기 위한 SAE 기반 프레임워크를 제안한다. 각 뉴런에 대해 사람이 해석 가능한 후보 개념을 제안하고, 코사인 유사도 점수를 사용하여 해당 개념과 데이터셋 샘플 간의 정합을 계산한다. VQA 데이터셋(LLaVA-NeXT)에서의 실험은 우리 프레임워크가 기존 SAE 기반 방법 대비 시각 개념 품질을 최대 45%까지 향상시키면서, 높은 텍스트 개념 품질을 유지하고 다중모달 개념의 체계적 식별을 가능하게 함을 보여준다. 본 연구는 VLM의 개념 공간에 대한 새로운 통찰을 제공하며, 시각, 텍스트, 다중모달 개념을 구별하는 구조화된 접근법을 제시한다. 코드는 https://github.com/PHDLanza/Multidata_SAE 에서 이용할 수 있다.
텍스트-투-이미지 디퓨전 모델은 인상적인 생성 품질을 달성하지만, 학습 데이터 바이어스를 계승하고 증폭하여 의미적 속성의 커버리지를 왜곡합니다. 기존 연구는 두 가지 방식으로 이 문제를 다룹니다. 닫힌 집합(closed-set) 접근법은 미리 정의된 공정성 카테고리(예: 성별, 인종)에서 바이어스를 완화하며, 사회적으로 두드러진 소수 속성이 선험적으로 알려져 있다고 가정합니다. 열린 집합(open-set) 접근법은 작업을 바이어스 식별로 프레이밍하여, 출력을 지배하는 다수 속성을 강조합니다. 두 방식 모두 데이터 분포에서 과소 표현되었지만(사회적, 문화적 또는 스타일적) 여전히 모델 표현(representation)에 인코딩된 희귀하거나 소수의 특징을 발견하는 상호 보완적인 작업을 간과합니다. 본 논문에서는 RAIGen을 소개합니다. 이는 디퓨전 모델에서 라벨 없는(label-free) 희귀 속성 발견을 위한, 우리가 아는 한 최초의 프레임워크로, 미리 정의된 소수 카테고리가 필요하지 않습니다. RAIGen은 마트료시카 희소 오토인코더(Matryoshka Sparse Autoencoders)와 뉴런 활성화 빈도와 의미적 구별성을 결합한 새로운 소수 지표(metric)를 활용하여, 최상위 활성화 이미지가 과소 표현된 속성을 드러내는 해석 가능한 뉴런을 식별합니다. 실험 결과 RAIGen은 Stable Diffusion에서 고정된 공정성 카테고리를 넘어선 속성을 발견하고, SDXL과 같은 더 큰 모델로 확장 가능하며, 아키텍처 전반에 걸친 체계적인 감사(auditing)를 지원하고 생성 과정에서 희귀 속성의 타겟팅된 증폭을 가능하게 합니다. 프로젝트 페이지는 https://vssilpa.github.io/RAIGen_webpage/ 에서 확인할 수 있습니다.
해석가능성(interpretability)의 한 목표는 신경망의 활성화(activations)로부터 잠재 개념(특징)의 분리된 표현을 복원하는 것이다. 특징의 품질은 일반적으로 고립된 상태에서, 그리고 실제로 성립하지 않을 수 있는 암묵적 독립성 가정 하에서 평가된다. 따라서 희소 자동인코더(SAE)와 프로브(probe)와 같은 일반적인 특징화(featurization) 방법이 한 개념을 다른 개념으로부터 얼마나 분리하는지는 불분명하다. 우리는 감성(sentiment), 도메인(domain), 목소리(voice), 시제(tense) 등의 개념을 사용하는 다중 개념 평가 설정을 제안한다. 우리는 특징화기(featurizer)가 각 개념에 대해 분리된 표현을 얼마나 잘 생성하는지 평가하며, 특징은 일반적으로 하나의 개념에만 민감하지만 개념이 여러 특징에 분산되어 있기도 함을 관찰한다. 이어서 우리는 이러한 특징들을 조향(steering)하여 각 개념이 독립적으로 조작 가능한지, 그리고 특징들이 상호작용하는지 측정한다. 이상화된 설정에서도, 상호작용 효과가 거의 없음에도 불구하고 하나의 특징을 조향하면 종종 여러 개념에 영향을 미친다. 이러한 결과는 상관 지표만으로 조향 선택성(steering selectivity)을 확립하기에 불충분하며, 두 특징이 별개의 공간에서 작동함을 보여주는 것만으로는 그들이 한 개념에 대해 선택적일 것이라고 주장하기에 불충분함을 시사한다. 이러한 결과는 해석가능성 연구에서 다중 개념 평가의 중요성을 강조한다.
희소 오토인코더(SAE)는 신경망 표현을 해석하는 데 널리 사용되지만, 그 유용성은 학습된 특징이 학습 과정마다 재현 가능한지 여부에 달려 있습니다. 우리는 \emph{특징 안정성}(feature stability)을 통해 이 문제를 연구합니다: 각 SAE 특징에 대해, 독립적으로 학습된 SAE에서 유사한 특징이 다시 나타날 확률을 추정합니다. 이는 안정적인 특징과 불안정한 특징을 분리하는 확장 가능한 특징별 신호를 산출합니다. 시드, 모델, 레이어, 사전 크기, SAE 변형에 걸친 대규모 연구에서 우리는 뚜렷한 기능적 비대칭성을 발견했습니다: 안정적인 특징은 대부분의 재구성 및 예측 관련 신호를 담고 있는 반면, 불안정한 특징은 미미한 영향을 미치며 활성화 통계와 자동 설명 모두에서 저빈도 표면 형식 트리거에 의해 지배됩니다. 기하학적으로, 불안정한 특징은 개별적으로는 재현 불가능하지만 재현 가능한 낮은 랭크의 부분 공간(lower-rank subspaces)에 집중되어 있으며, 이는 시드 의존성이 종종 순수 잡음보다는 활성화 공간의 공유된 영역 내에서의 기저 모호성을 반영함을 시사합니다. 제어된 합성 모델은 이 메커니즘을 명확히 하여, 낮은 랭크의 실제 특징(ground-truth features)이 부분 공간 수준에서는 복원될 수 있지만 시드 간 개별 SAE 잠재 변수로는 식별 불가능한 상태로 남아 있음을 보여줍니다. 마지막으로, 서로 다른 시드 간의 고유한 특징을 풀링(pooling)하여 이 설정에서 설명된 분산을 보존하면서 더 안정적인 SAE를 구성합니다. 종합하면, 이 결과들은 불안정한 특징이 단순히 실패하거나 잡음이 많은 잠재 변수가 아님을 보여줍니다: 이들은 개별적인 기능적 영향은 미약하지만, 표준 SAE가 시드마다 다르게 분해하는 재현 가능한 저차원 구조를 반영합니다.
우리는 희소 오토인코더(SAE)에서 개념 학습과 뉴런 해석에 대한 기하학적 이해를 위한 통합된 수학적 프레임워크를 제안합니다. SAE는 희소한 특징 표현을 학습함으로써 신경망의 해석 가능성을 향상시키지만, '개념'과 '학습'의 원칙적인 정의는 여전히 불분명합니다. 우리는 개념을 데이터 포인트의 집합으로 공식화하고, 개념 학습을 인간이 정의한 개념과 모델이 유도한 개념 사이의 집합 정렬(set-alignment) 문제로 정의합니다. 이 공식화는 점점 더 강력한 세 가지 학습 개념인 탐지(detection), 분리(separation), 근사(approximation)를 구별하며, 개념이 개별 뉴런 또는 다중 뉴런 유닛으로 표현될 수 있는 조건에 대한 기하학적 조건, 오차 한계, 용량 제약을 도출합니다. 또한 이는 특징 분할(feature splitting), 특징 흡수(feature absorption), 특징 패밀리(feature families), 계층적 개념을 포함한 일반적인 SAE 현상에 대한 집합론적 설명을 제공합니다. 마지막으로, 우리는 형식 개념 분석(formal concept analysis)을 통해 개념 학습과 뉴런 해석을 연결하며, 두 방향이 반드시 일치할 필요는 없으며 그들의 다대다(many-to-many) 구조가 개념 격자(concept lattices)에 의해 조직될 수 있음을 보여줍니다. 렐루(ReLU)와 Top-$K$ SAE를 사용한 합성 데이터에 대한 실험은 이 이론을 입증하고, 개념 학습에 대한 SAE 크기와 희소성(sparsity)의 영향을 밝혀냅니다.