PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.16193v3cs.CV

SAE++: 계단식 희소 오토인코더를 통한 멀티모달 대규모 언어 모델(MLLM)의 다단계 시각적 개념 학습

SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs

멀티모달 대규모 언어 모델(MLLM)은 비전-언어(vision-language) 태스크에서 뛰어난 성능을 입증했으나, 내부 시각적 표현은 여전히 해석하기 어렵습니다. 희소 오토인코더(SAE)는 조밀한 모델 활성화를 희소하고 해석 가능한 특징(feature)으로 분해하는 확장 가능한 방법을 제공합니다. 그러나 기존 SAE 아키텍처는 주로 평면적인 특징 사전을 복원하며, 명시적인 다단계 개념 구성에는 덜 적합합니다. 본 논문에서는 MLLM에서 계층적 시각 개념을 학습하기 위해 SAE++라 명명된 계단식 희소 오토인코더 아키텍처를 소개합니다. SAE++는 SAE의 희소 활성화 코드를 중첩하거나 쌓는 대신, 1단계 SAE의 디코더 가중치에서 직접 2단계 SAE를 학습하여 학습된 저수준 특징 방향을 고수준 추상화를 위한 입력으로 처리합니다. 이러한 설계를 통해 SAE++는 중첩 방식의 공유 접두 문맥(shared-prefix) 결합, 마트료시카 스타일 계층 구조의 단점 및 단순 적층형 SAE의 병목 현상을 방지하면서 "개념의 개념"을 학습할 수 있습니다. 여러 시각 데이터셋에서 Qwen3-VL, Gemma-3, LLaVA를 대상으로 진행한 실험에 따르면, SAE++는 최첨단 SAE 베이스라인에 비해 계층적 개념 일관성 측면에서 해석 가능성을 향상시키는 것으로 나타났습니다. 개념 조향(concept steering)에 대한 결과는 학습된 개념 그룹이 MLLM 출력에 대한 효과적인 그룹 수준 개입을 지원함을 추가로 보여줍니다. 코드는 https://github.com/Wang-ML-Lab/sae-plus-plus 에서 확인할 수 있습니다.