PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22994v2cs.LG

희소 오토인코더는 의미 있는 개념 계층 구조를 학습하는가?

Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?

희소 오토인코더(SAE)는 대규모 모델에서 비지도 개념 발견을 위한 중요한 도구가 되었습니다. 그 결과로 얻어지는 특징 공간을 더욱 해석 가능하고 다루기 쉽게 만들기 위해, 최근 접근법들은 명시적으로나 혹은 학습 제약 조건의 암묵적 효과로서 계층 구조를 부여하기 시작했으나, 엄밀한 비교는 여전히 어렵습니다. 의미 있는 특징 계층 구조가 무엇을 만족해야 하는지에 대한 합의된 요구사항이 없으며, 평가는 파편화된 정량적 프로토콜과 함께 주로 정성적 예시에 의존해 왔습니다. 이를 해결하기 위해, 본 논문에서는 시맨틱 넷(semantic net) 및 분류 체계(taxonomy) 연구와 최근 SAE 연구를 참고하여 비지도 개념 발견에서의 일반화/전문화 계층 구조에 대한 일련의 핵심 요구사항을 도출하고, 이를 활용해 구체적인 평가 프로토콜을 도출합니다. 시각 데이터로 학습된 최신 SAE 접근법들에 이 프로토콜을 적용한 결과, 특징 공간이 일반적으로 타당한 계층 구조를 위한 기반을 제공하지만 훌륭한 계층 구조를 확립하는 것은 여전히 어렵다는 점을 발견했습니다. 특히 잘 알려진 하드(hard) 형태와 연속적인 소프트(soft) 형태 모두에서 나타나는 특징 흡수(feature absorption)가 계층 구조의 품질을 체계적으로 저하시키며, 이는 향후 접근법들이 해결해야 할 근본적인 긴장 관계를 시사합니다.