PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.08236v2cs.CL

Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms

대규모 언어 모델(LLM)의 내부 계산을 감사하기 위해, 기존 회로 분석(circuit analysis)이 단일 목표 출력에만 의존하는 한계를 극복하고자 의미론적 임베딩(semantic embedding)과 트랜스코더(transcoder) 기반 기계론적 어트리뷰션(mechanistic attribution)을 결합한 비지도 분포-수준 특징 발견(distribution-level unsupervised feature discovery) 프레임워크를 제안한다. rate-distortion 목적함수로 두 관점을 동시에 최적화해 클러스터링하면, 단일 관점 기준선이 포착하지 못하는 연속 모드를 발견하고 클러스터 서명이 인과적으로 유효한 기계론적 요인에 대응함을 스티어링 실험으로 검증하였다.

arXiv:2606.12629v1cs.LG

Bag of Dims: 차원 수준 부호 패턴을 통한 학습 불필요 메커니즘적 해석 가능성

Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns

트랜스포머 은닉 상태의 표준 기저가 학습 없이도 특징 기저로 작동한다는 Bag of Dims 프레임워크를 통해, 차원 수준의 부호 패턴만으로 의미적 특징을 인코딩하고 높은 다음 토큰 예측 정확도를 달성함을 입증했습니다. 여러 모델 계열에 대한 실험을 통해 추가 학습 없이 175개의 의미적 카테고리를 발견하고, 표준 기저가 특징 읽기에 충분함을 확인했습니다.