PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.13974v2cs.CV

소수의 채널이 전체 그림을 그린다: 디퓨전 트랜스포머의 대규모 활성화 규명

Few Channels Draw The Whole Picture: Revealing Massive Activations in Diffusion Transformers

DiT(Diffusion Transformer) 내부의 소수 은닉 채널인 대규모 활성화(massive activation)가 단순한 이상값이 아니라 프롬프트 조건부 의미 정보를 구성·제어하는 희소 반송파 부분공간임을 채널 교란 실험, 공간 클러스터링, 활성화 이식(transport) 세 가지 방법으로 입증한다. 이 대규모 활성화를 한 생성 궤적에서 다른 궤적으로 이식하는 것만으로 추가 학습 없이 프롬프트 보간 및 피사체 기반 생성이 가능함을 FLUX, SANA 등 최신 모델에서 확인하였다.

arXiv:2607.02968v1cs.CV

확산 트랜스포머 깨우기: 대규모 활성화 변조를 통한 강력한 생성 및 이해 능력 유도

Awakening Diffusion Transformers: Eliciting Stronger Generation and Understanding via Massive Activation Modulation

대규모 활성화(Massive Activations, MAs)는 트랜스포머 기반 모델에서 널리 관찰되어 왔으나, 확산 트랜스포머(Diffusion Transformers, DiTs)에서의 구조와 기능적 역할은 아직 충분히 이해되지 않고 있다. 본 연구에서는 대표적인 DiTs에서 MAs를 체계적으로 분석하고, 이들이 이미지 토큰 전반에 걸쳐 공간적으로 분포하면서 소수의 고정된 특징 차원에 집중된다는 사실을 발견하였다. 또한 이러한 차원들이 AdaLN 잔차 스케일링 인수와 밀접하게 정렬되어 있으며, 텍스트 조건이 아닌 노이즈 제거 타임스텝에 의해 주로 변조된다는 것을 보인다. 이 구조는 태스크에 따라 두 가지 상이한 효과를 초래한다: 생성의 경우 MAs는 세밀한 디테일 합성에 중요한 반면 전역적 의미론에는 제한적인 영향을 미치며, 이해의 경우 공유된 고크기 방향으로 인해 원시 DiT 특징이 공간 토큰 간에 지나치게 유사해져 밀집 특징 변별력이 약화된다. 이러한 발견에 기반하여, 우리는 DiTs의 생성 및 표현 능력을 모두 향상시키기 위해 MAs를 통합 변조 신호로 활용하는 학습-불필요 프레임워크 EMA(Eliciting Massive Activation)를 제안한다. 생성 측면에서 EMA는 MA 기반 디테일 가이던스(Detail Guidance, DG)를 제안하는데, 이는 MA 차원을 억제하여 디테일이 결핍된 반사실적(counterfactual) 예측을 구성하고 더 세밀한 시각적 디테일을 향해 샘플링을 유도한다. DG는 효율적인 부분 순전파 추론, 분류기 없는 가이던스(classifier-free guidance)와의 통합, 그리고 선택된 이미지 영역을 정제하는 토큰 수준 Local DG를 추가로 지원한다. 이해 측면에서 EMA는 MA 변조 표현 추출(MA-modulated REPresentation extraction, MREP)을 도입하는데, 이는 사전학습된 AdaLN 채널별 변조를 사용하여 MA 방향적 우세성을 줄이고 유용한 공간 구조를 보존하기 위해 공간적으로 정규화된 MA 맵을 연결한다. 광범위한 실험을 통해 EMA가 DiTs의 생성 품질과 표현 능력을 모두 일관되게 향상시킴을 입증한다.

arXiv:2606.20743v1cs.LG

대규모 활성화는 아키텍처적으로 견고하다: 제어된 스크래치/커밋 잔차 스트림 테스트

Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

학습된 트랜스포머는 대규모 활성화(massive activations)를 일관되게 발전시킨다. 이는 크기가 중앙값보다 훨씬 크고 시퀀스 시작 토큰에 집중되는 소수의 은닉 차원이다. 이러한 이상치가 잔차 스트림의 과부하된 읽기·쓰기 역할로 인한 제거 가능한 부산물인지, 아니면 기능적 필수 요소인지는 현재 활발히 논의 중이다. 우리는 아키텍처적 개입을 통해 부산물 가설을 직접 검증한다. 우리의 아키텍처인 Ledger Residuals는 잔차 스트림을 두 부분으로 분리한다: 중간 계산이 자유롭게 덮어쓸 수 있는 가변적 스크래치 스트림(Deliberation)과, 모델이 최종적으로 읽어내는 표현을 보관하는 보호된 디코드 전용 누산기(Commitment)이다. 만약 대규모 활성화가 하나의 스트림이 스크래치패드와 정답 역할을 동시에 수행하도록 강제되기 때문에만 존재한다면, 전용 정답 채널이 그 필요성을 제거해야 한다. 그러나 우리는 그렇지 않다는 것을 발견한다. 160M 및 290M 규모의 동일 손실 언어 모델에서, 모델은 보호된 채널 내부에 정형화된 고정 차원의 시작 토큰 이상치를 재구성한다. 재구성된 특징은 표준 트랜스포머보다 크기가 작지만 시작 토큰에 더 날카롭게 집중되며, 더 강한 희소성 패널티를 적용할수록 제거되기보다는 오히려 더 지속적이고 더 집중된 형태가 된다. 따라서 대규모 활성화는 아키텍처적으로 견고한 것으로 보인다: 이들은 모델이 디코딩하는 표현이 무엇이든 재출현하며, 이는 이들이 우발적이 아닌 기능적 요소임을 시사하는 결과이다. 우리는 아키텍처 및 측정 코드를 공개한다.