PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.33895v2cs.CV

잔차 스트림 부담이 디퓨전 트랜스포머의 표현 학습을 형성하는 방식

Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers

디퓨전(diffusion) 기반 생성에서 신경망(neural network)은 노이즈가 섞인 입력으로부터 깨끗한 데이터, 노이즈, 또는 속도(velocity)를 예측하도록 학습될 수 있습니다. 이러한 예측 타깃들은 상호 변환이 가능하며 동일한 생성 과정을 기술하지만, 큰 픽셀 패치에서 동작하는 기본 디퓨전 트랜스포머(Diffusion Transformer)는 깨끗한 데이터 예측에서는 성공하는 반면 노이즈 또는 속도 예측에서는 실패합니다. 본 연구에서는 이러한 비대칭성이 최종 판독(readout)을 위해 노이즈 의존적 입력 변동을 깊이 방향 전체에 걸쳐 잔차 스트림(residual stream)에 보존해야 하므로, 이후 계층들이 노이즈가 섞인 표현을 바탕으로 연산하도록 강제되기 때문에 발생한다고 주장합니다. 스펙트럼상으로 집중된 깨끗한 타깃은 더 적은 부담을 주어 이후 연산을 위한 은닉 표현을 구성하는 데 더 큰 자유도를 제공합니다. 본 논문에서는 이러한 보존 요구 조건을 *잔차 스트림 부담(residual-stream burden)*이라 정의하고, 이것이 디퓨전 트랜스포머의 표현 학습을 어떻게 형성하는지 보여줍니다. 통제된 실험을 통해 활용 가능한 구조가 패치 공간에서의 스펙트럼 집중임을 확인하였으며, 지속되는 잔차 상태의 대역폭이 노이즈 예측을 위한 핵심 자원임을 밝혔습니다. 나아가 본 설명이 주 경로(main pathway)의 잔차 스트림 부담을 줄이도록 다양하게 설계된 최근의 분리형(decoupled) 픽셀 공간 아키텍처들과도 일치함을 보여줍니다. 이러한 이해를 상호 보완적인 방향에서 검증하기 위해 잔차 스트림 대역폭을 직접 확장하고 재구성하는 공간 인덱싱 하이퍼 커넥션(Spatially Indexed Hyper-Connections, SiHC)을 도입하였으며, ImageNet $256^2$에서 FID 1.71을 달성했습니다. 종합적으로 이러한 결과들은 잔차 스트림 부담이 예측 타깃과 아키텍처가 결합하여 디퓨전 트랜스포머의 표현 학습을 형성하는 핵심 메커니즘임을 규명합니다.

arXiv:2607.18130v2cs.LG

매개변수 효율적인 파인튜닝을 위한 다양체 제약 하이퍼 연결

Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning

파운데이션 모델의 파인튜닝(fine-tuning) 방법들은 대개 잔차 토폴로지(residual topology)를 고정한 채 가중치, 프롬프트, 또는 은닉 상태만을 변경합니다. 본 논문에서는 잔차 토폴로지 자체가 파인튜닝의 대상이 될 수 있는지 질문을 던집니다. 이를 연구하기 위해 최근 사전학습(pre-training)용으로 도입된 다양체 제약 하이퍼 연결(manifold-constrained hyper-connections, mHC)을 고정된 백본 파인튜닝에 맞게 적용합니다. mHC는 트랜스포머(Transformer)를 입력 의존적인 다중 스트림 잔차 아키텍처로 변환하여, 모든 서브층(sub-layer)에서 여러 스트림을 통해 표현을 라우팅합니다. 여러 mHC 변형을 살펴본 결과, 동적 잔차 라우팅이 트랜스포머를 파인튜닝할 수 있음을 확인했으나 그 역할은 사전학습과 달랐습니다. 즉, 스트림 믹싱을 보존하고 서브층이 스트림에 접근하는 방식만을 학습함으로써 손실(loss)을 개선하고 학습 가능한 매개변수(parameter)를 줄일 수 있었습니다. 종합적으로 본 연구 결과는 잔차 라우팅이 파운데이션 모델의 효율적인 파인튜닝을 위한 유망한 아키텍처 축임을 보여줍니다.

arXiv:2607.14530v1cs.LG

xHC: Expanded Hyper-Connections

xHC: Expanded Hyper-Connections

Hyper-Connections(HC)는 Transformer의 잔차 스트림(residual stream)을 $N$개의 병렬 스트림으로 확장하여, 모델 폭(width)과 깊이(depth)를 넘어서는 일종의 메모리 스케일링을 제공한다. Manifold-Constrained HC(mHC)는 대규모에서 이 공식화를 안정화한다. $N{=}1$에서 $N{=}4$까지의 큰 성능 이득은 잔차 스트림 확장이 유망한 스케일링 축임을 시사한다. 그러나 기존 HC 계열 방법은 일반적으로 $N{=}4$에서 멈춘다. 우리의 실험은 그 이유를 밝힌다: 이 지점을 넘어 mHC를 스케일링하면 성능 향상은 체감되고 학습 비용은 급격히 증가한다. 우리는 이 한계를 두 가지 병목에 기인한다고 본다: 늘어나는 스트림 수에 대한 불충분한 write-back 정보, 그리고 $N$에 대해 세제곱으로 스케일링되는 잔차 혼합(residual-mixing) 생성 비용. 두 병목을 해결하기 위해, 우리는 $N{=}4$를 넘어 의미 있는 확장을 최초로 달성한 HC 계열 방법인 xHC(Expanded Hyper-Connections)를 제안한다. xHC는 더 풍부한 write-back을 위한 시간적 특징 증강(temporal feature augmentation)과, 전체 잔차 상태에 대한 dense access를 유지하면서 $N=16$개 스트림 중 $k=4$개만 갱신하는 sparse 잔차 스트림 아키텍처를 결합한다. 18B 및 28B 전문가 혼합(MoE) 모델에서 xHC는 강력하고 일관된 다운스트림 성능 향상을 제공한다. 18B MoE 모델에서 xHC는 mHC 대비 평균 다운스트림 점수를 4.0점 향상시키며, vanilla 기준선 대비 학습 FLOPs는 소폭만 증가한다. 스케일링 법칙 실험은 vanilla와 mHC가 동일한 손실에 도달하기 위해 각각 xHC 대비 $1.50\times$, $1.19\times$의 연산량을 필요로 함을 보여준다. 실용적인 large-$N$ 학습에서는 확장된 잔차 상태에서 발생하는 메모리 트래픽 제어도 필요하다. 따라서 우리는 xHC-Flash를 도입한다. 이는 서브레이어당 메모리 트래픽을 $73.5C$에서 $40C$로 줄여, $N{=}4$에서 mHC가 요구하는 $34C$와 비슷한 수준이면서도 full xHC의 이득을 유지한다. xHC와 xHC-Flash는 함께 large-$N$ 잔차 스트림 확장을 LLM 사전학습에 효과적이고 실용적으로 만든다.

arXiv:2604.21254v3cs.LG

Hyperloop Transformers

에지 및 온디바이스 배포와 같이 메모리가 제한된 환경을 위해, Transformer 레이어를 begin/middle/end 블록으로 나누고 middle 블록만 반복 적용하는 루프드 Transformer에 hyper-connection을 결합한 Hyperloop Transformer 아키텍처를 제안한다. 240M, 1B, 2B 파라미터 규모에서 depth-matched 기존 Transformer 대비 약 50% 적은 파라미터로 동등한 성능을 달성하며, 사후학습 양자화(post-training quantization) 후에도 성능이 유지된다.