루프드 트랜스포머의 잔차 스케일링: 안정성과 전이성
On the Residual Scaling of Looped Transformers: Stability and Transferability
한국어 초록
루프드(가중치 공유) 트랜스포머는 공유된 잔차 블록을 $N$번 적용($h \leftarrow h + \varepsilon\,f(h)$, 각 단계에서 동일한 $f$)하여 파라미터를 추가하지 않고 유효 깊이를 늘립니다. 기존 깊이 스케일링 분석에서는 깊이가 $L$인 잔차 네트워크에 대해 $\varepsilon = 1/\!\sqrt{L}$을 제안합니다. 우리는 이것이 루프드 아키텍처에서는 불충분함을 보여줍니다. 가중치 공유로 인해 반복 간 잔차 업데이트에 상관관계가 발생하므로, 더 강한 스케일링인 $\varepsilon = 1/N$이 필요합니다. 다층 블록($L$개의 고유 층이 $N$번 반복)의 경우, 우리는 성장의 두 가지 요인을 분리하는 인자화된 파라미터화 $\varepsilon = λ/(N\!\sqrt{L})$를 유도합니다. 여기서 $1/N$은 층 내 루프 상관관계를 제어하고, $1/\!\sqrt{L}$은 층 간 분산을 제어합니다. 핵심적인 결과는 최적 학습률이 루프 횟수 $N$이 아닌 고유 층의 수 $L$에만 의존한다는 점으로, 이를 통해 재조정 없이 작은 $N$에서 큰 $N$으로 하이퍼파라미터를 직접 전이할 수 있습니다. 루프드 트랜스포머에 대한 실험을 통해 $1/N$ 스케일링이 학습 가능성을 향상시키며, 다양한 루프 횟수에서 $1/\!\sqrt{N}$ 스케일링보다 더 나은 손실을 보임을 확인했습니다.
원문 초록
Looped (weight-tied) Transformers apply a shared residual block $N$ times ($h \leftarrow h + \varepsilon\,f(h)$, same $f$ at each step), increasing effective depth without adding parameters. Prior depth-scaling analyses prescribe $\varepsilon = 1/\!\sqrt{L}$ for depth-$L$ residual networks. We show that this is insufficient for looped architectures: weight sharing makes residual updates correlated across iterations, requiring the stronger scaling $\varepsilon = 1/N$. For multi-layer blocks ($L$ unique layers looped $N$ times), we derive a factored parameterization $\varepsilon = λ/(N\!\sqrt{L})$ that separates the two sources of growth: $1/N$ controls the within-layer loop correlation, and $1/\!\sqrt{L}$ controls the across-layer variance. A key consequence is that the optimal learning rate depends only on the number of unique layers $L$, not on the loop count $N$, enabling direct hyperparameter transfer from small to large $N$ without retuning. Experiments on looped Transformers confirm that $1/N$ scaling improves trainability and yields better loss than $1/\!\sqrt{N}$ scaling across loop counts.
요약
가중치 공유 Looped Transformer에서는 반복 간 잔차 업데이트가 상관되어 기존 1/√L 스케일링이 부족하므로 1/N 및 다층 블록용 ε=λ/(N√L) 파라미터화가 필요하다는 점을 이론적으로 보였다. 최적 학습률이 루프 횟수 N이 아닌 고유 층 수 L에만 의존해 작은 N에서 튜닝한 하이퍼파라미터를 큰 N으로 재조정 없이 전이할 수 있으며, 실험에서 1/N 스케일링이 1/√N보다 학습 안정성과 손실 모두에서 더 우수했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18524v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
루프형 트랜스포머(Looped Transformer)에서 공유 메모리의 놀라운 효과
The Surprising Effectiveness of Shared Memory in Looped Transformers
루프형 트랜스포머(Looped Transformer)는 토큰당 동일한 레이어를 여러 번 적용하여, 파라미터 수를 늘리지 않고도 연산량을 추가해 품질을 향상시킨다. 그러나 각 재귀(recursion)는 자체적인 키-값 캐시(key-value cache)를 기록하기 때문에, 메모리는 여전히 연산량에 비례해 증가한다. 추론(inference) 시점 기법들은 품질을 희생하는 대신 이 캐시를 줄일 수 있다. 우리는 메모리를 공유하도록 루프형 언어 모델을 사전학습(pre-training)한다: 오직 첫 번째 재귀만 캐시를 기록하고, 이후의 재귀들은 자신만의 짧은 윈도우를 유지하면서 이를 읽는다. 놀랍게도, 우리는 메모리 공유가 품질을 희생시키지 않으며 오히려 품질을 향상시킨다는 것을 발견했다. 1억 5천만~10억 개의 파라미터 규모에서, 우리의 루프형 예측 트랜스포머(Looped Prediction Transformer, LPT)와 그 하이브리드(hybrid) 변형은 루프형 모델에 대한 새로운 품질-메모리 프런티어를 제시한다: 다섯 번의 재귀를 사용할 때, 하이브리드 모델은 동일한 크기의 표준 트랜스포머에 비해 FineWeb-Edu에서의 검증(validation) 퍼플렉시티(perplexity)를 1.12~1.82만큼 낮추면서도 컨텍스트 메모리 사용량을 76~79% 줄인다. 광범위한 분석을 통해, 우리는 메모리 공유가 어떻게 도움이 되는지 조사한다. 공유 메모리와 로컬 메모리는 서로 다른 표현을 형성하며, 이후의 재귀들은 주로 공유 메모리에 주의를 기울이는데, 이 공유 메모리는 또한 첫 번째 재귀로 향하는 그래디언트(gradient) 하이웨이 역할을 한다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
Mizar: 오디오 이해를 위한 159M 매개변수 오디오-언어 모델
Mizar: A 159M-Parameter Audio-Language Model for Audio Understanding
오디오-언어 모델(ALM)은 언어 모델에 인코딩된 지식과 음향 인지를 통합하여 청각 이벤트의 문맥적 이해를 가능하게 한다. 메모리와 연산이 제한된 기기에서 이러한 능력을 실용화하려는 목표가 200M 매개변수 미만의 소형 ALM에 대한 우리의 초점을 이끈다. 우리는 아키텍처, 데이터, 3단계 학습을 결합한 레시피를 제안하여 159.3M 매개변수 ALM인 Mizar를 구축한다. 그 아키텍처는 컴팩트한 CED-Small 오디오 인코더를 주파수 병합(frequency-merging) 매퍼를 통해 SmolLM2-135M에 연결한다. ReasonAQA, AudioMCQ, AVQA에서의 지도(supervision)를 바탕으로 모델은 3단계 학습을 거친다: 오디오-언어 정렬(1단계), 오디오 의존 미세조정(2단계), 학습된 능력을 유지하면서 약한 기술을 강화하는 것을 목표로 한 사후 학습(3단계). 5개의 무작위 시드에 걸쳐 Mizar는 MMAU에서 평균 정확도 52.92%, MMAR에서 42.42%, ADQA-clean에서 36.02%를 달성하여 세 벤치마크 모두에서 200M 매개변수 미만 ALM 중 이전 최고 성능을 능가한다. 또한 단일 CPU에서 로컬 추론을 지원한다. MMAU 벤치마크 질문에 대해 오디오 파일을 연 시점부터 완전한 답변을 생성할 때까지의 평균 지연 시간은 1.09초이다. 코드와 체크포인트는 https://github.com/KaiyangLi1992/Mizar_159M 에서 이용할 수 있다.
Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정
Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters
Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.
저매개변수 직교 행렬 군을 위한 리만 구조 및 최적화
Riemannian Structure and Optimization for a Class of Low-Parametric Orthogonal Matrices
본 논문에서는 고정된 순열과 교차 배치된 블록 대각 인자들로 구성된 행렬, 즉 유연한 구조화된 행렬군(structured matrices)을 다룹니다. 이 행렬군은 표현력과 효율성 간의 균형 잡힌 절충으로 인해 최근 심층 학습(deep learning) 아키텍처에서 관심을 끌고 있으나, 이를 다루기 위한 효율적인 계산 전략은 아직 밝혀지지 않은 상태입니다. 우리는 리만 기하학(Riemannian geometry)을 통해 이 문제에 접근하며, 어떤 조건 하에서 이 행렬군이 매끄러운 다양체(smooth manifold) 구조를 갖는지 조사합니다. 실용적으로 중요한 직교 2인자 행렬의 경우, 필수적인 리만 도구들을 도출하고 이를 구현하기 위한 효율적인 알고리즘을 제안합니다. 이 알고리즘들은 자동 미분을 활용하고, 각 인자 내 매개변수(parameter) 공유를 지원하며, 명시적인 밀집 행렬 구성을 피합니다. 우리는 최적 행렬 근사 문제와 대규모 언어 모델(LLM)의 매개변수 효율적 미세조정(PEFT)에 대해 리만 최적화 프레임워크 내에서 이를 검증합니다. 2인자 설정을 넘어, 더 많은 수의 블록 대각 인자를 갖는 인수분해의 기하학적 및 행렬론적 특성도 함께 연구합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.