멀티모달 분류기는 특정 모달리티가 결합 예측(joint prediction)을 지배하여 다른 모달리티의 학습을 억제하는 모달리티 지배적 해로 수렴할 수 있습니다. 기존의 불균형 완화 방법들은 주로 손실, 그래디언트(gradient) 또는 모달리티 기여도를 조정하며, 모달리티 불균형을 주로 최적화(optimization) 문제로 취급하는 동시에 취약한 모달리티를 최적화가 덜 되었을 뿐 표현적으로는 온전하다고 암묵적으로 간주합니다. 본 연구에서는 지속적인 모달리티 지배가 취약한 모달리티의 표현 수준 붕괴를 유발할 수 있으므로 이러한 가정이 항상 성립하지는 않음을 발견하고, 이를 다양체 모달리티 붕괴(manifold modality collapse, MMC)라고 명명합니다. MMC는 취약한 모달리티의 표현이 각 클래스 내에서 더 적은 방향으로 붕괴되고 클래스 간 구분이 어려워지는 결합된 기하학적 퇴보로 나타납니다. 이러한 관찰에 착안하여, 본 논문은 이 두 가지 기하학적 특성을 모니터링하고 MMC 징후를 보일 때만 취약한 모달리티 표현을 재구성하는 기하학 인지 프레임워크인 GeoBalance를 제안합니다. 일단 작동되면 GeoBalance는 고정된 Simplex-ETF 클래스 스캐폴드(scaffold)와 스펙트럼 정규화(regularization)를 사용하여 소수의 특징(feature) 방향으로의 붕괴를 방지하면서 클래스 분리도를 복원합니다. 결합 학습(joint training) 중에 재구성을 보존하기 위해 비대칭 그래디언트 투영은 재구성과 충돌하는 결합 그래디언트 성분을 제거하고 충돌하지 않는 최적화는 그대로 유지합니다. 6개의 멀티모달 벤치마크(benchmark)에 걸친 광범위한 실험을 통해 경쟁력 있는 불균형 완화 방법 대비 큰 폭의 성능 향상을 입증함으로써 그 효과를 검증합니다.
해석적 지속 학습(Analytic Continual Learning, ACL)은 그래디언트 기반 접근법에 대한 계산 효율적인 대안을 제공한다. 최근 ACL 방법은 재귀 최소자승(Recursive Least Squares, RLS)에 기반하며, 다른 대안들과 비교해 최첨단(state-of-the-art) 결과를 달성했다. 그러나 롱테일(long-tailed) 분포가 특징인 클래스 증분 학습(Class-Incremental Learning, CIL) 시나리오에서는 크게 부진한다. 자기상관(Gram) 행렬의 불량 조건화(ill-conditioning)는 RLS의 알려진 한계이지만, 우리는 클래스 불균형이 이 문제를 뚜렷한 스펙트럼 병리(spectral pathology)로 악화시킴을 보인다: "꼬리(tail)" 클래스는 심각한 스펙트럼 붕괴(spectral collapse)를 겪어, 그 부분공간(subspace)이 수치적으로 잡음과 구별할 수 없게 된다. 표준 릿지 회귀(Ridge Regression, $L_2$)는 등방성 정규화(isotropic regularization)를 적용하기 때문에 이를 효과적으로 해결하지 못한다 — 이는 머리(head) 클래스를 과도하게 축소하지 않고 꼬리를 안정화하기에 불충분한 균일한 페널티이다. 이를 해결하기 위해, 우리는 롱테일 학습을 스펙트럼 정규화 문제로 다루는 이론적으로 정당화된 프레임워크인 Geometry-Spectral Rectification(GSR)을 제안한다. 모든 고유값을 균일하게 페널티하는 표준 등방성 정규화(릿지)와 달리, GSR은 이방성(anisotropic) 스펙트럼 필터로 작동하여 꼬리 클래스의 붕괴된 고유값을 선택적으로 팽창(inflate)시킨다. 우리는 Gram 행렬의 붕괴된 꼬리 고유방향(eigen-direction)을 선택적으로 팽창시키는 구조화된, 데이터 의존적 스펙트럼 섭동 행렬 $Δ$를 구성한다. 이론적 분석은 GSR이 Gram 행렬의 안정 순위(stable rank)를 개선함을 보장하여 수치적 안정성을 확보함을 증명한다. 광범위한 실험은 GSR이 해석적 CIL에서 새로운 최첨단을 수립하며, 롱테일 설정에서 계산 효율성과 견고한 일반화(generalization) 사이의 우수한 트레이드오프를 제공함을 보여준다.
과매개변수화 선형 회귀에서, 많은 약한 스펙트럼 방향은 신호를 담는 스펙트럼에 릿지 패널티처럼 작용한다. 음수 릿지는 필터를 1 위로 밀어 올리는 자연스러운 보정이다. 그러나 안정적인 음수 릿지 엔드포인트는 구조적으로 한계가 있다: 그 극은 0이 아닌 최소 경험적 고유값 아래에 머물러야 하며, 더 작은 고유값을 더 큰 고유값보다 더 강하게 반수축(anti-shrink)한다. 조기 종료 음수 이동 경사하강법은 이 제약을 벗어난다. 그 필터는 예정된 극에서 매끄럽고 혼합 부호를 허용한다: 릿지리스(ridgeless) 이상 방향은 선행 접두를 형성하고, 더 낮은 방향은 수축되거나 노출(exposure)이 제어되며, 종료 시점이 교차점을 설정한다. 가우시안 스파이크-플랫(spike-plus-flat) 모델에서 Marchenko-Pastur 장벽을 발견한다: 암시적 패널티를 상쇄하는 이동(shift)은 최소 경험적 고유값 위 bulk 폭(bulk width)에 위치하며, 명시적 조건 하에서 종료된 경로는 모든 허용 가능한 엔드포인트 대비 위험(risk)에서 다항식 계수만큼 개선한다. 주요 정리는 일반적인 고유효순위(high-effective-rank) 꼬리를 허용한다: 그 trace가 암시적 하한(floor)을 설정하고, 제곱 스펙트럼이 노출을 제어하며, 하한 임계(floor-critical) 경로는 양의 수축(positive shrinkage)을 넘어 한꺼번에 모든 head 스케일을 복원하고, 스케일이 분리되면 릿지리스의 모든 균일 재스케일링까지도 포함한다. 비수축(noncontractive) 이동 동역학을 다루는 것이 핵심 기술적 과제이며, 국소화된 Duhamel 적분이 이를 제어한다. 유한 격자 홀드아웃(hold-out) 부등식이 분리(separations)를 검증으로 선택된 알고리즘으로 전달한다.
Latent diffusion models pair VAEs with diffusion backbones, and the structure of VAE latents strongly influences the difficulty of diffusion training. However, existing video VAEs typically focus on reconstruction fidelity, overlooking latent structure. We present a statistical analysis of video VAE latent spaces and identify two spectral properties essential for diffusion training: a spatio-temporal frequency spectrum biased toward low frequencies, and a channel-wise eigenspectrum dominated by a few modes. To induce these properties, we propose two lightweight, backbone-agnostic regularizers: Local Correlation Regularization and Latent Masked Reconstruction. Experiments show that our Spectral-Structured VAE (SSVAE) achieves a $3\times$ speedup in text-to-video generation convergence and a 10\% gain in video reward, outperforming strong open-source VAEs. The code is available at https://github.com/zai-org/SSVAE.
그로킹(Grokking)은 신경망이 처음에는 학습 데이터를 암기하다가 장기간의 최적화 이후에야 강한 일반화를 나타내는 현상이다. 최근 광범위한 연구에도 불구하고, 그로킹의 발생과 시점에 영향을 미치는 요인들은 아직 완전히 이해되지 않았다. 우리는 표현 기하학과 지연된 일반화 사이의 관계를 조사한다. 모든 평가 환경에서 차원 붕괴(dimensionality collapse)가 그로킹 발생에 일관되게 선행함을 발견하였다. 이러한 관찰에 동기를 얻어, 우리는 학습 중 은닉 표현의 유효 차원수를 수정하는 단순한 스펙트럼 정규화 기법인 기하학적 차원 정규화(GeomDR, Geometric Dimensionality Regularization)를 도입한다. 모듈식 덧셈, 모듈식 나눗셈, 순열 합성 태스크 전반에 걸쳐, GeomDR은 그로킹 동역학을 일관되게 변화시키며, 개입 일정과 목표 차원수에 따라 일반화 발생 시점을 크게 앞당길 수 있다. 일부 환경에서는 표준 AdamW 학습 대비 최대 52배까지 그로킹이 가속화된다. 다층 퍼셉트론과 트랜스포머 모두에서 질적으로 유사한 효과가 관찰된다. 이러한 결과들은 종합적으로, 표현 기하학이 그로킹에 대한 효과적인 제어 신호로 기능할 수 있음을 시사하며, 기하학적 개입이 신경망의 지연된 일반화를 연구하고 영향을 미치는 실용적인 접근법을 제공한다는 증거를 제시한다.
무작위 실험 설계를 가진 통계적 역문제(statistical inverse problems)에서 스펙트럼 정규화, 투영 정규화, 볼록 페널티 정규화 등 다양한 정규화 기법의 최근 성과를 선형 및 비선형 문제에 걸쳐 체계적으로 개관한다. 재생 커널 힐베르트 공간(reproducing kernel Hilbert spaces) 구조를 활용해 미니맥스(minimax) 최적 수렴 속도를 도출하고, 약동학/약력학(PK/PD) 모델의 비선형 역문제에 이를 적용하는 사례를 제시한다.
잠재 확산(Latent diffusion)과 플로우 매칭(flow matching)은 합성 난류 생성을 위한 주요 접근 방식으로 부상했으나, 소산 범위(dissipation-range) 진폭을 체계적으로 과소 표현합니다. 우리는 이러한 실패 모드를 직접적으로 목표로 하는 스펙트럴 정규화된 압축 단계를 갖춘 잠재 플로우 매칭 프레임워크를 소개합니다. Re_f \approx 2250의 256^2 DNS 데이터셋에서, MSE 학습 VAE를 영역 가중 로그 스펙트럼 목적함수로 교체하면 재구성 시 심층 소산 유지 스펙트럼 파워가 25%에서 94%로, 비조건부 생성 시 20%에서 79%로 증가합니다. 개선된 잠재 표현은 또한 훨씬 더 나은 샘플링 비용-충실도 트레이드오프를 제공합니다. MSE 학습 잠재 공간은 어떤 적분기나 스텝 수도 극복할 수 없는 DD 바이어스 -0.70 근처의 근본적인 품질 천장을 부과하는 반면, 스펙트럴 정규화된 잠재 공간은 단 20회의 함수 평가만으로 DD 바이어스 -0.117에 도달합니다. 기작적으로, 인코더-디코더 스왑 실험은 개선이 주로 디코더 용량이 아닌 인코더 유도 잠재 재구성에 의해 주도됨을 보여줍니다. 반면 지지-진폭 분해는 MSE 학습 모델이 간헐적 고파수 구조를 감쇠시켜 점별 오차를 최소화하는 보수적 억제 모델로 작동함을 밝혀냅니다. 두 파이프라인 모두 2차 구조 함수와 S_3의 올바른 부호를 복원하여, 명시적 감독 없이 올바른 캐스케이드 방향을 나타냅니다. S_3 크기의 작은 잔차 격차는 위상 일치 삼중 조직이 미래 생성 난류 모델에서 진폭 충실도에 대한 보완적 축으로 남아 있음을 시사합니다.
모델 병합(model merging)은 학습 데이터 없이 독립적으로 파인튜닝된 여러 전문가(expert)를 단일 멀티태스크 모델로 결합하여, 대규모 파운데이션 모델의 저장, 서빙, 분산 개발 비용을 절감합니다. 최첨단 병합 방법들은 병합을 층(layer)별 이차 간섭 최소화 문제로 공식화합니다. 이 문제는 정확한 닫힌 형식 의사 역행렬 해를 가지지만, 실제로는 수백 번의 경사하강법(gradient descent) 반복보다 성능이 낮습니다. 반복 루프는 파이프라인 비용의 대부분을 차지하지만, 그 효과에 대해서는 설명되지 않았습니다. 우리는 이 영역을 다시 살펴보고, 반복 솔버가 주로 옵티마이저(optimizer)로 작용하는 것이 아니라, 층별 간섭 연산자의 작은 고유값 방향이 대리 노이즈를 증폭시키는 부적절한(ill-posed) 정규 방정식에 대한 암시적 스펙트럼 정규화기(regularizer) 역할을 한다는 것을 보여줍니다. 이 발견을 바탕으로 우리는 멀티태스크 모델 병합을 노이즈가 있는 선형 역문제로 공식화하고, 방향별 필터에 의해 매개변수화된 스펙트럼 필터링 추정기를 제안합니다. 우리는 SWUDI를 통해 이 추정기를 구체화합니다. SWUDI는 반복 하강의 그래디언트 흐름 궤적과 일치하는 부드러운 지수 필터와 노이즈를 증폭하는 작은 고유값 방향을 억제하는 경직된(hard) top-K 절단을 결합한 닫힌 형식의 방법입니다. 또한, 전역 랭크 하이퍼파라미터(hyperparameter)를 층별 랭크 규칙으로 대체하여 아키텍처 전반의 견고성을 더욱 향상시키는 적응형 변형인 SWUDI-A를 제안합니다. 두 변형 모두 선형 계층(linear layer)당 단일 대칭 고유분해를 공유하며, 학습 데이터(training data)나 옵티마이저(optimizer) 상태가 필요하지 않습니다. VQA, 기하학(Geometry), 차트(Chart), OCR, 그라운딩(grounding), 모달리티 병합을 아우르는 4개의 일반 벤치마크와 멀티모달 병합 벤치마크에서, 제안된 스펙트럼 솔버는 최첨단 병합 방법과 대등하거나 더 우수한 성능을 보입니다. 무엇보다 중요한 것은, 실제 소요 시간(wall-clock time)을 28~72배 단축하고 최대 GPU 메모리 사용량을 최대 50%까지 감소시킨다는 점입니다.