Mixed Regression via Approximate Message Passing
원문 초록
We study the problem of regression in a generalized linear model (GLM) with multiple signals and latent variables. This model, which we call a matrix GLM, covers many widely studied problems in statistical learning, including mixed linear regression, max-affine regression, and mixture-of-experts. In mixed linear regression, each observation comes from one of $L$ signal vectors (regressors), but we do not know which one; in max-affine regression, each observation comes from the maximum of $L$ affine functions, each defined via a different signal vector. The goal in all these problems is to estimate the signals, and possibly some of the latent variables, from the observations. We propose a novel approximate message passing (AMP) algorithm for estimation in a matrix GLM and rigorously characterize its performance in the high-dimensional limit. This characterization is in terms of a state evolution recursion, which allows us to precisely compute performance measures such as the asymptotic mean-squared error. The state evolution characterization can be used to tailor the AMP algorithm to take advantage of any structural information known about the signals. Using state evolution, we derive an optimal choice of AMP `denoising' functions that minimizes the estimation error in each iteration. The theoretical results are validated by numerical simulations for mixed linear regression, max-affine regression, and mixture-of-experts. For max-affine regression, we propose an algorithm that combines AMP with expectation-maximization to estimate intercepts of the model along with the signals. The numerical results show that AMP significantly outperforms other estimators for mixed linear regression and max-affine regression in most parameter regimes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TinyUDE: 리-테일러 제트 매칭을 통한 마이크로컨트롤러 기반의 솔버 없는 범용 미분 방정식
TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching
범용 미분 방정식(UDE) 학습(training)은 전통적으로 수치적 ODE 솔버를 통한 역전파에 의존하므로, 엣지 마이크로컨트롤러의 성능을 크게 초과하는 메모리 사용량을 발생시킵니다. 본 논문에서는 관측된 시스템 상태의 1차 및 2차 시간 도함수(derivative)에 하이브리드 벡터장을 직접 피팅하는 솔버 없는(solver-free) 학습 프레임워크인 리-테일러 제트 매칭(Lie-Taylor jet matching)을 제시합니다. 절단된 리-테일러 제트(truncated Lie-Taylor jet)인 이러한 도함수는 사비츠키-골레이(Savitzky-Golay) 필터링을 통해 온디바이스에서 온라인으로 추정되며, 자동 미분 소프트웨어 없이도 완전한 해석적 그래디언트를 생성합니다. 본 연구는 동일한 동역학, 노이즈 모델, 네트워크 아키텍처 및 평가 지표를 공유하는 기존 기준선(baseline)(고정 스텝 RK4 적분, 다중 슈팅, 정확한 이산 수반 변수법, Adam)과 비교하여 솔버를 제거하는 것이 정확도를 저하시키는지 평가합니다. 단순한 도함수 매칭은 센서 노이즈 환경에서 성능이 저하되지만, 본 연구의 노이즈 적응형 메커니즘인 전비율 위상 천이 샘플링, 레저버 버퍼, 가중치(weight) 평균화를 적용한 코사인 어닐링 최적화(optimization), 온디바이스 노이즈 추정, 다항식 미스핏 품질 게이팅을 통해 이러한 격차를 해소하고 역전시킵니다. 감쇠 진자 및 혼돈 이중 진자 실험에서, 제안하는 방법은 동일한 데이터 윈도우에서 기준선 정확도와 일치하거나 이를 능가하며 모델링되지 않은 감쇠 계수를 복원합니다. 0%에서 5%까지의 노이즈 수준 전반에서, 수 메가바이트의 솔버 테이프와 비교해 108 kB의 정적 메모리 내에서 기준선의 0.65배에 해당하는 기하평균 상대 필드 오차를 달성합니다. ESP32 마이크로컨트롤러에서의 온디바이스 실행은 61.3 kB의 정적 메모리와 업데이트당 7.24 ms(25 Hz에서 18.1% 듀티 사이클) 내에서 0.0020의 필드 오차에 도달하고 감쇠 계수를 c = 0.400(실제값 0.400)으로 복원하여, 수치 솔버 없이도 실시간 온디바이스 학습이 실현 가능함을 입증합니다.
Moonworks Lunara: 예술적 지능(Artistic Intelligence) 모델링
Moonworks Lunara: Modeling Artistic Intelligence
우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.
MMOE: 효율적 전문가 설계를 통한 확산 트랜스포머의 현대화
MMOE: Modernizing Diffusion Transformers with Efficient Expert Design
현대의 대규모 언어 모델(LLM)은 용량 증가와 효율성을 병행함으로써 성공적으로 스케일링하며, 용량이 커질수록 토큰당 비용과 배포 비용을 통제합니다. AIGC 기반 모델(AFM), 특히 확산-트랜스포머 백본은 희소 전문가를 도입하기 시작했지만, 최근 연구들은 대부분 LLM 스케일링을 실용적으로 만든 효율성 메커니즘을 가져오지 않은 채 총 매개변수 수와 희소성 비율만 키우는 데 그쳐, 생성 품질이 학습 및 배포 비용과 균형을 이루는 경우가 드뭅니다. 이는 자연스러운 질문을 제기합니다: 효율적인 LLM 스케일링 뒤에 있는 아키텍처 원칙을 AFM에 더 균형 잡힌 방식으로 적용할 수 있을까? 우리는 ModernMOE(MMOE)를 제안합니다. 이는 라우팅 전문가, 공유 및 경량 전문가, 게이트-잔차 라우팅, 어텐션-잔차 정보 재사용을 AIGC 생성에 체계적으로 적용한 SiT 스타일 확산 트랜스포머의 현대화입니다. 전문가 혼합(MoE)을 단일 플러그인 대체로 취급하기보다, MMOE는 확산 트랜스포머 내부에 구성했을 때 서로 다른 현대적 전문가 구성 요소가 수렴, 효율성, 생성 품질에 어떤 영향을 미치는지 연구합니다. 본 논문의 모든 실험은 접근 가능한 단일 머신 예산으로, 단일 8-GPU H100 노드에서 배치 크기 256으로 40만 스텝 동안 학습되었습니다. 동일한 학습 및 샘플링 프로토콜과 이 예산 하에서, MMOE는 기록된 모든 체크포인트에서 더 낮은 FID, 즉 학습 스텝당 더 빠른 수렴을 밀집(dense) 및 중간 희소-전문가 베이스라인보다 달성하며, 희소 변형들 중에서 최상의 품질-비용 균형을 이룹니다. 라우팅 분석은 또한 깊이에 걸친 안정적인 전문가 특화, 경량 경로의 상당한 사용, 디노이징 중 단계 간 라우팅 변화의 적절한 수준을 보여줍니다. 이 결과는 AFM이 총 매개변수와 희소성 비율을 단순히 늘리는 것이 아니라 검증된 효율성 설계를 도입함으로써 LLM의 균형 잡힌 스케일링 경로를 따를 수 있음을 시사합니다.
eDifFIQA: Towards Efficient Face Image Quality Assessment Based On Denoising Diffusion Probabilistic Models
From Simulated to Visual Data: A Robust Low-Rank Tensor Completion Approach using lp-Regression for Outlier Resistance
Mesh Denoising via Cascaded Normal Regression
토론
이 논문과 연결된 포럼 글이 아직 없습니다.