비점근적 분석을 갖춘 확장 가능한 최소 부피 단체 추정
Scalable Minimum-Volume Simplex Estimation with Non-asymptotic Analysis
한국어 초록
본 연구에서는 $K$차원 단체(simplex)의 내부에서 균등하게 추출된 $N$개의 독립항등분포(i.i.d.) 점들로부터 해당 단체를 추정하는 문제를 다룹니다. 관측치는 $K+1$개의 미지 원형(prototype)들의 볼록 결합(convex combination)입니다. 기존의 다항 시간(polynomial-time) 추정량들은 샘플당 3차(cubic) 계산량을 요구하거나 $O(NK)$ 메모리를 필요로 하여, $N\sim 10^6$--$10^8$ 규모에서는 비실용적입니다. 본 논문에서는 최소 부피 원리를 신경 암시적 형태(neural implicit form)로 재표현한 DeepMVSA를 제안합니다. 경량 좌표 네트워크(coordinate network)가 혼합 가중치를 생성하고 삼각 LU 형태의 매개변수화가 쌍대 단체 행렬을 생성함으로써, 학습 가능한 상태 메모리를 $N$과 무관한 $O(K^2)$으로 줄이고 데이터 1회 패스당 비용을 $O(NK^2)$으로 감소시킵니다. 본 연구는 국소화된 대리 추정량에 대해 다항 시간 벤치마크 차수의 비점근적(non-asymptotic) 샘플 복잡도 경계를 증명합니다. 또한 부피 팽창 제어 및 명시적 축소 바이어스를 갖춘 신경망 목적 함수의 모든 전역 최소해(global minimizer)에 대한 오라클 부등식, 명시적 포락선 사건(envelope event)에서 통계적, 근사, 최적화(optimization) 및 포함 잔차 항을 분리하는 조건부 종단간(end-to-end) 오차 예산, 그리고 두 점 하한(two-point lower bounds)을 증명합니다. 즉, $N$과 무관하게 고정된 임의의 노이즈 수준 $\sigma>0$에서 $N^{-1/2}$ 스케일링(scaling)은 $N$ 지수 측면에서 개선될 수 없음을 보입니다. 최대 $N=10^8$개의 합성 관측치를 사용한 실험은 예측된 정확도 및 스케일링과 일치하며, 약 $10^7$ 픽셀의 실제 장면에 대한 실현 가능성을 입증합니다.
원문 초록
We study the estimation of a $K$-dimensional simplex from $N$ i.i.d.\ points sampled uniformly from its interior; the observations are convex combinations of $K+1$ unknown prototypes. Existing polynomial-time estimators need cubic per-sample work or $O(NK)$ storage and are impractical at $N\sim 10^6$--$10^8$. We propose DeepMVSA, which re-expresses the minimum-volume principle in neural implicit form: a lightweight coordinate network generates the mixing weights and a triangular LU-type parameterization the dual simplex matrix, reducing the trainable-state memory to $O(K^2)$, independent of $N$, and the cost per data pass to $O(NK^2)$. We prove a non-asymptotic sample-complexity bound of the polynomial-time benchmark order for a localized surrogate estimator; an oracle inequality for every global minimizer of the neural objective, with volume-inflation control and an explicit shrinkage bias; a conditional end-to-end error budget separating statistical, approximation, optimization, and enclosure-residual terms on an explicit envelope event; and two-point lower bounds: at any noise level $\sigma>0$ fixed independently of $N$, the $N^{-1/2}$ scaling is unimprovable in its $N$-exponent. Experiments with up to $N=10^8$ synthetic observations are consistent with the predicted accuracy and scaling, and feasibility on real scenes of $\sim 10^7$ pixels is demonstrated.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.25576v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적응형 커버리지와 집중 샘플링을 통한 효율적인 신경장 학습
Efficient Neural Field Learning via Adaptive Coverage and Focused Sampling
암시적 신경 표현(Implicit Neural Representations, INR)은 고차원 연속 필드(continuous field)를 모델링하기 위한 유연한 프레임워크를 제공하지만, 공간적 이질성을 무시하는 균일한 서브샘플링으로 인해 학습 효율이 떨어지는 경우가 많습니다. 기존의 적응형 샘플링 방법들은 높은 오차를 보이는 샘플에 우선순위를 두어 이 문제를 부분적으로 해결하지만, 일반적으로 포인트 수준에서 작동하므로 국소적 영역에서의 중복 샘플링과 도메인의 불충분한 커버리지를 초래하곤 합니다. 본 논문에서는 커버리지와 중요도를 분리함으로써 학습 효율을 향상시키는 구조화된 샘플링 프레임워크인 ACES(Adaptive Coverage-aware Efficient Sampling)를 제안합니다. ACES는 도메인 커버리지를 보장하고 중복성을 줄이기 위해 적응형 공간 분할을 구성하며, 학습 중 정보량이 많은 영역의 우선순위를 정하기 위해 영역 수준의 중요도 가중치를 적용합니다. 본 연구에서는 적응형 분할이 영역 내 균질성을 증가시켜 그래디언트 분산을 줄이고, 영역 수준 가중치 적용 시 제어된 바이어스가 표준 비편향 추정량 대비 최적화 효율을 향상시킬 수 있음을 이론적 분석을 통해 보여줍니다. 과학적 필드 학습 태스크에 대한 실험 결과, ACES는 균일 샘플링 및 포인트 단위 적응형 샘플링 베이스라인보다 더 빠른 수렴과 더 낮은 오차를 달성하며, 국소적 복잡성이 높은 필드에서 가장 큰 성능 향상을 보이는 것으로 나타났습니다.
가산적 양자화 표현을 통한 밴딧
Bandits via Additive Quantized Representations
맥락적 밴딧(contextual bandit)은 비선형 보상(reward) 모델링과 온라인 효율성 사이의 균형을 필요로 한다. 트리 앙상블과 신경망 기반 방법은 비선형성을 포착할 수 있지만 주기적인 재학습과 대규모 리플레이 버퍼를 필요로 한다. 선형 모델은 관측값마다 O(1) 메모리로 효율적으로 업데이트할 수 있지만, 근본적으로 선형 보상 구조에만 제한된다. 우리는 이러한 간극을 메우기 위한 표현 층(representation layer)으로 잔차 양자화(Residual Quantization, RQ)를 제안한다. 오프라인으로 학습된 RQ 코드북(codebook)은 연속적인 맥락(context)을 여러 수준에 걸친 이산적 중심점(centroid) 할당으로 매핑하며, 이 수준들은 섀도 메커니즘(shadow mechanism)을 통해 동적으로 설정된다. 이를 통해 엄격하게 제한된 메모리로 비선형 표현력을 달성하는 다양한 가산적(additive) 밴딧 알고리즘을 구현할 수 있다. 13개의 데이터셋(dataset)에 걸쳐, RQ 변형들은 13개 중 11개 데이터셋에서 비-RQ 대응 모델을 종종 큰 차이로 능가했으며, 더블링 재학습(doubling-retrain) 방식의 XGBoost 및 신경망 베이스라인과 비슷한 성능을 최대 1000배 적은 메모리로 달성했다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
Seer: 학습 속도 곡선을 위한 최대가능도 회귀
Seer: Maximum Likelihood Regression for Learning-Speed Curves
본 연구는 머신러닝 성능 모델링에 초점을 맞춥니다. 본 학위논문에서는 분류 학습 성능에 대한 실증적 관측값을 생성한 뒤, 이를 활용해 통계 모델을 구축하는 시스템인 Seer를 소개합니다. 구축된 모델은 목표 수준을 달성하는 데 필요한 학습 예제 수와 무제한의 학습 예제가 주어졌을 때 달성 가능한 최대 정확도를 예측하는 데 활용할 수 있습니다. Seer는 1) 분류 학습을 위한 최적의 제약 조건과 가장 유용한 파라미터를 구현한 모델, 2) 최대가능도(maximum-likelihood) 모델을 효율적으로 찾는 알고리즘, 3) 세 가지 실제 도메인 데이터를 통해 이러한 모델링의 실용적인 적용 가능성을 입증함으로써 기존 기술을 발전시킵니다. 논문의 전반부에서는 분류 학습 성능에 대한 우수한 최대가능도 모델이 갖추어야 할 요건을 개괄합니다. 이어서 이러한 모델에 적합한 설계 선택지를 탐색합니다. 이러한 모델 간의 선택은 비선형 프로그래밍(nonlinear programming) 문제이지만, 적절한 문제 제약 조건을 활용함으로써 효율적인 반복 알고리즘으로 해결할 수 있는 비선형 회귀(nonlinear regression) 문제로 단순화됩니다. 논문의 후반부에서는 대두 질병, 심장병, 청각 이상 도메인에서 수행된 약 100건의 실험을 설명합니다. 테스트 결과 Seer가 학습 성능을 규명하는 데 매우 뛰어나며, 학습 성능 예측에서도 가능한 최고 수준의 성능을 보이는 것으로 나타났습니다. 마지막으로 특정 상황에 적합한 회귀 모델 선택을 위한 권장 사항을 제시하고 향후 연구 방향을 명시합니다.
GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습
GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.
머신러닝을 활용한 재귀적 상태 추정에서 근사 솔버의 수리 가능성
Repairability of Inexact Solvers in Recursive State Estimation with Machine Learning
재귀적 상태 추정은 종종 피드백 루프 안에서 근사적인 수치 해를 실행하며, 국소적으로 매우 정확한 단계가 전체적으로 더 나은 결과를 보장하지는 않는다. 고정된 선형 Kalman 모델에 대해, 규정된 부분공간과 노름 예산 내 보정이 국소 허용 가능성 허용 오차를 충족할 수 있는 조건을 특성화하고, 실제로 실행된 결함이 유한 구간 공분산 응답에 미치는 영향을 분석한다. 구현된 공분산에 대한 정확한 이득(gain)을 중심으로 각 결함을 두면 현재 솔브 오류와 상속된 이득 드리프트를 분리할 수 있다. 정확한 잔차-드리프트 항등식을 전개하면 2차 응답을 넘어 상반되는 4차 기여가 드러난다. 혁신(innovation) 공분산 팽창은 양의 방향으로, 국소 이득 재최적화는 음의 방향으로 작용한다. 일치하는 초기화 하에서, 고정 구간에서 유계 결함 열에 대해 균일한 절대 6차 나머지 상한은 2차 과소 또는 과대 예측에 대한 충분 조건을 제공한다. 머신러닝은 유계 보정을 제안하고, 학습기에 독립적인 잔차 증명서(residual certificate)와 검증된 폴백(fallback)이 기준 추정기를 바꾸지 않은 채 고전 및 양자 후보의 실행을 관장한다. 전력망 허용 오차 연구에서, 학습된 보정은 동일한 잔차 증명서 하에서 보정되지 않은 솔브에 비해 폴백 없이 배포할 때 최소 �共轭梯度(conjugate-gradient) 반복 횟수를 낮춘다. 변분 양자 선형 솔버와 어닐링 기반 이진 인코딩으로 재구성된 이득은 초전도 하드웨어上的 소규모 단말 측정과 양자 어닐러(quantum annealer)上的 샘pling을 거쳐 동일한 인터페이스로 실행된다. 국소 수리 가능성을 비선형 오류 전파와 연결함으로써, 이 프레임워크는 독립적 인증과 유한 구간 응답을 통해 근사 솔버와 학습된 보정을 평가하며, 하이브리드 양자-고전 계산 연구를 위한 실용적 토대를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.