부피 샘플링 최소제곱법에서의 접촉 기하학과 공분산 결핍
Contact Geometry and Covariance Deficits in Volume-Sampled Least Squares
한국어 초록
우리는 고정된 설계(design)에서 일반적인 고정 크기 부피 샘플링(volume sampling) 후 비가중 최소제곱법(unweighted least squares)이 날카로운 계수-공분산 상한(ceiling)에 도달하는 경우를 분류한다. 코루프(coloop)가 없는 실수 백색화(whitened) 설계와 고정된 양의 손실 잔차(residual)에 대해, 접촉 공간(contact space)은 모든 strict-interior 샘플 크기에서 변하지 않는다. 그 가능한 0이 아닌 값들은 유한한 직교(orthogonal) 패밀리를 이룬다: 정규화된 네이마크 보완(Naimark-complement) 행들의 각 극대 평행 클래스(maximal parallel class)는 클래스 크기보다 1 작은 차원의 삭제 영공간(deletion nullspace)을 결정한다. 단일 잔차가 전체 쿼리(query)에 도달하는 것은 정확히 쿼리 범위(range)가 하나의 클래스 공간 안에 놓일 때이다. 증명은 지지된(supported) 생략 모멘트(omission moment)와 역삭제(reverse deletion)를 사용하여, 모든 정규화된 공분산 결핍을 명시적인 leave-one-out 연산자와 양방향 뢰브너(Loewner) 비교하는 것에서 시작한다. 잔차 증강(residual augmentation)은 리졸벤트(resolvent)와 2차 모멘트 상한을 제공하며, 보완 기하학(complement geometry)은 쿼리별 마진, 각도 집중(angular concentration), 지역 정렬(local alignment), 그리고 다중 출력 에너지 장애물(multi-output energy obstruction)을 산출한다. 정확한(exact) 패밀리들은 닫힌 형태(closed-form)의 마진과 공분산을 제공하고, 지지 경계 점프(support-boundary jump)를 보이며, 균일하게 양의 기하학적 마진에도 불구하고 상한에 근접한다. 마지막으로, 동일한 모멘트 항등식은 기대 고정 쿼리 제곱 손실 초과분에 대한 상한과 하한을 제공한다. 부분집합 추출(subset draw)만이 유일한 무작위성이며, 모든 지지(support) 및 끝점(endpoint) 제약은 명시적이다.
원문 초록
We classify when ordinary fixed-size volume sampling followed by unweighted least squares attains its sharp coefficient-covariance ceiling on a fixed design. For a real whitened design without coloops and a fixed positive-loss residual, the contact space is unchanged at every strict-interior sample size. Its possible nonzero values form a finite orthogonal family: each maximal parallel class of normalized Naimark-complement rows determines a deletion nullspace of dimension one less than the class size. A single residual attains an entire query precisely when the query range lies in one class space. The proof starts from two-sided Loewner comparison of every normalized covariance deficit with an explicit leave-one-out operator, using supported omission moments and reverse deletion. Residual augmentation provides resolvent and second-moment upper bounds, while complement geometry yields query-specific margins, angular concentration, local alignment, and a multi-output energy obstruction. Exact families give closed-form margins and covariances, exhibit support-boundary jumps, and approach the ceiling despite a uniformly positive geometric margin. Finally, the same moment identities give upper and lower bounds on expected fixed-query squared-loss excess. The subset draw is the only randomness; all support and endpoint restrictions are explicit.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.26877v3
- arXiv:2608.26877v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Seer: 학습 속도 곡선을 위한 최대가능도 회귀
Seer: Maximum Likelihood Regression for Learning-Speed Curves
본 연구는 머신러닝 성능 모델링에 초점을 맞춥니다. 본 학위논문에서는 분류 학습 성능에 대한 실증적 관측값을 생성한 뒤, 이를 활용해 통계 모델을 구축하는 시스템인 Seer를 소개합니다. 구축된 모델은 목표 수준을 달성하는 데 필요한 학습 예제 수와 무제한의 학습 예제가 주어졌을 때 달성 가능한 최대 정확도를 예측하는 데 활용할 수 있습니다. Seer는 1) 분류 학습을 위한 최적의 제약 조건과 가장 유용한 파라미터를 구현한 모델, 2) 최대가능도(maximum-likelihood) 모델을 효율적으로 찾는 알고리즘, 3) 세 가지 실제 도메인 데이터를 통해 이러한 모델링의 실용적인 적용 가능성을 입증함으로써 기존 기술을 발전시킵니다. 논문의 전반부에서는 분류 학습 성능에 대한 우수한 최대가능도 모델이 갖추어야 할 요건을 개괄합니다. 이어서 이러한 모델에 적합한 설계 선택지를 탐색합니다. 이러한 모델 간의 선택은 비선형 프로그래밍(nonlinear programming) 문제이지만, 적절한 문제 제약 조건을 활용함으로써 효율적인 반복 알고리즘으로 해결할 수 있는 비선형 회귀(nonlinear regression) 문제로 단순화됩니다. 논문의 후반부에서는 대두 질병, 심장병, 청각 이상 도메인에서 수행된 약 100건의 실험을 설명합니다. 테스트 결과 Seer가 학습 성능을 규명하는 데 매우 뛰어나며, 학습 성능 예측에서도 가능한 최고 수준의 성능을 보이는 것으로 나타났습니다. 마지막으로 특정 상황에 적합한 회귀 모델 선택을 위한 권장 사항을 제시하고 향후 연구 방향을 명시합니다.
쌍별 융합 멀티태스크 회귀
Multitask Regression with Pairwise Fusion
예측변수마다 계수 공유 방식이 달라질 수 있는 멀티태스크 회귀를 연구한다. 주어진 예측변수에 대해 많은 과제는 동일한 계수를 갖고 일부만 다를 수 있으며, 예외가 되는 과제는 다른 예측변수에서 반드시 같을 필요는 없다. 이 구조는 활성 예측변수의 수와, 각 예측변수에서 가장 흔한 값과 다른 과제 계수의 총 개수라는 두 양으로 기술한다. 계수 행렬은 과제 전반에 걸친 모든 쌍별 계수 차이에 페널티를 두어 추정하고, 예측변수 선택이 필요한 경우 추가 그룹 페널티를 부과한다. 도출된 상한과 하한은 이 두 양에 대해 동일한 의존성을 갖는다. 또한 많은 과제 집합이 하나의 전체 계수 벡터를 공유하는 더 강한 설정도 고려한다. 명시적인 표본 크기 조건 하에서, 동일한 쌍별 추정량은 해당 과제들을 정확히 풀링하면서 나머지 과제는 달라질 수 있게 한다. 시뮬레이션과 가구 에너지 데이터는 광범위한 공유와 과제별 계수 사이의 전환을 보여 준다.
TinyUDE: 리-테일러 제트 매칭을 통한 마이크로컨트롤러 기반의 솔버 없는 범용 미분 방정식
TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching
범용 미분 방정식(UDE) 학습(training)은 전통적으로 수치적 ODE 솔버를 통한 역전파에 의존하므로, 엣지 마이크로컨트롤러의 성능을 크게 초과하는 메모리 사용량을 발생시킵니다. 본 논문에서는 관측된 시스템 상태의 1차 및 2차 시간 도함수(derivative)에 하이브리드 벡터장을 직접 피팅하는 솔버 없는(solver-free) 학습 프레임워크인 리-테일러 제트 매칭(Lie-Taylor jet matching)을 제시합니다. 절단된 리-테일러 제트(truncated Lie-Taylor jet)인 이러한 도함수는 사비츠키-골레이(Savitzky-Golay) 필터링을 통해 온디바이스에서 온라인으로 추정되며, 자동 미분 소프트웨어 없이도 완전한 해석적 그래디언트를 생성합니다. 본 연구는 동일한 동역학, 노이즈 모델, 네트워크 아키텍처 및 평가 지표를 공유하는 기존 기준선(baseline)(고정 스텝 RK4 적분, 다중 슈팅, 정확한 이산 수반 변수법, Adam)과 비교하여 솔버를 제거하는 것이 정확도를 저하시키는지 평가합니다. 단순한 도함수 매칭은 센서 노이즈 환경에서 성능이 저하되지만, 본 연구의 노이즈 적응형 메커니즘인 전비율 위상 천이 샘플링, 레저버 버퍼, 가중치(weight) 평균화를 적용한 코사인 어닐링 최적화(optimization), 온디바이스 노이즈 추정, 다항식 미스핏 품질 게이팅을 통해 이러한 격차를 해소하고 역전시킵니다. 감쇠 진자 및 혼돈 이중 진자 실험에서, 제안하는 방법은 동일한 데이터 윈도우에서 기준선 정확도와 일치하거나 이를 능가하며 모델링되지 않은 감쇠 계수를 복원합니다. 0%에서 5%까지의 노이즈 수준 전반에서, 수 메가바이트의 솔버 테이프와 비교해 108 kB의 정적 메모리 내에서 기준선의 0.65배에 해당하는 기하평균 상대 필드 오차를 달성합니다. ESP32 마이크로컨트롤러에서의 온디바이스 실행은 61.3 kB의 정적 메모리와 업데이트당 7.24 ms(25 Hz에서 18.1% 듀티 사이클) 내에서 0.0020의 필드 오차에 도달하고 감쇠 계수를 c = 0.400(실제값 0.400)으로 복원하여, 수치 솔버 없이도 실시간 온디바이스 학습이 실현 가능함을 입증합니다.
이중 인코더 트랜스포머를 통한 위성 복사휘도 기반 행성경계층 고도 추정
PBLH Estimation from Satellite Radiances via a Dual-Encoder Transformer
위성 관측으로부터 행성경계층 고도(PBLH)를 추정하는 것은 대기 상단 복사휘도(top-of-atmosphere radiances)와 지표 부근 대기 구조 간의 간접적인 관계로 인해 까다로운 회귀 문제입니다. 위성 통과 데이터의 멀티모달 특성과 공간적 불완전성을 처리할 수 있는 아키텍처의 부재, 그리고 적절한 데이터셋의 부족으로 인해 그동안 발전이 제한적이었습니다. 본 논문에서는 이전 연구에서 소개한 MetOp 복사휘도와 ERA5 PBLH 레이블을 결합한 대규모 데이터셋을 기반으로 세 가지 기여를 제시합니다. 첫째, 픽셀 단위 회귀, 관측폭(swath) 단위 시퀀스 모델, 그리고 전체 궤도 통과 영역에서 작동하는 합성곱 및 트랜스포머 모델을 아우르는 8가지 접근법에 걸쳐 벤치마크를 구축합니다. 둘째, 입력 블록에 대한 그룹화된 샤플리 분해(grouped Shapley decomposition)를 사용하여 결과 모델이 실제로 무엇에 의존하는지 정량화합니다. 셋째, 마스킹된 입력 처리 방식을 통해 전천후 조건에서 작동할 수 있는 최적의 성능을 가진 아키텍처인 이중 인코더 트랜스포머를 제시합니다. 제안된 모델은 별도로 분리된 글로벌 테스트 세트에서 MAE = 155.8 m를 달성하여 모든 평가 하위 집합에서 모든 기준선(baseline)을 능가했습니다. TEAMx 관측 캠페인과 겹치는 이틀 동안 획득된 30개의 분포 외(out-of-distribution) 그래뉼(granule)에서도 MAE = 165.3 m를 달성하여 동일한 데이터로 학습된 픽셀 단위 기준선(MAE = 197 m)을 능가했습니다.
반복 측정 데이터를 위한 일반화된 딥 회귀
Generalized Deep Regression for Repeated Measurements
본 논문에서는 렐루(ReLU) 심층 신경망을 사용하여 반복적인 이진, 계수(count) 또는 연속형 반응을 갖는 독립적인 단위(unit)들로부터 주변 회귀 함수(marginal regression function)를 추정하는 문제를 연구한다. 이 모델에서는 각 단위 내의 의존성이 관측되지 않는 확률적 평균 함수(random mean function)에 의해 생성된다고 가정한다. 이어서 볼록(convex) 일반화 회귀 손실로 신경망을 적합한다. 조건부 측정 변동과 단위 간 변동을 분리함으로써 오라클 부등식(oracle inequality)을 보인다. 또한 $n$개의 단위와 단위당 $m$번의 측정이 있을 때, 렐루 신경망이 $\beta$-횔더(Hölder) 클래스에서 로그 인자를 제외하고 $n^{-1}+(nm)^{-2\beta/(2\beta+d)}$ 차수의 적분 평균제곱오차(integrated mean squared error)를 달성할 수 있음을 증명한다. 아울러 군집(cluster) 크기가 서로 다른 경우를 위한 가중 오라클 부등식과 합성적으로 매끄러운(compositionally smooth) 함수에 대한 수렴률도 도출한다. 점별(pointwise) 앙상블 추론을 위해 사영 중심극한정리(projection central limit theorem)를 제시하고, 명시적인 점근적 선형성 조건 하에서 무한소 잭나이프(infinitesimal jackknife)의 일치성을 증명한다. 이론적 결과와 실용적 시사점을 뒷받침하기 위해 시뮬레이션과 실제 데이터 예제를 제공한다.
적대적으로 견고한 연합 회귀의 그래디언트 이질성 역학
On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
연합 학습(FL)은 본질적으로 이질적이다. 정직한 클라이언트는 서로 다른 데이터 생성 모델을 가질 수 있다. 게다가 적대적 클라이언트는 임의의 업데이트를 공유함으로써 이질성을 더욱 두드러지게 만들 수 있다. 기존 분석은 일반적으로 그래디언트 불유사도 조건을 통해 통계적 이질성과 적대적 행동 간의 상호작용을 통제한다. 그러나 근본적인 상계는 사전에 부여되며, 최소제곱 회귀에서조차 보수적인 보장을 줄 수 있다. 우리는 대신 매 라운드마다 새로운 데이터 샘플을 사용하는 선형 및 비선형 회귀의 통계 모델로부터 그래디언트 이질성을 유도한다. 우리의 상계는 정직한 클라이언트의 ground-truth 모델 매개변수 간 이질성, 유한 표본 레이블 노이즈, 초기화를 분리한다. 그런 다음 계수 $\kappa = O(f/n)$을 갖는 임의의 $(f,\kappa)$-견고 집계기(aggregator)에 대해, $f$는 적대적 클라이언트 수, $n$은 전체 클라이언트 수($f/n < 1/2$)일 때, 명시적인 샘플 burn-in 이후 수렴이 성립함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
55 pages. Revised title and substantially reorganized theoretical exposition. Includes contact-space and whole-query classification, all-size leave-one-out covariance-deficit comparisons, quantitative contact geometry, and query-risk bounds, with proofs, exact constructions, and ancillary exact-arithmetic checks