PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.14878v3cs.LG

원시 데이터 통계만으로 커널 회귀 학습 곡선 예측하기

Predicting kernel regression learning curves from only raw data statistics

본 연구에서는 CIFAR-5m, SVHN, ImageNet을 포함한 실제 데이터셋에서 널리 쓰이는 회전 불변(rotation-invariant) 커널을 사용한 커널 회귀(kernel regression)를 연구합니다. 저자들은 경험적 데이터 공분산 행렬과 타깃 함수 $f_*$의 경험적 다항식 분해라는 단 두 가지 측정값만으로 학습 곡선(표본 크기 대비 테스트 위험도)을 예측하는 이론적 프레임워크를 제시합니다. 핵심적인 새로운 아이디어는 비등방성(anisotropic) 데이터 분포에 대한 커널의 고윳값 및 고유함수의 해석적 근사입니다. 고유함수는 데이터의 에르미트 다항식(Hermite polynomials)과 유사하므로, 이 근사를 에르미트 고유구조 가설(Hermite eigenstructure ansatz, HEA)이라고 부릅니다. 가우시안 데이터에 대해 HEA를 증명하였으며, 실제 이미지 데이터 또한 실제로 HEA가 잘 성립할 정도로 종종 "충분히 가우시안에 가까움"을 발견하여 커널 고유구조와 테스트 위험도를 연결하는 기존 연구 결과를 적용해 학습 곡선을 예측할 수 있음을 보였습니다. 커널 회귀를 넘어, 특징 학습(feature-learning) 영역의 MLP 또한 HEA가 예측한 순서대로 에르미트 다항식을 학습함을 경험적으로 확인했습니다. 본 HEA 프레임워크는 실제 데이터셋의 자명하지 않은 학습 알고리즘에 대해 데이터셋 구조를 모델 성능까지 완전히 연결하는 엔드투엔드(end-to-end) 학습 이론이 가능함을 보여주는 개념 증명입니다.

arXiv:2610.02610v1cs.LG

Seer: 학습 속도 곡선을 위한 최대가능도 회귀

Seer: Maximum Likelihood Regression for Learning-Speed Curves

본 연구는 머신러닝 성능 모델링에 초점을 맞춥니다. 본 학위논문에서는 분류 학습 성능에 대한 실증적 관측값을 생성한 뒤, 이를 활용해 통계 모델을 구축하는 시스템인 Seer를 소개합니다. 구축된 모델은 목표 수준을 달성하는 데 필요한 학습 예제 수와 무제한의 학습 예제가 주어졌을 때 달성 가능한 최대 정확도를 예측하는 데 활용할 수 있습니다. Seer는 1) 분류 학습을 위한 최적의 제약 조건과 가장 유용한 파라미터를 구현한 모델, 2) 최대가능도(maximum-likelihood) 모델을 효율적으로 찾는 알고리즘, 3) 세 가지 실제 도메인 데이터를 통해 이러한 모델링의 실용적인 적용 가능성을 입증함으로써 기존 기술을 발전시킵니다. 논문의 전반부에서는 분류 학습 성능에 대한 우수한 최대가능도 모델이 갖추어야 할 요건을 개괄합니다. 이어서 이러한 모델에 적합한 설계 선택지를 탐색합니다. 이러한 모델 간의 선택은 비선형 프로그래밍(nonlinear programming) 문제이지만, 적절한 문제 제약 조건을 활용함으로써 효율적인 반복 알고리즘으로 해결할 수 있는 비선형 회귀(nonlinear regression) 문제로 단순화됩니다. 논문의 후반부에서는 대두 질병, 심장병, 청각 이상 도메인에서 수행된 약 100건의 실험을 설명합니다. 테스트 결과 Seer가 학습 성능을 규명하는 데 매우 뛰어나며, 학습 성능 예측에서도 가능한 최고 수준의 성능을 보이는 것으로 나타났습니다. 마지막으로 특정 상황에 적합한 회귀 모델 선택을 위한 권장 사항을 제시하고 향후 연구 방향을 명시합니다.

arXiv:2512.18390v2cs.LG

The Challenger: 새로운 데이터 소스는 언제 머신러닝 모델 전환을 정당화하는가?

The Challenger: When Do New Data Sources Justify Switching Machine Learning Models?

조직은 새로운 데이터 소스가 이용 가능해질 때 이미 운영 중인 기존 예측 모델을 보유하고 있는 경우가 많다. 과거 학습 데이터에는 새로운 특징이 없기 때문에, 도전자(challenger) 모델은 작지만 점점 커지는 전 특징(full-feature) 데이터셋으로 학습해야 한다. 우리는 조직이 도전자 모델로 전환해야 하는지, 그리고 언제 전환해야 하는지를 연구한다. 이 결정은 통계적·경제적이다: 전 특징 데이터가 축적될수록 도전자 모델의 예측 성능은 개선되지만, 반복적인 재학습은 비용이 크고 배포로부터 얻는 이익을 지연시킨다. 우리는 학습 곡선(learning-curve) 역학과 모델 전환 경제학을 연결하는 프레임워크를 제안한다. 표준 멱법칙(power-law) 학습 곡선과 유한한 데이터 수집 기한 $T$ 하에서, 도전자 모델을 학습하고 평가하는 최적 시점은 $T^{1/(1+α)}$ 비율로 스케일링한다: 학습 곡선 형태(학습 속도 $α$를 통해)가 실험을 중단할 시점을 결정하는 주된 이론적 요인이며, 비용은 전환의 수익성을 결정한다. 학습 곡선을 알지 못하더라도 운영상 문제는 다루기 쉽다: $T^{2/3}$ 스케일에서 중단하고 신뢰할 수 있는 전환/폐기 결정을 내리는 어떤 알고리즘이든 완전 선견지명(full-foresight) 오라클 대비 $O(T^{2/3}\sqrt{\log T})$ regret을 달성함을 보인다. 우리는 국소적 학습 곡선 추세를 이용해 개선을 예측하는 순차적 평가 알고리즘을 제안하고, 실제 신용 평가(credit-scoring) 연구에서 이를 검증한다. 이러한 국소적 근사에도 불구하고, 해당 알고리즘은 이론적·실증적으로 거의 오라클에 가까운 성능을 달성한다. 또한 노이즈가 있는 초기 추정치가 조기 폐기를 유발하는 탐욕적 순차 평가 알고리즘이나, 고정된 평가 시점이 (실무에서는 알 수 없는) 이론적 타이밍 스케일과 일치할 때만 작동하는 단순 일회성 평가 알고리즘보다 더 안정적이다. 우리 프레임워크는 새로운 데이터 소스에 값비싼 수집·검증·배포가 필요할 때 원칙에 기반한 모델 거버넌스(model governance)를 향한 한 걸음을 제공한다.

arXiv:2607.09402v1cs.LG

데이터 효율적 심층 학습: 관성 센서 분류에서 학습 세트 크기 추정을 위한 경험적 지침

Data-Efficient Deep Learning: Empirical Guidelines for Training Set Size Estimation in Inertial Sensor Classification

심층 학습 모델의 대규모 관성 데이터셋 의존성은 인간 활동 인식(human activity recognition) 및 스마트폰 위치 인식(smartphone location recognition)과 같은 관성 센서 기반 분류 작업에서 심각한 병목 현상을 초래한다. 이러한 도메인에서 데이터 수집은 복잡하고 시간이 많이 소요되며 확장이 어려운 대규모 녹화 캠페인을 필요로 한다. 현재, 원하는 정확도 수준에 도달하는 데 필요한 최소 샘플 크기를 결정하기 위한 데이터 기반 지침은 존재하지 않는다. 이 격차를 해소하기 위해, 본 연구는 관성 분류에서 학습 곡선(learning curve) 수렴 속도에 대한 체계적인 경험적 평가를 제시한다. 이진 및 다중 클래스 시나리오 모두에서 분류 성능을 분석하는 통합 프레임워크를 소개하고, 데이터셋 크기에 따른 성능을 추정하는 경험적 공식을 도출한다. 총 102.7시간의 관성 측정값으로 구성된 6개의 다양한 실세계 데이터셋에 대한 테스트 결과, 작업 복잡도에 관계없이 정확도가 일관된 로그 성장 패턴을 따르는 것으로 나타났다. 이 발견을 활용하여, 학습 곡선이 점근적 최대값의 사전 정의된 평균 절대 백분율 편차(mean absolute percentage deviation) 이내로 안정화되는 데 필요한 샘플 크기로 정의되는 정량적 안정점(stability point) 지표를 제안한다. 분석 결과, 모델은 전통적인 경험 법칙이 제시하는 것보다 훨씬 적은 샘플로 실용적 안정성에 도달하는 경우가 많음이 밝혀졌다. 궁극적으로, 소규모 파일럿 연구에서 전체 데이터 요구량을 외삽하는 일반화 가능한 프레임워크를 제공하여, 녹화 노력과 모델 신뢰성 간의 트레이드오프를 최적화한다. 이러한 발견들은 지배적인 패러다임을 데이터 볼륨 최대화에서 데이터 효율성 최적화로 전환시키며, 관성 센싱 애플리케이션에서 녹화 캠페인 계획을 위한 구체적이고 데이터 기반의 지침을 제공한다.