PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10600v3stat.ML

VC 학습의 최적 정보 복잡도

The optimal information complexity of VC learning

Steinke와 Zakynthinou(2020)는 알고리즘 의존적 정보이론적 양에 기반하여 학습 알고리즘의 정보 복잡도를 분석하는 조건부 상호정보량(CMI) 프레임워크를 도입했습니다. 본 연구에서는 이러한 양 중 하나인 평가된 조건부 상호정보량(eCMI)을 연구합니다. CMI를 통한 알고리즘 의존적 분석으로부터 VC 클래스에 대한 최적의 PAC 보장을 복원할 수 있는지는 흥미로운 질문이었습니다. 본 논문에서는 개념 클래스의 VC 차원이 d일 때, 실현 가능(realizable)한 경우에서 eCMI가 O(d) 차수인 학습 알고리즘을 구축함으로써 이러한 보장을 복원할 수 있음을 보입니다. 구체적으로 본 알고리즘은 최적의 기댓값 일반화 보장을 갖는 5개 기반 학습기의 무작위화된 다수결(Majority-of-5) 방식입니다.

arXiv:2610.15916v1cs.LG

ERM 오라클을 활용한 표본 최적 다중 그룹 학습

Sample-Optimal Multi-Group Learning with an ERM Oracle

다중 그룹 학습(multi-group learning)에서는 단일 예측기가 풍부하며 잠재적으로 무한하고 중첩될 수 있는 하위 집단 모음의 모든 그룹에 대해 해당 클래스 내 최적의 가설만큼 우수한 성능을 보여야 합니다. 최적의 표본 복잡도(sample complexity)를 갖는 기존 알고리즘들은 그룹과 가설의 모든 쌍을 추적하는데, 이는 관심 대상인 대규모 클래스에서는 불가능하며, 알려진 오라클 기반 알고리즘들은 더 열등한 수렴 속도를 갖습니다. 본 연구에서는 경험적 위험 최소화(ERM) 오라클을 통해서만 클래스에 접근하는 학습자가 최적의 수렴 속도를 달성할 수 있는지 질문을 던집니다. 본 논문에서는 그룹과 가설 쌍에 대한 가중치 적용 ERM 오라클을 다항 횟수만큼 호출하고 $\tilde{O}((d_G+d_H)/\varepsilon^2)$개의 표본을 사용하는 알고리즘을 제시합니다. 여기서 $d_G$와 $d_H$는 그룹 및 가설 클래스의 VC 차원이며, $\varepsilon$은 확률로 가중치가 부여된 모든 그룹에서의 초과 위험(excess risk)을 제한합니다. 또한 무제한의 계산 능력을 가진 모든 학습자에 대해서도 일치하는 하한인 $\Omega((d_G+d_H)/\varepsilon^2)$개의 표본을 보여줌으로써, 오라클 효율성을 위해 추가적인 표본이 소모되지 않음을 입증합니다. 아울러 모든 입력이 최대 $k$개의 그룹에 속하고 이러한 그룹들을 나열할 수 있는 자연스러운 특수 경우도 고려합니다. 이 경우 가설 클래스에 대한 ERM 오라클만으로 충분하며, 애그노스틱(agnostic) 설정에서는 $\tilde{O}((d_H+\log k)/\varepsilon^2)$개의 표본이, 모든 그룹에 대해 해당 그룹에서 올바른 가설이 존재하는 경우에는 $\tilde{O}((d_H+\log k)/\varepsilon)$개의 표본이 필요합니다.

arXiv:2502.02679v3stat.ML

유한한 VC 차원을 갖는 신경망: 장점과 단점

Networks with Finite VC Dimension: Pro and Contra

고차원 기하학 및 통계적 학습 이론 관점에서 신경망을 통한 대규모 데이터셋 분류기의 근사와 학습을 연구한다. 신경망의 입출력 함수 집합이 지닌 VC 차원이 근사 능력에 미치는 영향을, 데이터 표본으로부터의 학습 일관성(consistency)에 미치는 영향과 비교한다. 유한한 VC 차원은 경험적 오차의 균등 수렴(uniform convergence)에 바람직하지만, 주어진 유형의 응용 분야에서 함수가 나타날 가능도(likelihood)를 모델링하는 확률 분포로부터 추출된 함수를 근사하는 데는 바람직하지 않을 수 있음을 보인다. 고차원 기하학의 측도 집중(concentration of measure) 특성을 바탕으로, 대규모 데이터셋을 처리할 때 유한한 VC 차원을 갖는 입출력 함수 집합을 구현하는 신경망에서는 근사 오차와 경험적 오차 모두 거의 결정론적으로 동작함을 증명한다. 보편 근사 특성(universal approximation property)의 실질적 한계, 근사 정확도와 데이터 학습 일관성 사이의 상충 관계(trade-off), 그리고 렐루(ReLU) 유닛을 사용하는 신경망의 깊이가 정확도와 일관성에 미치는 영향에 대해 논의한다.

arXiv:2606.09731v2cs.LG

트랜스포머의 타이트 샘플 복잡도

Tight Sample Complexity of Transformers

총 $W$개의 파라미터를 갖고 길이 $T$의 입력 시퀀스를 단일 출력으로 매핑하는 깊이-$L$ 트랜스포머의 VC 차원을 정확히 특성화하여, 상한 $O(L W \log (T W))$와 거의 일치하는 하한 $Ω(L W \log (T W / L))$를 확립한다. 또한 이러한 트랜스포머를 사용한 사고의 연쇄(Chain-of-Thought) 학습의 샘플 복잡도를 정확히 특성화하며, 교사 강제(teacher forcing, 즉 학습 데이터에서 전체 사고의 연쇄와 일치하는 예측기를 선택하는 방식)는 $O\left(L W \log \left(\left(T+T^{\prime}\right) W\right)\right)$의 샘플 복잡도로 학습함을 보이고, 사고의 연쇄 데이터를 사용하는 모든 학습 규칙은 최소 $Ω\left(L W \log \left(\left(T+T^{\prime}\right) W / L\right)\right)$개의 예제를 필요로 함을 보인다. 여기서 $T$는 입력 길이이고 $T^{\prime}$는 자기회귀(autoregressive) 단계 수이다.

arXiv:2607.10751v1cs.LG

라동 정리를 통한 부분 개념 클래스의 VC 차원

The VC dimension of partial concept classes via Radon's theorem

Alon, Hanneke, Holzman, Moran(FOCS 2021)을 따라, 우리는 부분 개념 클래스(PCC)를 부분 함수 $f: V\to\{0,1,\ast\}$의 집합족으로 정의한다. 이는 동등하게 각 개념이 기반 집합을 흑색($f^{-1}(1)$), 회색($f^{-1}(\ast)$), 백색($f^{-1}(0)$) 부분으로 분할하는 것을 의미한다. PCC의 VC 차원은 값 $\ast$가 취해지지 않는 집합들을 분쇄(shattering)함으로써 정의된다. 우리는 실수 바나흐 공간(Banach space)에서 마진 $\delta>0$을 가진 두 가지 기하학적 PCC를 연구한다: 확장된 반공간(expanded half-spaces)은 회색 부분이 반공간에 인접한 너비 최소 $\delta$인 띠이며, 확장된 공(expanded balls)은 회색 부분이 단위 반지름 공 주위의 너비 $\delta$인 환형(annulus)이다. 우리의 주요 결과는 $L_p(\mu)$, $1\le p<\infty$에서 확장된 공의 PCC에 대한 VC 차원의 차원 독립적 상한이며, 여기에는 비유클리드적이고 알고리즘적으로 특히 중요한 $\ell^d_1$ 경우가 포함된다. 이 상한들은 마진과 반지름에 의존하지만, 주변 차원이나 기저 측도 공간에는 의존하지 않는다. 이는 유클리드 공간, 즉 $\ell^d_2$에서 확장된 공의 PCC를 연구한 Bourneuf, Charbit, Thomassé(FOCS 2025)의 연구를 확장한 것이다. 또한 마진 매개변수 $\delta$ 측면에서 상한과 일치하는 VC 차원의 하한도 증명한다. 마지막으로, 기존 유클리드 결과를 확장하여 $L_p$ 공간에서 조밀 이웃 보조정리(Dense Neighborhood Lemma)를 유도한다. 우리의 방법은 비자명한 라데마허(Rademacher) 타입의 공간으로의 사상을 통한 거리의 선형화(linearization)와, 균형 잡힌 부호 합 추정 또는 무차원 라동 정리(no-dimensional Radon theorem)의 활용에 의존한다. 이 논증은 해당 분야 비전문가를 위해 명확하게 설명된 함수 해석학(functional analysis)의 아이디어에 기반한다.

arXiv:2603.02043v2cs.LG

레벨셋 집계를 통한 트랜스덕티브 학습의 곱셈적 오라클 부등식

Multiplicative Oracle Inequalities for Transductive Learning via Level-Set Aggregation

트랜스덕티브(transductive) 리브-원-아웃(LOO) 예측에서 분류, 회귀, 밀도 추정, 로지스틱 회귀를 아우르는 통합 집계 절차인 MLSA(Median of Level-Set Aggregation)를 제안하며, ERM 근방의 경험적 위험 레벨셋에서 예측을 집계한 뒤 허용 수준에 대한 중앙값을 취하는 2단계 알고리즘을 통해 곱셈적 오라클 부등식 $\mathrm{LOO}_S(\mathrm{MLSA}) \le C\!\left(\tfrac{1}{n}\min_{h\in\mathcal{H}}L_S(h)+\tfrac{\log|\mathcal{H}|}{n}\right)$을 결정론적·고정표본 조건에서 증명한다. VC 차원 $d$의 이진 분류와 유계 로지스틱 회귀에서는 $\log|\mathcal{H}|$ 항을 $d\log n$까지 개선하여 기존 최고 결과와 로그 인수 내에서 일치함을 보인다.

arXiv:2606.28309v1stat.ML

Proper Positive-Only 학습의 놀라운 발견

Surprises in Proper Positive-Only Learning

양성 샘플만으로 이진 분류를 수행하는 proper positive-only PAC 학습의 특성화 문제를 해결하여, 개념 클래스가 해당 설정에서 properly 학습 가능한 것은 유한 VC 차원을 갖고 새롭게 제안된 조합론적 조건인 uniform exterior separability를 만족할 때임을 증명하였다. 이 특성화는 proper와 improper 학습의 분리, 확률적·결정론적 학습의 분리, ERM이 학습자가 될 수 없는 클래스의 존재 등 표준 PAC 학습과 뚜렷이 구별되는 풍부한 학습 이론적 구조를 드러낸다.

arXiv:2606.13576v1cs.LG

시뮬레이터를 활용한 학습: 계산적으로 제한된 세계에서의 후회 없음

Learning with Simulators: No Regret in a Computationally Bounded World

데이터 분포를 근사하는 시뮬레이터에 접근할 수 있는 시뮬레이션 가능한 프로세스(simulatable processes) 프레임워크를 도입하여 강하게 의존적인 데이터에서도 VC 차원(VC dimension)에 기반한 학습 보장을 회복한다. 또한 시간 제한 콜모고로프 복잡도에 의해 후회(regret)가 제어되는 단일 알고리즘을 통해 다항식 시간 내에 샘플링 가능한 모든 프로세스에서 학습이 가능함을 보여준다.