PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11319v3cs.LG

Neural networks become centroid classifiers when trained on heavily corrupted inputs

불완전한 데이터로부터의 학습은 기계학습의 핵심 주제로, 강인성(robustness)에 관한 실용적 질문을 학습 가능성(learnability)에 관한 근본적 질문과 연결합니다. 여기서 우리는 속성 노이즈(attribute noise)를 조사합니다: 레이블은 그대로 유지하면서 손상된 입력으로부터 학습하는 것으로, 레이블 노이즈(label-noise) 대응 경우보다 분석적 관심이 상당히 덜 받아온 설정입니다. 우리는 두 가지 유형의 손상 모델을 고려합니다: 가산 노이즈(additive noise)와 대체 노이즈(replacement noise). 손상된 분류(classification) 데이터셋에서 다층 퍼셉트론(MLP)을 통한 실험을 통해, 우리는 신경망이 여전히 강인함을 유지하며, 입력이 90% 이상 손상되었을 때에도 우연 수준보다 훨씬 높은 정확도를 유지함을 발견했습니다. 이는 인간 인식 능력을 훨씬 뛰어넘는 것입니다. 이러한 강인성을 이해하기 위해, 우리는 평균장(mean-field) 영감을 받은 접근법을 사용하여 심한 손상(heavy-corruption) 영역에서 무한 너비 신경망을 분석하고 분류 결과에 대한 주요 결정 규칙을 도출했습니다: 신경망은 프로토타입 규칙인 최근접 클래스 평균(nearest-class-mean)을 구현하여, 각 테스트 포인트를 학습 세트 평균과 가장 유사한 클래스에 할당합니다. 이 주요 결정 규칙은 광범위한 MLP 아키텍처에 걸쳐 보편적이며, 모든 깊이와 넓은 범위의 활성화 함수 및 노이즈 분포에 대해 성립합니다. 동일한 중심점(centroid) 메커니즘은 우리의 실험에서 유한 너비 신경망의 동작과 밀접하게 일치하며, 개별 학습(training) 예제가 거의 신호를 전달하지 않을 때에도 학습이 성공할 수 있는 이유에 대해 해석 가능하고 분석적으로 다루기 쉬운 설명을 제공합니다.

arXiv:2311.15365v3cs.LG

Łojasiewicz--Simon 부등식을 통한 심층 학습 연속 모델의 수렴 결과

A convergence result of a continuous model of deep learning via a Łojasiewicz--Simon inequality

우리는 각 층이 유클리드 매개변수 공간 상의 확률 측도로 매개변수화되는 연속 깊이(mean-field) 모델에서 심층 신경망에 대한 이상화된 학습 과정을 연구한다. 학습 역학은 고정된 $L^2$-정규화를 갖는 목적 함수의 Wasserstein형 그래디언트 흐름으로 공식화된다. 적절한 해석성 및 성장 가정과 함께 강제(coercivity) 가정, 그리고 초기 데이터의 충분한 정칙성 하에서, 학습 시간이 무한대로 갈수록 모든 최대 기울기 곡선이 목적 함수의 단일 임계점으로 수렴함을 증명한다. 증명은 곡선의 콤팩트성(compactness)과 계량 기울기(metric slope)에 대한 Łojasiewicz--Simon 부등식을 결합한다. 부등식을 확립하기 위해, 목적 함수를 확률 변수의 Hilbert 공간으로 올리고, Hilbert 공간 위상에서의 연속 가미분성 결여를 극복하기 위해 더 강한 $L^\infty$ 위상에서 올려진 그래디언트의 해석성을 이용한다. 우리의 수렴 결과는 전역 변위(displacement) 볼록성, Polyak--Łojasiewicz형 조건, 또는 최소화점 근처의 초기화를 요구하지 않으며, 목적 함수는 본질적으로 비볼록 상태로 남을 수 있다.

arXiv:2604.06531v3math.OC

평균장 슈뢰딩거 브리지를 위한 일반화된 Sinkhorn 알고리즘

A Generalized Sinkhorn Algorithm for Mean-Field Schrödinger Bridge

평균장 슈뢰딩거 브리지(MFSB) 문제는 비국소 상호작용을 갖는 확산 과정이 고정된 기한 내에 하나의 분포에서 다른 주어진 분포에 도달하도록 안내하는 최소 노력 제어기를 설계하는 것과 관련됩니다. 표준 슈뢰딩거 브리지와 달리, MFSB의 동적 제약 조건은 제어가 있는 상호작용하는 에이전트 집단의 평균장 극한입니다. 이는 대규모 다중 에이전트 시스템을 위한 자연스러운 모델 역할을 합니다. MFSB는 비국소 상호작용으로 인해 문제가 비볼록해지기 때문에 계산적으로 어렵습니다. 우리는 MFSB를 위한 Hopf-Cole 변환의 일반화를 제안하고, 이를 기반으로 관련 적분-미분 방정식 시스템을 풀기 위한 Sinkhorn 유형의 재귀 알고리즘을 설계합니다. 상호작용 퍼텐셜에 대한 약한 가정 하에, 제안된 알고리즘의 수렴 보장에 대해 논의합니다. 이론적 기여를 설명하기 위해 척력 및 인력 상호작용이 있는 수치적 예시를 제시합니다.

arXiv:2606.07120v1cs.LG

선형 및 과완전 체제를 넘어서: 병목 오토인코더의 평균장 분석

Beyond Linear and Overcomplete Regimes: A Mean-Field Analysis of Bottleneck Autoencoders

오토인코더(AE)는 데이터를 잠재 공간에 매핑하면서 재구성 오차를 최소화함으로써 저차원 표현을 학습한다. 경험적으로 성공했음에도 이론적 이해는 제한적이며, 대체로 선형 모델이나 병목이 없는 설정에 국한되어 있다. 본 연구에서는 평균장(MF) 체제에서 고정된 유한 차원 병목을 가진 비선형 AE를 연구한다. 인코더와 디코더 모두에 대한 명시적 MF 학습 역학을 도출하여, 비선형 설정에서의 학습에 대한 다루기 쉬운 특성화를 제공한다. 유한 시간 구간에 걸쳐, 확률적 경사하강법으로 학습된 유한 너비 네트워크의 경험적 리스크가 MF 리스크 궤적을 높은 확률로 밀접하게 추적함을 보인다. 최적점에서, 유한 너비 리스크가 MF 최적값으로 수렴함을 추가로 정립하며, 이는 유한 네트워크가 무한 너비 해를 충분히 근사할 만큼 표현력이 충분함을 보여준다.