최소 노름 일변수 2층 ReLU 분류: 정확한 해와 스킵 연결을 통한 전역 최적성
Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections
한국어 초록
우리는 일변수 2층 ReLU 네트워크를 이용한 이진 분류에서 최소 노름 보간(minimal-norm interpolation)과 $\ell_2$ 정규화 로지스틱 손실 최소화를 연구한다. 함수 공간에서 최적 분류기에 대한 완전한 기하학적 특성을 제시하며, 은닉층 바이어스가 매개변수 노름에 포함되는지 여부에 따라 해가 어떻게 달라지는지를 규명한다. 바이어스에 페널티를 부과하지 않는 경우, 최소 노름 보간 함수는 모든 레이블 전환 지점에 밀착하고 적절한 볼록성을 갖는 꺾임점(kink)을 지니는 연속 구간별 아핀 함수들과 정확히 일치한다. 바이어스에 페널티를 부과하는 경우, 최소해는 함수 공간에서 유일하며, 레이블이 같은 각 중간 구간마다 정확히 하나의 꺾임점을 갖고, 따라서 가장 희소한 양의 마진 분류기가 된다. 나아가 자유 아핀 스킵 연결(affine skip connection)을 추가해도 이러한 함수 공간의 해는 변하지 않지만 매개변수 공간의 지형(landscape)은 근본적으로 개선됨을 보인다. 즉, 제약 문제의 모든 KKT 점이 전역 최적해가 되는 반면, 스킵 연결이 없으면 차선(suboptimal) KKT 점이 나타날 수 있다. 로지스틱 손실에 대한 $\ell_2$ 정규화가 충분히 약한 경우에 대해서도 유사한 전역 최적성 및 기하학적 결과를 확립한다. 바이어스에 페널티를 부과하지 않는 경우에는 추가적인 희소성 유사 제약을 규명하였으며, 이는 대부분의 최소 노름 보간 함수가 마진 정규화된 로지스틱 손실 최소해의 작은 정규화 극한으로 나타날 수 없음을 의미한다. 데이터셋 복잡도와 네트워크 너비를 달리한 수치 실험은 예측된 지형 및 희소성 현상을 뒷받침한다.
원문 초록
We study minimal-norm interpolation and $\ell_2$-regularized logistic-loss minimization for binary classification by univariate two-layer ReLU networks. We give complete geometric characterizations of the optimal classifiers in function space, resolving how the solutions depend on whether hidden-layer biases are included in the parameter norm. When biases are unpenalized, the minimal-norm interpolators are exactly the continuous piecewise-affine functions that hug every label switch and have kinks of the appropriate convexity. When biases are penalized, the minimizer is unique in function space, has exactly one kink in each intermediate same-label segment, and is therefore a sparsest positive-margin classifier. We further show that adding a free affine skip connection leaves these function-space solutions unchanged but fundamentally improves the parameter-space landscape: every KKT point of the constrained problem becomes globally optimal, whereas suboptimal KKT points can occur without the skip connection. We establish analogous global-optimality and geometric results for sufficiently weak $\ell_2$-regularization of the logistic loss. In the unpenalized-bias case, we identify an additional sparsity-like restriction, implying that most minimal-norm interpolators cannot arise as small-regularization limits of margin-normalized logistic-loss minimizers. Numerical experiments across varying dataset complexity and network width support the predicted landscape and sparsity phenomena.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28438v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LWCal: 노이즈 보정 레이블을 갖는 표 형식 분류기를 위한 손실 가중 보정
LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels
사후 확률 보정은 보통 낙관적인 가정 아래 평가된다: 홀드아웃 보정 레이블이 깨끗하다는 것이다. 그러나 많은 AI 배포 환경에서는 레이블이 약한 annotator, 과거 결정, 휴리스틱, 또는 distant supervision에서 오므로, 학습을 손상시키는 것과 같은 레이블 노이즈가 보정도 손상시킨다. 우리는 표 형식 분류기에서 이 간과된 실패 모드를 연구하고, 베이스 모델의 홀드아웃 확률과 모순되는 노이즈 레이블을 가진 보정 예시의 가중치를 낮추는 CPU 전용 사후 보정기 LWCal을 제안한다. LWCal은 깨끗한 검증 레이블, 노이즈 비율 추정, 베이스 분류기의 재학습이 필요 없다. 두 번째 변형인 Gated-LWCal은 보수적인 불일치 게이트를 추가하여 보정 분할이 극도로 불일치해 보일 때 원시 점수 쪽으로 후퇴한다. 아홉 개의 로컬 이진 표 형식 태스크, 여섯 개의 무작위 시드, 대칭 및 비대칭 레이블 손상, 세 가지 트리 기반 베이스 학습기에서 LWCal은 평균 보정 오차가 가장 낮고 Gated-LWCal은 평균 proper score 트레이드오프가 가장 좋다. 432개의 노이즈 셀에 대한 주요 random-forest 연구에서 Gated-LWCal은 원시 분류기 대비 기대 보정 오차(ECE)를 0.188에서 0.122로, 음의 로그 가능도(NLL)를 0.438에서 0.396으로 줄인다. Gated-LWCal 대 원시, Platt, isotonic, beta 보정에 대한 paired bootstrap 구간은 ECE, Brier score, NLL에서 0을 배제한다. 아티팩트에는 모든 스크립트, 결과 표, 그림, 및 컴파일된 논문이 포함되어 있다.
조건부 대표 모니터링 및 분류를 위한 문맥 적응형 임계값 설정
Context-Adaptive Thresholding for Conditionally Representative Monitoring and Classification
일반적으로 분류기(classifier)와 모니터링 절차는 오분류율과 같은 목적 함수를 최적화(optimization)하여 레이블이 지정된 데이터로부터 학습(training)됩니다. 이는 중요한 외생 변수가 주어졌을 때 결과(레이블)의 조건부 분포가 모집단의 조건부 법칙과 달라져 비대표적인(unrepresentative) 조건부 분포를 초래할 수 있습니다. 본 연구에서는 오경보율(false alarm rate)을 유지하면서 민감도(sensitivity)를 분배하기 위해 공변량 $Z$(문맥)에 맞춰 임계값을 적응시킴으로써, 임의의 주어진 임계값 형태 분류기 및 모니터링 규칙을 수정하여 대표성 있는 조건부 레이블 예측을 달성하는 방법을 제시합니다. 경보 이벤트가 알려지지 않은 경우, 이 접근법은 임계값 설정 규칙 관점에서 해당 이벤트를 (근사적으로) 추론(inference)할 수도 있게 합니다. 이 접근법은 계산 비용이 저렴한 비모수적 추정 절차를 통해 구현되며, 그 특성은 경험적 과정 이론(empirical process theory)을 포함한 점근적 분포 이론 및 비점근적 오차 한계 관점에서 연구됩니다. 이러한 결과는 균일 신뢰대(uniform confidence bands), 함수형 가설 검정 및 변화 탐지 절차의 구성을 가능하게 합니다. 해석 가능한 머신러닝에서 자주 사용되는 잘 알려진 FICOS 신용 평가 예시에서, 임계값 적응은 일반적인 분류 평가 지표 측면에서 트랜스포머(transformer)를 포함한 최신(SOTA) 방법들과 견줄 수 있는 쉽게 해석 가능한 결정 규칙으로 이어집니다.
범용 프랙털 자연어 의사결정 맵: 이종 도메인 전반의 실시간 엣지 트리아지
Universal Fractal Natural Language Decision Map: Real-Time Edge Triage Across Heterogeneous Domains
대규모 언어 모델(LLM)을 런타임 운영 트리아지에 배치하면 지나친 지연(>100–500 ms), 높은 VRAM 요구(>4–8 GB), 과도한 에너지 소모가 발생한다. Mandelbrot Fractal Neural Synthesis(Dagli et al., 2026)를 확장하여, 본 논문은 werr 머신 네이티브 엣지 반사(reflex) 런타임과 프로덕션 answerr 플랫폼(https://answerr.me)을 통해 구현한 Universal Fractal Natural Language Decision Map을 제시한다. 저장된 가중치 텐서 없이(VRAM 0 Bytes) 전적으로 동작하는 이 엔진은 Mandelbrot 집합의 카오틱 경계를 따라 24바이트 좌표 시드를 동적으로 변조하고 4분면 탈출 동역학을 평가하여 결정론적 의사결정—noul(Boolean), choice(범주형), score(서열형)—을 합성한다. 생물학적 System-One 반사 아크에서 영감을 받아, 엔진은 다음을 도입한다: (i) 도메인 투영기 Phi_D를 갖춘 Auto-Seed Router로 선형 베이스라인 대비 +28.8% 정확도 향상; (ii) 토큰 엔트로피와 음성학적 스펙트럼 밀도에 기반한 정보 이론적 음향 감쇠 필터(Information-Theoretic Acoustic Damping Filter)로 프롬프트 인젝션에 격리(실증 우회 0.0%; 95% Wilson CI: [0.0%, 30.8%])하면서 탈출 반복을 45.8% 가지치기(처리량 2.5배 가속, 지연 3.31 ms); (iii) O(1) 지수 이동 평균(EMA, alpha=0.03)과 분면 위상 회전을 사용하는 Organic Dynamic Calibration 프레임워크로 위치 바이어스 제거. 베어 메탈 인프라(api.answerr.me:4431)에서 1,150건 이상 검증된 의사결정(3,200건 이상 질문)에 대해 벤치마크하고 독립 JevBench 스위트에서 세계 1위(81.65%)를 기록한 이 프레임워크는 92.6% 매크로 정확도(95% CI: [90.8%, 94.1%])와 7.08 ms 중앙값 CPU 지연을 달성한다. OpenAI 호환 API(/v1/chat/completions)를 제공하며 마이크로컨트롤러와 32바이트 EVM 스마트 계약에서의 실현 가능성을 보여준다.
EEG 신호와 CNN을 이용한 rTMS 우울증 치료 결과 예측
Predicting the Outcome of rTMS Depression Therapy using EEG Signals and CNN
반복 경두개 자기 자극(repetitive transcranial magnetic stimulation, rTMS)은 주요 우울 장애(Major Depressive Disorder, MDD)에 대한 비침습적 치료법이다. 본 연구에서는 EEG 신호를 표현하기 위해 두 가지 시간-주파수 방법을 사용하여 이미지를 생성한다: 유클리드 거리를 포함한 푸리에-베셀 급수 전개(Fourier-Bessel Series Expansion with Euclidean Distance, FBSE-ED)와 이산 웨이블릿 변환(Discrete Wavelet Transform, DWT). 우리는 rTMS 우울증 치료 결과를 예측하는 효율적인 심층 학습 분류기를 제안한다. 본 연구에서는 결과의 바이어스를 피하기 위해 10-fold 교차 검증 전략을 사용하여 사설 rTMS 데이터베이스로 경량 맞춤형 합성곱 신경망(Convolutional Neural Network, CNN)을 학습한다. 결과는 FBSE-ED 표현이 93.60%의 최고 분류 정확도를 달성하여 전통적인 시간-주파수 기법(DWT)을 능가함을 보여준다. 또한 FBSE-ED 이미지 표현 기법을 적용한 제안 아키텍처는 더 복잡한 EEG 특화 심층 학습 모델(EEGNet, DeepConvNet, SleepEEGNet)보다 3.62-10.72%, 사전학습 모델(Xception, DenseNet201, MobileNetV2)보다 23.03-27.35% 더 우수한 성능을 보인다. 추가 실험을 위해 또 다른 사설 rTMS 데이터베이스를 테스트 데이터베이스로 활용하여 제안 모델의 견고성을 입증한다. 우리 결과는 고급 신호 분해와 심층 학습의 통합이 rTMS 치료 반응의 조기 예측을 촉진하고 보다 표적화된 임상 의사결정을 지원할 수 있음을 시사한다. 제안 프레임워크는 해석 가능하고 계산 효율적이며, 실제 지역 정신과 클리닉 배포에 적합하다.
EVL-MCoT: 유해 밈 탐지를 위한 향상된 비전-언어 Multi-CoT
EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection
밈(MEME)은 인터넷에서 널리 사용되며, 종종 강한 풍자나 아이러니 요소를 담고 있다. 숨겨진 의미를 이해하려면 일반적으로 텍스트와 시각 정보를 함께 해석해야 한다. 기존 방법은 시각과 텍스트를 동시에 추출하기 위해 이중 스트림(dual-stream) 비전-언어 모델에 초점을 맞추는데, 이는 밈에 대한 포괄적 설명과 관련된 배경 정보 및 사전 지식이 부족하다. 하나의 실현 가능한 선택은 사고의 연쇄(Chain-of-Thought, CoT)를 채택하는 것이다. 그러나 단순한 CoT 접근법은 다각적 사고가 부족하여, 결과 답변의 신뢰성을 저해할 수 있다. 게다가 이는 종종 얕은 특징 융합에 의존하며, 국소적 세부 정보와 세밀한 시각-프롬프트 텍스트 정렬의 융합이 부족하다. 이 한계는 시각과 텍스트 간 복잡한 연결에 대한 더 깊은 이해를 방해한다. 이에 본 연구에서는 이러한 한계를 해결하기 위해 향상된 비전-언어 multi-CoT(EVL-MCoT) 접근법을 제안한다. multi-CoT를 촉진함으로써 EVL-MCoT는 일관성을 향상시키고 의사결정 과정에서 바이어스를 줄인다. 또한, 융합 과정을 안내하기 위해 시각적 프로토타입을 통합하고 모델이 텍스트와 시각 정보를 더 정밀하게 정렬할 수 있게 하는 프로토타입 안내 및 컨텍스트 안내 디코딩 프레임워크를 설계한다. HatefulMemes 및 MultiOff 데이터셋에서 유망한 결과를 달성했다. 소스 코드는 공개되어 https://github.com/BGWH123/EVL-MCoT에서 이용할 수 있다.
LLSF - Learning Label Specific Features for Multi-Label Classifcation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.