SGD 학습 동안 그래디언트는 종종 손실의 헤시안 상위 $k$개 고유벡터가 생성하는 지배적 부분공간과 강하게 정렬된다. 이는 자연스럽게 손실 감소가 주로 이 공간 내에서 일어난다는 것을 시사하는 것처럼 보이지만, 선행 연구는 이 지배적 부분공간 내의 업데이트가 손실을 줄이는 데 의미 있는 진전을 이루지 못한다는 것을 보여주었다. 본 연구에서는 지배적 부분공간을 손실 감소를 위한 주요 공간이 아니라 미니배치 SGD의 샤프니스 역학을 설명하는 핵심 부분공간으로 이해하는 것이 더 적절하다고 주장한다. 상위 $k$ 샤프니스를 줄이는 데 있어 지배적 부분공간의 역할을 설명하기 위해, 지배적 방향에서의 변동에 대한 평균 그래디언트가 어떻게 샤프니스 보정 항을 생성하는지 보이고, 지배적 방향에서 미니배치 노이즈에 의해 유도되는 샤프니스 보정 항을 유도한다. 실험 결과는 유도된 보정 항을 GD에 추가하면 GD의 샤프니스 변화가 SGD의 그것에 더 가까워진다는 것을 보여준다.
3D 포인트 클라우드의 의미론적 분할은 심각한 클래스 불균형에 직면하지만, 2D 컴퓨터 비전(CV)에서 개발된 불균형 인식 전용 방법들의 효과가 3D 맥락에서 어느 정도인지는 여전히 불분명하다. 극단적(641:1) 및 중간(56:1) 불균형 비율을 갖는 데이터셋에서 11가지 불균형 완화 접근법을 체계적으로 평가한 결과, 놀라운 발견이 드러났다. 균일 가중치를 적용한 표준 교차 엔트로피는 아키텍처와 데이터셋 전반에 걸쳐 전용 방법들과 경쟁력 있는 성능을 달성하며, 일반적으로 mIoU 기준 0.8–3.3% 이내에 머문다. 오류 패턴, 결정 경계, 최적화 지형의 기하학에 대한 다각적 메커니즘 분석을 통해, 분석 결과는 불균형의 심각도가 토폴로지를 형성한다는 점을 시사한다. 극단적 불균형에서는 좁은 해 분지가, 중간 불균형에서는 평평한 고원이 형성된다. 이는 모든 방법이 이러한 기하학적 제약을 통과해야 하므로, 손실 수준 수정의 효과를 제한하는 것으로 보인다. 본 연구 결과는 실용적 지침을 제공한다. 표준 교차 엔트로피는 견고한 기준선을 제공하며, 전용 방법은 0.8–3.3% mIoU의 완만한 개선을 제공하지만 아키텍처와 데이터셋에 따라 달라지며, 부적절하게 튜닝되면 상당한 성능 저하 위험이 있다. 본 연구는 2D에서 효과가 입증된 기법들이 포인트 기반 3D 포인트 클라우드 분할로 쉽게 이전되지 않는 이유에 대한 최초의 메커니즘적 설명을 제공하며, 두 가지 대표적 아키텍처에서 검증되었다.
헤시안 행렬은 심층 학습에서 손실 지형과 최적화 역학을 연구하는 데, 또한 일반화 측도 설계, 2차 학습 알고리즘 등을 위해 중요한 관심 대상이다. 기존 연구들은 경험적 결과에 초점을 맞추었거나 지나치게 단순화된 설정 하에서 이론적 분석을 수행해왔다. 본 연구에서는 임의의 너비와 깊이를 갖는 선형 네트워크와, 임의 개수의 샘플·특성·라벨을 갖는 데이터셋에 대해 헤시안의 고유값을 유도한다. 중요하게도, MSE 손실을 사용하는 분류 작업에서 해의 샤프니스가 어떤 클래스에 속하는 샘플의 최대 비율과 직접적으로 관련됨을 밝힌다. 우리는 이 예측을 경험적으로 검증하고, 비현실적인 가정을 하나씩 제거하는 효과와 비선형성을 도입하는 영향을 체계적으로 분석한다. 대부분의 경우 예측이 상당히 견고함을 관찰하여, 보다 실용적인 학습 설정으로 결론을 확장할 수 있게 된다.
우리는 학습 과정에서 네트워크 매개변수가 등방성 정규 노이즈로 교란되는 조건 하에, 선형 회귀 과제에서 대각 선형 네트워크의 지형(landscape)과 학습 역학을 분석한다. 이러한 노이즈 추가는 확률적 형태의 선명도 인식 최소화(SAM, Sharpness-Aware Minimization)로 해석될 수 있으며, 기반 지형과 학습 역학에 대한 SAM의 작용을 손실의 선명도와 연관짓는 여러 결과를 증명한다. 특히, 노이즈는 네트워크 매개변수에 분수 노름(fractional norm) 페널티의 가중 혼합을 유도하여, 개별 레이어들이 빠른 속도로 균형을 맞추도록 강제하고, 실제 매개변수에 적용된 축소-임계값 연산자(shrinkage-thresholding operator)로부터 도출된 해를 선호하도록 기반 지형을 변화시킨다. 레이어들의 균형화는 동일한 선형 예측기의 모든 가능한 인수분해 중에서 평균 선명도와 헤시안 행렬의 트레이스를 최소화하는 것과 동등함을 보인다. 더 나아가, 정규 교란의 노이즈 수준이 정규화 매개변수로 작용하는 방식을 특성화하며, 축소, 임계값 처리 및 균형화 속도에 대한 효과를 정확히 기술한다.
신경망의 학습 손실 헤시안(Hessian)에 나타나는 수많은 근영(near-zero) 고유값의 기원을 규명하기 위해, 네트워크 매개변수화의 연속 대칭이 생성하는 의사-골드스톤(pseudo-Goldstone) 모드로 해당 벌크를 설명하는 이론적 프레임워크를 제시한다. 심층 선형 네트워크에서 정확한 영 모드의 고유벡터를 명시적으로 구성하고, ReLU 비선형성이 이 대칭을 약하게 깨뜨려 고유값이 ε²에 비례하여 상승함을 2층 학생-교사 모델과 CIFAR-10 학습 네트워크, 합성곱 네트워크에서 실증하였다.
신경망 학습 궤적을 시간적 네트워크로 처리하고 스칼라 임베딩(scalar embedding)을 적용해 고차원 학습 동역학을 저차원으로 압축 표현하는 방법을 제안하며, MNIST 분류 태스크의 다층 퍼셉트론(MLP) 실험을 통해 이 임베딩이 혼돈으로의 전이(transition to chaos), 최대 리아푸노프 지수(Lyapunov exponent) 재구성, 비상관화 시간(decorrelation time) 추정 등 주요 동역학적 특성을 충실히 보존함을 보였다. 또한 임베딩 공간에서 점근적 학습 상태의 간격 분포가 초기 조건에 무관하게 비대칭 로그정규 분포(skew lognormal distribution)로 수렴하는 보편적 통계 구조를 발견하였다.
평탄도 가설은 손실 헤시안의 고유값으로 측정되는 손실 경관의 평탄도가 더 나은 신경망 일반화 성능과 상관관계가 있다고 제안한다. 다양한 알고리즘이 이러한 고유값을 줄이지만, 대부분은 절차적 설계에 초점을 맞추고 있어 데이터 분포와 신경망 파라미터가 평탄한 극소점을 향한 방향을 구조적으로 어떻게 결정하는지는 불명확한 상태이다. 이러한 방향을 해석적으로 특성화하는 것은 일반적으로 다루기 어렵다. 이 수학적 어려움을 극복하기 위해 최근 연구들은 3층 신경망에서 교차 엔트로피 손실 헤시안 최대 고유값에 대한 Wolkowicz-Styan (WS) 상한을 도출하였다. 이 상한은 미분 가능함에도 불구하고 그 그래디언트는 도출되지 않았다. 따라서 본 연구에서는 평탄한 극소점으로 이어지는 방향을 특성화하기 위해 WS 상한의 그래디언트를 해석적으로 도출한다. 이를 기반으로, WS 상한의 최급강하 방향을 따라 파라미터를 갱신하는 헤시안 스펙트럼 범위(Hessian Spectral Range, HSR) 정규화를 제안한다. 실험 결과, HSR 정규화는 헤시안 고유값 스펙트럼을 좁히고, 뾰족한 극소점과 안장점을 회피하며, 평탄한 극소점으로의 수렴을 촉진함을 입증한다. 이 방법의 적용 가능성이 현재 교차 엔트로피 손실 및 3층 아키텍처에 한정되어 있지만, 저자들이 아는 한 이는 수치 근사 없이 평탄한 극소점으로의 수렴을 촉진하는 폐쇄형 그래디언트를 보고한 최초의 연구이다. 따라서 이 그래디언트의 이론적 분석은 신경망의 추가적인 발전에 기여할 것으로 기대된다.
우리는 엘리트주의 $(1+M)$ 유전 알고리즘의 유효 동역학이, 작은 돌연변이 한계에서, 비등방성 가우시안 백색 잡음 존재 하에 손실에 대한 클리핑된 경사하강법임을 보인다. 따라서 기댓값 관점에서, 단순한 돌연변이-선택 유전 알고리즘은 그래디언트를 명시적으로 계산하거나 손실 평가를 평균화하지 않고도 손실의 그래디언트를 따른다. 유전 알고리즘은 그래디언트에 수직한 방향으로 작용하는 잡음으로 인해 경사하강법보다 느리다. 그러나 이 속도 저하는 탐색 공간의 파라미터 수가 아니라 손실 함수의 헤시안의 유효 랭크(effective rank)에 의해 결정된다. 신경망 손실 함수에서 관찰되는 집중된 헤시안 스펙트럼의 경우, 유효 랭크는 파라미터 수보다 훨씬 작을 수 있으며, 이것이 유전 알고리즘이 대규모 탐색 공간으로 확장될 수 있는 이유를 설명할 수 있다.
신경망 양자화는 완전 정밀도(FP) 모델의 성능을 최대한 충실하게 보존하는 파라미터의 이산 표현을 찾는 것을 목표로 한다. 이산 제약을 강제하면 파라미터가 잘 최적화된 최솟값에서 벗어나게 되어 일반적으로 성능 저하가 발생한다. 최근 연구에 따르면, 저손실 FP 해(solution)는 고립되어 있지 않고 손실 경관(loss landscape)의 연결된 저손실 부분공간에 속하며, 이 부분공간에서 손실은 거의 동일한 최솟값을 유지한다. 이 부분공간에서 샘플링된 모델들은 다양하면서도 높은 정확도를 유지한다. 이는 다음과 같은 질문을 제기한다: 양자화된 모델이 FP 모델의 저손실 부분공간 내에 위치하도록 구성하여 성능을 자동으로 보존할 수 있는가? 우리는 손실을 최소화하도록 최적화된 가중치 공간 내의 양자화 인식(quantization-aware) 선형 경로를 학습함으로써 이 질문에 답한다. 결과적으로 생성된 부분공간의 중간점이 설계상 양자화에 친화적이며, 이를 직접 양자화하면 양자화 인식 학습(quantization-aware training)에 필적하는 성능이 달성됨을 입증한다. 제안된 절차는 가중치 양자화에 대한 새로운 관점을 제시하며, 기존 방법들과 달리 직통 추정기(straight-through estimator)에 의존하지 않고 학습 중 명시적인 이산화(discretization)도 포함하지 않는다.
심층 신경망(DNNs)은 L2 정규화 강도의 변화에 따라 1차 상전이를 보이며, 각 전이는 새로운 학습 가능한 특징의 시작을 알립니다. 임계 정규화 강도 미만에서는 모든 특징이 원칙적으로 학습 가능하지만, 에너지 장벽으로 분리된 공존하는 준안정 상태가 네트워크를 가두어 수렴을 방해할 수 있습니다. DNN의 강점은 일반화 능력입니다. 하지만 여전히 많은 미해결 문제가 남아 있으며, 그중 하나는 소위 그로킹(grokking)의 기원입니다. 즉, 장기간의 명백한 과적합 이후에 일반화가 갑작스럽게 지연되어 시작되는 현상입니다. 우리는 선형 DNNs에 대해 그로킹이 1차 L2 상전이에서의 히스테리시스와 일치함을 보입니다. L2 정규화를 사용하여 의도적인 가둠을 설계함으로써, 저정확도 준안정 상태에 있는 모델은 SGD 노이즈가 에너지 장벽을 넘어갈 때만 탈출하며, 탈출 시간은 아레니우스 스케일링을 따름을 입증합니다. 우리는 준안정 상태에 모델을 의도적으로 가둠으로써, 탈출 시간에서 두 자릿수의 크기 차이에 걸쳐 그로킹과 유사한 지연된 수렴을 재현했습니다. 희소 서브샘플링을 사용하여 우리는 테스트 오차가 최종 학습 오차에 결국 도달하는 전형적인 그로킹 곡선도 재현했습니다. 우리의 연구는 준안정 상태의 수가 학습 가능한 특징의 수(데이터 공분산의 특이값당 하나)와 같으며, 히스테리시스의 가능성은 작업 복잡도에 따라 자연스럽게 증가함을 시사합니다. 우리는 동일한 메커니즘이 일반적인 비선형 DNNs에서도 작동할 가능성이 있음을 입증하는 증거를 제시합니다. 우리의 결과는 더 효율적인 학습 방식으로 가는 경로를 제공합니다.
확률적 경사하강법(SGD)은 심층 학습의 핵심이지만, 더 평탄하고 일반화 가능한 해를 선호하는 역학적 기원은 여전히 불분명합니다. 여기서, SGD 학습 역학을 분석하여 학습 중 해 선택을 지배하는 비평형 메커니즘을 식별합니다. 수치 실험은 SGD 궤적이 최종 분지에 국한되기 전에 날카로운 계곡에서 반복적으로 탈출하여 손실 지형의 더 평탄한 영역으로 이동하는 일시적 탐험 단계를 보여줍니다. 해석 가능한 물리 모델을 사용하여, SGD 노이즈가 손실 지형을 평탄한 해를 우선적으로 안정화하는 유효 퍼텐셜로 재형성함을 보여줍니다. 우리는 또한 일시적 동결 메커니즘을 규명했습니다: 학습이 진행됨에 따라 평탄해지는 지형이 경쟁하는 계곡 사이의 전이를 억제합니다. 더 강한 SGD 노이즈는 이 동결 전이를 지연시켜 탐험 단계를 연장하고, 그로 인해 더 평탄한 최소점으로 수렴할 확률을 높입니다. 종합하면, 이러한 결과는 학습 역학, 손실 지형 기하학, 일반화를 연결하는 통합된 물리적 프레임워크를 제공하고, 더 효과적인 최적화 알고리즘 설계를 위한 지침 원칙을 제시합니다.
반응-확산 시스템의 그래디언트 기반 역문제는 일반적으로 대리 모델이나 물리 정보 신경망(PINNs)을 통해 접근하지만, 가장 직접적인 경로인 편미분 방정식(PDE) 구조 자체를 통한 역전파는 대부분 회피되어 왔습니다. 우리는 이 직접적인 경로를 진단용 프로브로 활용하여, 대리 모델이나 신경망 증강 없이 펼쳐진(unrolled) Gray-Scott 시뮬레이션을 통해 정상 상태 손실을 역전파함으로써 매개변수를 복원하고자 합니다. 최적화는 수렴에 실패하며, 지형을 직접 시각화하면 그 실패 원인이 기하학적 구조에 위치함을 알 수 있습니다. 즉, 그래디언트 신호가 없는 평탄한 고원과 분기 경계와 일치하는 날카로운 절벽으로 둘러싸인 구조이며, 이는 손실 함수 전반에 걸쳐 반복되고 그래디언트가 매개변수로 전달되는 방식과 상관없이 나타납니다. 이 최소 설정을 PINN에 대한 소거 연구(ablation)로 해석하여 각 구성 요소의 역할을 분리해 보았습니다. 신경망을 고정하면 잔차 손실은 PDE 매개변수에 대해 이차 함수가 되며 매끄러운 지형을 생성하므로, 모든 초기 조건에 걸쳐 전체 PDE 역학을 암묵적으로 인코딩함으로써 단독으로도 이미 병리적 현상을 피합니다. 반면 신경망은 잘 정의되지 않은 매개변수 부분 공간을 수정할 수 없으므로 관측된 데이터를 보완하는 역할만 수행합니다. 이는 기존에 명시적으로 밝혀지지 않았던 분업입니다. 이러한 발견은 PINN 유형 방법론에 대한 구체적인 설계 시사점과 추가된 차원이 실제로 언제 도움이 되는지에 대한 더 넓은 휴리스틱을 제공합니다.