헤시안 고유벡터 변위 및 국소화를 통한 옵티마이저 의존적 학습 동역학 특성 분석
Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization
한국어 초록
헤시안 스펙트럼 특성은 신경망 학습 분석에서 표준적인 도구로, 고유값은 날카로움(sharpness), 일반화, 최적화 동역학과 연관된다. 고유값이 곡률의 크기를 정량화하는 반면, 고유벡터는 해당 곡률을 생성하는 파라미터를 식별한다. 본 연구에서는 학습 과정에서 상위 헤시안 고유벡터가 어떻게 진화하는지, 그리고 이것이 학습 궤적에 어떤 영향을 미치는지를 분석한다. 우리는 분류 문제에서 다층 퍼셉트론(MLP)의 학습 동역학을 추적하고, 두 가지 상호 보완적인 통계량을 통해 고유벡터 동역학을 측정한다: (i) 유리질 시스템(glassy systems) 분석에서 착안한 시간에 따른 변위(displacement), 그리고 (ii) 역참여율(inverse participation ratio)을 이용한 국소화(localization). 이 지표들은 아키텍처에 의해 유도된 헤시안의 무작위 귀무 모델과 비교된다. 실험 결과, 명확한 옵티마이저 의존적 거동이 나타났다. SGD는 학습이 진행될수록 상위 곡률 방향이 점진적으로 안정화되는 반면, Adam은 학습 전반에 걸쳐 고유벡터의 훨씬 강한 재조직화를 보인다. 또한 Adam에서는 소수의 파라미터 집합이 상위 곡률 방향에 불균형적으로 크게 기여하는 국소화 현상도 관찰된다. 이러한 결과는 헤시안 고유벡터 동역학이 옵티마이저 거동과 그에 따른 학습 궤적의 핵심적인 차이를 포착함을 시사한다.
원문 초록
Hessian spectral properties are a standard tool in analysing neural-network training, with eigenvalues linked to sharpness, generalization, and optimization dynamics. Eigenvalues quantify curvature magnitude, while eigenvectors identify which parameters generate that curvature. In this work, we study how the leading Hessian eigenvectors evolve during training and how they affect the learning trajectories. We track the training dynamics of multilayer perceptrons on a classification problem and measure eigenvector dynamics through two complementary statistics: (i) displacement over time, inspired by analyses of glassy systems, and (ii) localization via the inverse participation ratio. The metrics are compared against a random null model of the Hessian induced by the architecture. Our results reveal clear optimizer-dependent behaviour. SGD leads to progressively more stable leading curvature directions, while Adam exhibits substantially stronger reorganization of eigenvectors throughout training. We also observe a localization phenomenon under Adam, where a small subset of parameters contributes disproportionately to the leading curvature directions. These results suggest that Hessian eigenvector dynamics capture key differences in optimizer behaviour and the resulting training trajectories.
요약
헤시안 고유벡터의 변위(displacement)와 역참여율(Inverse Participation Ratio)을 통해 SGD와 Adam의 학습 동역학 차이를 분석한 결과, SGD는 상위 곡률 방향이 점진적으로 안정화되는 반면 Adam은 학습 전반에 걸쳐 고유벡터가 지속적으로 재조직화되고 소수 파라미터에 곡률이 집중되는 국소화 현상을 보임을 확인하였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.30226v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공유 표상이 어떻게 특화되는가: 형성, 유지 및 잠재적 취약성
How Shared Representations Become Specialized: Formation, Maintenance, and Latent Susceptibility
여러 예측이 동일한 내부 표상(representation)을 사용할 때, 특정 타깃에 대한 정보는 다른 타깃에 대한 정보보다 복원하기 더 쉬운 상태로 남아 있을 수 있습니다. 본 연구에서는 최소 인공 학습자(minimal artificial learners)에서 이러한 특화(specialization)가 어떻게 형성되고 지속되며 변화하는지 조사합니다. 학습 과정에서 재구성 오차(reconstruction error)에 동일한 가중치가 부여되더라도, 어떤 타깃이 관측되는지를 변경하면 선호되는 타깃이 정밀하게 선택되고 이미 특화된 학습자의 방향을 재지정할 수 있습니다. 현재의 지지(support)를 제거하면 형성된 바이어스(bias)를 줄일 수 있는 반면, 상태 추종 업데이트 피드백(state-following update feedback)은 이를 유지할 수 있습니다. 이어 관측 및 업데이트 조건은 서로 다르지만 지정된 재구성 측정값은 일치하도록 형성된 학습자들을 비교합니다. 두 학습자는 동일한 짧은 반대 개입(opposing intervention) 하에서 모두 변화하지만 반응은 서로 다릅니다. Adam을 리셋하면 10회 업데이트 시점의 차이가 대부분 제거되며, 2차 모멘트(second moment)를 교환하면 어느 경로가 더 취약한지가 역전됩니다. 새로운 개입을 통해 평균 2차 모멘트 스케일링을 균등화하면 차이가 줄어들기는 하지만 완전히 제거되지는 않음을 보여줍니다. 즉, 좌표별(coordinate-wise) 패턴 또한 중요합니다. 새로운 Adam 또는 보정된 SGD를 사용하면 더 작은 경로 차이가 나중에 나타나는 반면, 500회의 공통 반대 업데이트는 선택된 할당 종점을 가깝게 만듭니다. 추가적인 대조군 실험에서는 획득 조건이 동일하고 평균 손실 가중치가 같더라도, 결합된 가중치 변동성과 실현된 시퀀스가 다를 경우 반응 차이가 발생함을 보여줍니다. 획득에 의해 선택되는 형성은 대칭적인 3개 타깃 설정으로도 확장됩니다. 이러한 개입들은 특화의 형성, 현재의 지지, 그리고 시간에 의존하는 잠재적 취약성을 구별해 줍니다.
상충하는 감독은 역량이 아닌 전념을 이동시킨다: 관례 무관 점수 하에서는 정확히 0이 되는 12.29σ의 배치 효과
Conflicting Supervision Moves Commitment, Not Capability: A 12.29σ arrangement effect that is exactly zero under a convention-agnostic score
둘 다 맞지만 서로 양립할 수 없는 두 가지 관례로 작성된 동일한 문제들로 모델을 학습(training)시키고, 이러한 데이터의 순서가 파라미터에 무엇을 새겨 넣는지 질문해 본다. 학습률 스케줄(learning-rate schedule)은 그 질문에 대한 배경 조건에 불과한 것이 아니다. 그것은 평균화 연산자(averaging operator)이며, 그 해답을 결정한다. 우리는 순서 효과에 배치와 스케줄이 서로 곱해지는 분리된 인수로 들어가는 경계를 증명한다. 배치는 오직 블록 주기(block period)로서만, 스케줄은 종점이 실행 과정의 특정 시점에 얼마나 많은 가중치를 둘 수 있는지로서만 관여한다. 감쇠하는 스케줄(decaying schedule)은 동일한 시점에 큰 보폭(step size)과 수축되지 않은 잔차를 동시에 둘 수 없지만, 상수 스케줄은 마지막 스텝에서 정확히 그렇게 한다. 감쇠가 순서 효과를 완화한다는 점은 사전학습(pre-training)에서 보고된 바 있으나, 그 메커니즘과 분리, 그리고 두 부분에 대한 통제된 측정은 본 연구의 성과이다. 하나의 말뭉치, 하나의 예산으로 경로 외의 모든 것을 고정한 채 10가지 순서로 lr_scheduler_type만 다르고 다른 것은 동일한 군(family) 하에서 두 번 실행하였다. 상수 학습률에서는 내부가 할당에서 0.2221, 11.63의 대비 하한을 차지하며 배치가 얼마나 블록화되어 있는지에 따라 단조성을 띤다. 기발표된 모든 실험군(arm)이 사용하는 단일 코사인 하에서는, 동일한 10개의 실험군이 자체 해상도로는 약 10개를 허용함에도 식별 가능한 2개의 상태를 차지한다. '순서가 중요하다'와 '순서가 중요하지 않다'는 하나의 조절 노브의 양쪽 끝에 해당한다. 경로가 새겨 넣는 것은 모델이 어느 관례에 전념(commit)하는지이며, 어떤 완전 일치(exact-match) 벤치마크도 이를 감지할 수 없다. 12개의 실험군 전반에서 acc_A+acc_B는 9.7% 이내로 일정한 반면 할당 비율은 0.04에서 0.87까지 변동하므로, 본 논문에서 측정하는 12.29-시그마 배치 전환은 관례 무관(convention-agnostic) 지표 하에서는 정확히 0이다. 이러한 보존 법칙은 감쇠군 전체에서 인용된 것으로, 상수 학습률군은 이를 확인하기에 더 노이즈가 많은 환경이다. 프롬프트에 관례를 명시하면 이러한 전환이 붕괴되어 합집합 상한(union ceiling)의 87.5%에 도달한다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한
Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화
Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders
AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.