PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02593v1cs.LG

대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택

Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models

데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.

arXiv:2604.02751v3cs.LG

피셔 기하학을 통한 잠재 공간 확산 가능성의 이해

Understanding Latent Diffusability via Fisher Geometry

확산 모델(Diffusion model)은 잠재 공간(latent space)에서 성능이 저하되는 경우가 많지만, 이에 대한 형식적인 원인은 여전히 명확히 규명되지 않았습니다. 본 연구에서는 확산 궤적을 따른 최소 평균 제곱 오차(MMSE)의 변화율을 통해 잠재 공간의 확산 가능성(diffusability)을 정량화합니다. 제안하는 프레임워크는 이 MMSE 변화율을 피셔 정보(Fisher Information, FI)와 피셔 정보율(Fisher Information Rate, FIR)의 기여도로 분해합니다. 우리는 등거리 임베딩(isometric embedding)이 내재적 FI를 보존함을 보이고, 약한 부피 왜곡이 제어된 더 넓은 클래스의 bi-Lipschitz 인코더에 대한 정량적 내재적 FI 한계를 확립하는 반면, FIR은 인코더와 데이터 기하학 간의 상호작용에 의해 지배됨을 보입니다. 또한 가우스 평활화된(Gaussian-smoothed) FIR의 국소 안정성 한계에서 차원 압축, 접선 왜곡, 고주파 인코더 곡률, 데이터 다양체 곡률이라는 네 가지 기하학적 기여를 분리하여 분석합니다. 다양한 오토인코더 아키텍처에 대한 실험은 이론이 규명한 기하학적 메커니즘을 정성적으로 뒷받침하며, 테스트된 환경에서 경험적 FI 및 FIR이 생성 품질과 잠재 공간 기하학의 여러 척도를 추적함을 보여줍니다. 이를 통해 우리는 잠재 확산 가능성을 이해하기 위한 포괄적인 분석 프레임워크로서 FI와 FIR을 확립합니다.

arXiv:2511.15375v2cs.LG

파운데이션 모델을 위한 매개변수 중요도 기반 지속 학습

Parameter Importance-Driven Continual Learning for Foundation Models

도메인 특화 사후 학습은 종종 치명적 망각(catastrophic forgetting)을 유발하여, 파운데이션 모델이 일반적인 추론 능력을 잃게 하고 동적인 실세계 환경에 대한 적응력을 제한한다. 일반 역량을 유지하면서 하위 도메인 지식을 습득하는 것은 대규모 언어 및 멀티모달 모델의 핵심 과제이다. 정규화, 리플레이(replay), 구조적 격리(architectural isolation) 등 전통적인 지속 학습 방법은 하위 작업 성능 저하, 접근 불가능한 과거 데이터에 대한 의존, 또는 추가 매개변수 오버헤드 문제가 있다. 최근의 매개변수 효율적 튜닝(PET) 방법은 망각을 완화할 수 있지만, 그 효과는 매개변수 선택과 업데이트 전략에 크게 좌우된다. 본 논문에서는 PIECE(Parameter Importance Estimation-based Continual Enhancement)를 제안한다. 이는 이전 학습 데이터에 접근하거나 모델 매개변수를 늘리지 않으면서 일반 능력을 보존하고 도메인 지식을 효율적으로 학습하는 방법이다. PIECE는 Fisher Information 기반 PIECE-F와 그래디언트 및 곡률(curvature) 정보를 결합한 2차 정규화 기반 PIECE-S, 두 가지 중요도 추정기를 통해 새 작업과 가장 관련 있는 핵심 매개변수의 0.1%만 선택적으로 업데이트한다. 3개의 언어 모델과 2개의 멀티모달 모델에 걸친 실험에서 PIECE는 일반 역량을 유지하면서 다양한 하위 작업에서 최첨단 지속 학습 성능을 달성한다. 결과는 치명적 망각 없이 확장 가능하고 도메인 적응적인 파운데이션 모델로 나아가는 실용적 경로를 보여준다.

arXiv:2607.20578v1cs.LG

Fisher 너비: 국소 학습 기하와 이방성 복원

Fisher Widths: Local Learning Geometry and Anisotropic Recovery

통계적 다양체(statistical manifold) 위에서 가우시안 너비(Gaussian-width) 복잡도를 두 함수형 쌍을 통해 연구한다: Fisher 계량(Fisher metric)에 의해 유도되는 원시(primal) Fisher 너비 $w_G(T) = w(G^{1/2}T)$, 그리고 역 Fisher 계량(inverse Fisher metric)에 의해 유도되는 역-Fisher 너비 $w_{G^{-1}}(T) = w(G^{-1/2}T)$. 두 너비는 상보적인 통계적 역할을 한다. 학습 측면에서 Fisher 너비는 Fisher 정보에 의해 유도된 기하에서 국소 매개변수 변동의 크기를 측정한다. Fisher-정규 손실(Fisher-regular losses)에 대해, 충분히 작은 Fisher 볼(Fisher balls) 위에서 척도 \(w_G(H_r)/\sqrt n\)이 달성됨을 증명한다. 복원 측면에서 역-Fisher 너비는 역 Fisher 정보에 의해 공분산이 결정되는 이방성 가우시안 측정의 효과를 포착한다. 희소 복원(sparse recovery)의 경우, 결과 기하는 희소성뿐만 아니라 Fisher 스펙트럼에서 활성 좌표(active coordinates)의 위치에도 의존한다. 우리는 해당 통계 차원(statistical dimension)에 대한 양측 추정(two-sided estimate)을 얻으며, 지지(support) 민감 복원 추정과 서로 다른 곡률 프로파일(curvature profiles)을 가진 지지들의 자연스러운 순서(ordering)를 함께 제시한다. 마지막으로, 원시 Fisher 너비와 역-Fisher 너비 사이의 날카로운 관계를 확립한다. 임의의 공통 컴팩트 좌표 집합 $T$에 대해, 다음을 만족한다: \[ w_G(T)w_{G^{-1}}(T)\geq w(T)^2. \] 따라서 Fisher 이방성(anisotropy)은 한 기하에서 다른 기하로 복잡도를 전달할 수 있지만, 유클리드 척도(Euclidean scale)에 상대적으로 두 너비를 모두 줄일 수는 없다.

arXiv:2505.17974v2cs.LG

일반화 Fisher 가중 SVD: 대규모 언어 모델 압축을 위한 확장 가능한 Kronecker 분해 Fisher 근사

Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models

Fisher 정보는 신경망에서 매개변수의 민감도를 특성화하는 근본적인 개념이다. 그러나 전체 관측 Fisher 정보를 활용하는 것은 대규모 모델에서는 비용이 너무 크므로, 대부분의 방법은 단순한 대각 근사에 의존한다. 효율적이긴 하지만, 이 접근법은 매개변수 상관관계를 무시하여 종종 다운스트림 태스크에서 성능 저하를 초래한다. 본 연구에서는 이러한 한계를 완화하고, Fisher 정보 행렬의 대각 및 비대각 원소를 모두 고려하여 매개변수 중요도를 더 정확하게 반영하는 사후 학습 LLM 압축 기법인 Generalized Fisher-Weighted SVD(GFWSVD)를 제안한다. 방법을 실행 가능하게 만들기 위해, 관측 Fisher 정보에 대한 Kronecker 분해 근사 알고리즘의 확장 가능한 변형을 도입한다. LLM 압축에서 본 방법의 효과를 입증하였으며, 기존 압축 베이스라인 대비 개선을 보였다. 예를 들어, MMLU 벤치마크에서 압축률 20% 조건에서, 본 방법은 Fisher 정보의 대각 근사에 기반한 FWSVD보다 5%, SVD-LLM보다 3% 우수하며, ASVD보다 압축률 6% 더 높은 결과를 달성한다.

arXiv:2606.28225v2cs.LG

인과적 확률론적 시간 그래프에서의 추정-예측 트레이드오프

Estimation-Prediction Tradeoff in Causal Probabilistic Temporal Graphs

시간적 링크 예측(TLP)은 일반적으로 미관측 엣지에 대한 예측 성능으로 평가되지만, 이 기준은 예측 정확도와 기저 인과 메커니즘의 복원을 혼동할 수 있다. 확률론적 모델에서 피셔 정보(Fisher information)는 매개변수 추정 오차에 대한 크라메르-라오(Cramér–Rao, CR) 하한을 지배한다: 피셔 정보가 높을수록 더 정확한 매개변수 복원이 가능하다. 우리는 피셔 정보와 엔트로피 사이의 공단조 조건(comonotonicity conditions) 하에서, 이진 로지스틱 모델이 추정-예측 트레이드오프를 나타냄을 보인다: 피셔 정보가 높아 CR 하한이 작은 체제일수록 환원 불가능한 예측 엔트로피도 높아진다. TLP에서 이 트레이드오프를 연구하기 위해, 우리는 과도 엣지(transient edges)와 알려진 ground-truth 인과 구조를 가진 시간 그래프의 확률론적 인과 생성기를 도입하고, 이 현상을 실험적으로 검증한다.

arXiv:2607.03145v1cs.LG

CuBAS: 지도 분류를 위한 정보 기하학적 곡률 기반 적응형 샘플링

CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification

q-상태 Potts 마르코프 랜덤 필드(MRF) 기반의 정보 기하학적 프레임워크인 CuBAS는 레이블된 데이터셋을 통계 다양체로 모델링하고, Fisher 정보의 1차·2차 비율로 추정한 국소 곡률을 활용해 지도 분류에서 정보량이 높은 샘플을 적응적으로 선택한다. 결정 경계 주변의 고곡률 영역과 균질한 저곡률 영역을 모두 포함하는 방식으로 훈련 부분집합을 구성하며, 60개 이상의 벤치마크 데이터셋에서 랜덤 샘플링 및 불확실성 기반 베이스라인 대비 통계적으로 유의미한 분류 정확도 향상을 달성한다.

arXiv:2606.21158v1cs.LG

Dead-Direction Signatures: 특이 복잡도의 저비용 스펙트럴 판독

Dead-Direction Signatures: A Cheap Spectral Reading of Singular Complexity

특이 학습 이론(singular learning theory)은 손실 특이점의 기하학을 통해 심층 네트워크의 복잡도를 규명한다. 지역 학습 계수(LLC, local learning coefficient)는 Watanabe의 실 로그 정준 임계값(RLCT, $λ$)의 표준 추정량으로, SGLD를 통해 이 기하학을 통합 베이지안 스칼라로 판독하며, 작업별 보정과 체크포인트당 $10^4$-$10^6$회의 순전파-역전파가 필요하다. 우리는 Dead-Direction Signatures(DDS)를 도입한다. 이는 특이 구조에 대한 저비용 폐형식 스펙트럴 판독의 한 계열로, 각각은 선택된 층에서 네트워크의 활성화 행렬 또는 샘플별 그래디언트 Fisher-Gram을 읽으며, SGLD 사후(posterior) 체인을 스펙트럴 선형대수로 대체한다. 이 판독은 임의의 특이 최솟값에서 활성화 측과 Fisher 측 스펙트럼 사이의 구조적 상관을 예측하는 dead-direction 프레임워크와, 단일 고유값 모니터로는 얻을 수 없는 rank-곱적 부피 항등식에 기반한다: 활성 부피(active-volume) $\log\det^{+}(G)$ 기울기는 dead directions의 개수를 세며, $r \in \{1,2,3,4\}$에 걸쳐 rank-deficit $r$을 추적한다($r{=}2,3,4$에서 기울기 비 $2.0, 3.1, 4.0$ vs 예측값 $2,3,4$), 여기서 최소 고유값은 rank에 무감(rank-blind)하다. 폐형식 $λ$를 갖는 축소 rank 회귀(reduced-rank regression)에서, 보정된 LLC는 평균 $99\%$로 $λ$를 복원하고 DDS 관측량은 프레임워크가 예측한 부호에서 rank로 이를 추적한다; 비선형 modular-addition 트랜스포머에서는 프로토콜 예산에서 보정된 LLC가 rank-flat한 반면, DDS는 열여덟 자릿수의 크기에 걸쳐 $d_{\mathrm{model}}$을 분리한다. LLC의 통합 사후 판독을 보완하여, DDS는 네트워크의 dead directions에 대한 방향적·층-국소적 접근 수단을 제공하며, 이는 활성화 및 그래디언트 스펙트럼으로부터 폐형식으로 판독된다.

arXiv:2606.20842v1cs.CV

불확실성에서 안정성과 충실도로: Fisher Information을 활용한 희소 시점 3D Gaussian Splatting

From Uncertainty to Stability and Fidelity: Guiding Sparse-View 3D Gaussian Splatting with Fisher Information

3D Gaussian Splatting(3DGS)는 새로운 시점 합성(novel view synthesis)을 위한 유망한 기법으로 부상했다. 그러나 3DGS는 고품질 렌더링을 달성하려면 밀집된 입력 시점이 필요하다. 희소 시점(sparse-view) 시나리오에서 3DGS는 종종 과적합에 빠져 눈에 띄는 아티팩트와 저하된 렌더링 품질을 초래한다. 기존 방법들은 추가 사전(prior)(예: 깊이 사전)을 도입하거나 정규화 기법(예: 드롭아웃)을 통합하여 이 문제를 해결하려 한다. 그러나 이러한 방법들은 원칙에 기반한 가이드 없이 적용되는 경우가 많다. 특히 사전 기반 증강(augmentation)은 보통 새로운 시점을 무작위로 샘플링하고, 드롭아웃 기반 정규화는 Gaussian을 무작위로 제거한다. 이러한 무작위성의 결합은 불확실성과 불안정성을 유발하여 새로운 시점 합성의 충실도(fidelity)를 제한한다. 본 논문에서는 Fisher Information을 통합하여 기하학적 사전과 정규화의 활용을 정량적으로 가이드하는 희소 시점 3DGS를 위한 새로운 방법을 제안한다. 구체적으로, 본 방법은 두 가지 핵심 구성 요소로 이루어진다: (1) Fisher Information을 활용한 스테레오 증강(stereo augmentation). Fisher Information을 활용하여 가장 정보가 풍부한 보조 시점(supporting views)을 능동적으로 선택하고 깊이 사전을 사용하여 신뢰할 수 있는 pseudo ground truth를 구성함으로써, 증강의 무작위성을 줄이고 안정성과 렌더링 충실도를 향상시킨다; (2) 불확실성 인식 정규화(uncertainty-aware regularization). Fisher Information을 사용하여 각 3D Gaussian의 불확실성을 정량적으로 측정하고 제거 확률을 적응적으로 조정함으로써 드롭아웃 기반 정규화의 불안정성을 줄여, 더 안정적이고 효과적인 정규화를 달성한다. 이 두 구성 요소를 통해 본 방법은 희소 시점 3DGS에서 과적합을 효과적으로 완화하고 최적화(optimization)의 안정성을 향상시켜 우수한 렌더링 충실도를 달성한다. 광범위한 실험 결과, 본 방법은 희소 시점 새로운 시점 합성 벤치마크(benchmark)에서 최첨단(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2606.19491v1cs.LG

LayerNorm 트랜스포머에서의 대수적 죽은 방향: LLM 규모에서의 순전파 전용 진단

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

사전학습된 트랜스포머는 손실(loss)의 특이 최솟값 근처에 위치하며, 여기서 피셔 정보 메트릭은 죽은 방향(dead directions)을 따라 퇴화합니다: 이는 매개변수 공간에서 방향성 피셔가 0이 되는 방향들입니다. 이러한 방향을 찾는 것은 일반적으로 순전파(forward pass)와 활성화(activations)의 고유분해, 또는 샘플링 기반 복잡도 추정이 필요합니다. 그러나 이 방법들은 네트워크의 매개변수(parameter)만으로 계산할 수 있는 방향을 반환하지 않습니다. 본 연구에서는 LayerNorm 트랜스포머에 대해 그러한 방향을 제시합니다. LayerNorm 아핀(affine)의 역스케일 방향 $γ^{-1}/\|γ^{-1}\|$은 모든 입력 분포에 대해 최종 정규화 후 중심화된 활성화 공분산의 정확한 대수적 커널(kernel)이며, 매개변수 공간에서 해당하는 죽은 방향을 유도합니다. 이는 순전파나 역전파, 고유값 풀이 없이 LN 스케일 매개변수만으로 읽어낼 수 있습니다. 이는 LayerNorm에 특화된 가장 비용 효율적인 죽은 방향 탐지 방법입니다. 우리는 14개의 사전학습된 트랜스포머(9개 LayerNorm, 5개 RMSNorm; 160M-35B; 언어 및 비전 목적)에서 이를 테스트했습니다. 무작위 초기화 시, 예측된 방향은 9개의 LayerNorm 모델 모두에서 측정된 최하위 특이 방향(한 번의 순전파, 직접 SVD)과 소수점 네 번째 자리까지 일치했습니다. 반면, 이를 생성하는 평균 감산 프로젝터(mean-subtraction projector)가 없는 5개의 RMSNorm 모델에서는 해당 방향이 올바르게 나타나지 않았습니다. 학습된 체크포인트(checkpoint)에서 이 방향에 따른 공분산 고유값은 약 $10^3$배 깊어지며 추가적인 죽은 방향이 나타납니다. 초기화-학습 간의 차이는 예측된 좌표를 따른 특이 구조에 대한 체크포인트당 단일 순전파 판독값입니다. 이로부터 두 가지 결과가 해석적 형태(closed form)로 도출됩니다. 첫째, 자체 입력 분포에서 측정된 14개 트랜스포머 중 13개에서 잔차 스트림(residual stream)의 최소 특이값이 블록 간에 보존되었습니다. 단일 예외(Gemma$4$-$31$B)는 동일한 판독 방식이 지적한 진짜 죽은 방향입니다. 둘째, 커널(kernel) 방향의 존재 여부만으로 매개변수만을 통해 트랜스포머의 정규화 방식을 분류할 수 있습니다.

arXiv:2606.18306v1cs.LG

필셔 너비: 통계적 다양체에서의 복잡도에 대한 기하학적 척도

Fisher Width: A Geometric Measure of Complexity on Statistical Manifolds

유클리드 가우시안 너비(Gaussian width)는 통계 모델의 피셔 정보 메트릭(Fisher information metric) 기하를 반영하지 못하므로, 국소 메트릭 텐서 $G(\theta)^{1/2}$로 방향을 재가중하는 필셔 너비(Fisher width)를 제안해 통계적 다양체에서의 복잡도를 측정한다. Fisher-Lipschitz 가설 클래스에 대한 일반화 바운드를 증명하고 경험적 Fisher 기반 추정량을 MNIST의 logistic·softmax·ridge 모델에서 검증한다.