PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21637v1cs.LG

메타 강화학습을 위한 준몬테카를로 초기화

Quasi-Monte Carlo Initialization for Meta-Reinforcement Learning

본 논문은 현대 벤치마크 환경에서 메타 강화학습을 위한 준몬테카를로(QMC) 가중치 초기화의 효과를 탐구한다. 다양한 샘플링 방법을 사용하여 모집단 기반 탐색을 제한하고 기준선 작업 집합으로부터 최적 사전분포를 집계한다. QMC 메타 사전분포는 유사한 미관측 연속 제어 환경으로 외삽했을 때 현대적인 직교(SB3) 기본값과 비교하여 학습 수렴에서 개선을 보인다. 상이한 작업에서는 편향 없는 탐색을 위해 직교 방향이 전반적으로 우수했다.

arXiv:2607.14233v1cs.LG

LIGO-PINN: 게이트 최적화를 통한 학습된 초기화로 물리 정보 신경망의 수렴 실패 완화

LIGO-PINN: Learned Initialization via Gated Optimization to Alleviate Convergence Failures in Physics Informed Neural Networks

물리 정보 신경망(PINN)은 편미분방정식(PDE)이 지배하는 영역의 모델링에서 넓은 연구적 영향을 미쳐 왔다. 그러나 PINN은 어려운 PDE 영역에서, 또는 보이지 않지만 관련된 PDE 영역으로 일반화할 때 성능이 낮은 것으로 나타났으며, 때로는 자명한 해로 수렴하기까지 한다. 기존에 제안된 해결책들은 데이터 기반 손실과 물리 유도 손실 간 손실 불균형을 줄이기 위한 하이퍼파라미터 튜닝, 커리큘럼 학습(curriculum learning) 기반 학습 전략, 또는 어려운 collocation point의 동적 재샘플링 등을 상세히 다룬다. 이러한 방법들은 특정 함정에 직면한다. 하이퍼파라미터 튜닝은 비용이 많이 들고, 다중 매개변수 PDE 설정에서는 학습 커리큘럼 설계가 모호하며, 동적 재샘플링은 복잡한 PDE 설정에서 여전히 실패한다. 이러한 사고방식에 보완적으로, 초기 PINN 네트워크 가중치가 학습 중 치명적 실패의 출현에도 중요한 역할을 한다고 우리는 본다. 그럼에도 PINN 가중치 초기화의 영향은 놀랍도록 연구가 부족했다. 이를 위해 PINN 수렴 실패를 극복하기 위한 게이트 계층별 최적화(Gated Layerwise Optimization)를 통한 학습된 초기화(Learned Initialization)(LIGO-PINN) 프레임워크를 제안한다. 1D 및 2D PDE 영역, 여기에는 어려운 2D 유체 역학 설정을 포함하여, 엄격한 평가를 통해 우리 방법론이 PINN 실패를 완화하도록 설계된 최신 방법들을 능가함을 보인다. 6개 기준선에 걸친 평균 91.5%의 성능 향상과 가장 강력한 기준선 대비 81% 향상을 달성한다. 또한 LIGO-PINN이 3D 비구조(unstructured) 영역으로 일반화됨을 검증한다. 마지막으로, 세 PDE 영역 전반의 학습 역학을 분석하여 LIGO-PINN의 개선과 전통적 PINN의 수렴 실패를 모두 설명한다. 코드: https://github.com/scailab/ligo-pinn 키워드: 기계 학습, 물리 정보 신경망, 심층 학습, PDE 모델링

arXiv:2607.09204v1cs.CL

언어 모델 사전학습을 위한 복잡도 기반 컴포넌트별 초기화

Complexity-Guided Component-wise Initialization for Language Model Pretraining

사전학습된 언어 모델은 구조화된 가중치 스펙트럼을 자주 나타내며, 이는 학습이 레이어별 및 컴포넌트별로 유사한 구조를 반복적으로 생성할 수 있음을 시사한다. 본 연구에서는 이러한 반복적인 스펙트럼 패턴을 GPT-2 방식의 언어 모델 사전학습을 위한 초기화 신호로 재활용할 수 있는지 탐구한다. 먼저, 크기·언어·토크나이저·학습 코퍼스가 상이한 11개의 사전학습된 GPT-2 방식 체크포인트를 분석하여, 레이어와 트랜스포머 서브컴포넌트 전반에 걸쳐 프로베니우스 노름(Frobenius norm)과 유효 랭크 엔트로피(effective-rank entropy)를 측정한다. 해당 체크포인트들은 공통된 깊이별 경향을 보이며, 특히 잔차 기록 행렬(residual-writing matrices)에서 스케일 증가와 강한 스펙트럼 집중이 관찰된다. 이후 사전학습된 모델의 컴포넌트별 크기와 스펙트럼 프로파일을 모방하는 초기화 방식을 구성하고, 여러 가중치 초기화 방법들과 비교한다. 이러한 초기화 방식은 모델의 구조적 스펙트럼 패턴을 뚜렷하게 변화시키지만, 평가 결과는 그에 상응하는 성능 이점을 보이지 않는다. 사전학습 가중치 재활용은 여전히 경쟁력 있는 방법인 반면, 거친 스펙트럼 매칭만으로는 신뢰할 만한 최적화 전략이 되지 못한다. 본 연구의 결과는 사전학습된 스펙트럼이 학습된 모델 구조를 진단하는 데 유용하지만, 효과적인 재활용을 위해서는 컴포넌트별 스케일과 특잇값(singular-value) 형태보다 더 풍부한 정보를 보존해야 할 가능성이 높음을 시사한다.

arXiv:2606.28444v1cs.LG

S-GAI: 시그모이드 MLP를 위한 스펙트럴 기하 인식 초기화 -- 데이터셋 기하에서 네트워크 가중치까지

S-GAI: Spectral Geometry-Aware Initialization for Sigmoidal MLPs -- From Dataset Geometry to Network Weights

고전적인 범용 근사 정리는 시그모이드 다층 퍼셉트론의 표현력을 확립하지만, 초기 가중치가 데이터 분포의 기하를 어떻게 인코딩해야 하는지는 규정하지 않는다. 우리는 단일 은닉층 시그모이드 MLP를 위한 스펙트럴 기하 인식 초기화 프레임워크인 S-GAI를 제안한다. 시그모이드 유닛이 부드러운 반공간(half-space) 게이트로 작동할 수 있다는 구성적 아이디어에서 출발하여, 수작업으로 지정된 평면 기하에서 이미지 데이터로부터 추정된 클래스별 스펙트럴 기하로 나아간다. 각 클래스에 대해 SVD는 평균, 주요 방향, 그리고 스펙트럴 스케일을 제공한다. 에너지 임계값이 유지할 방향을 선택하며, 유지된 각 방향은 두 개의 시그모이드 게이트로 표현된다. 이러한 클래스별 게이트는 학습 세트로부터 직접 초기화된 공유 은닉층을 구성한다. 또한 SVD 기반 부분공간 분류기를 비신경망 기하 참조로 공식화하여, 추정된 스펙트럴 클래스 기하가 MLP에 임베딩되기 전에 이미 판별력을 갖는지 검증한다. MNIST, Fashion-MNIST, 그리고 더 어려운 CIFAR-10 실험 결과, S-GAI로 초기화된 MLP는 Xavier 초기화보다 훨씬 더 정보량이 많은 은닉 상태에서 시작하며, 완전 학습 시 비교 가능한 최종 정확도에 도달함을 보인다. 은닉층을 고정한 상태에서 출력층만 학습하더라도 고정된 무작위 게이트보다 더 높은 성능을 달성하며, 이는 S-GAI가 클래스별 스펙트럴 기하를 MLP에 효과적으로 임베딩함을 입증한다.

arXiv:2606.25256v1cs.CV

Pre-Warm: 합성곱 신경망을 위한 입력 조건부 가중치 초기화

Pre-Warm: Input-Conditioned Weight Initialization for Convolutional Neural Networks

우리는 첫 번째 합성곱 층의 데이터 조건부 초기화를 위한 간단하면서도 효과적인 학습 비용 제로 방법인 Pre-Warm을 제안한다. 첫 번째 순전파 이전에, Pre-Warm은 단일 학습 배치에서 평균 중심화된 로컬 패치를 추출하고, MiniBatchKMeans로 군집화하며, 역 맨해튼 공간 가중치를 적용한 후, 그 결과로 얻은 센트로이드를 사용해 첫 번째 층 필터의 절반을 초기화한다(나머지는 Kaiming 초기화를 유지). 단일 스케일 매개변수를 제외한 모든 하이퍼파라미터에 대해 닫힌형 규칙을 도출하며, 패치 차원수로부터 스케일에 대한 Kaiming 동등성 경계를 유도한다. 흑백 데이터셋에는 Otsu의 전경 밀도를, 자연 컬러 이미지에는 평균 중심화된 패치의 평균 L2 노름을 사용한다. 두 규칙 모두 격자 탐색에서 관찰된 최적 패치 수를 정확히 예측한다. MNIST, Fashion-MNIST, CIFAR-10, SVHN, CIFAR-100 등 5개의 표준 벤치마크와 8개 시드 쌍 실험에서, Pre-Warm은 표준 Kaiming 초기화 대비 통계적으로 유의미한 정확도 향상을 달성한다(모든 데이터셋에서 p < 0.05, SVHN에서 8/8 승리로 p = 0.0007, CIFAR-100에서 7/8 승리로 p = 0.0033). 이 방법은 무시할 수 있을 정도의 오버헤드를 추가하고, 아키텍처 변경이 불필요하며, 단 몇 줄의 코드만으로 기존 학습 파이프라인에 통합된다. Pre-Warm은 경량의 입력 의존적 신호만으로도 현대 합성곱 네트워크의 최적화 궤적을 의미 있게 개선할 수 있음을 보여준다.

arXiv:2606.17945v1cs.AI

Small Initialization Matters for Large Language Models

대규모 언어 모델(LLM)은 단순히 모델을 어떻게 엔지니어링할 수 있는지를 묻는 것을 넘어, 지능 자체가 어떻게 발현하는지를 탐구할 수 있는 실현 가능한 시스템을 제공합니다. 일반적으로 진보는 규모, 데이터, 아키텍처에 기인한다고 여겨지지만, 본 연구는 매개변수 초기화가 학습, 특히 모델 용량을 결정짓는 유전자와 같은 요인임을 보여줍니다. 초기화 규모를 줄이는 것은 사전학습을 지속적으로 개선하며, 특히 추론이 필요한 작업에서 가장 큰 성능 향상을 보입니다. 우리는 작은 초기화의 이점을 억제하는 두 가지 널리 사용되는 경험적 설정을 식별하고, 이를 완화했을 때 유리한 스케일링이 어떻게 복원되는지 보여줍니다. 또한, 추론과 학습 사이의 균형을 맞추는 임계 초기화(critical initialization)를 밝혀냈습니다. 메커니즘 측면에서 작은 초기화는 독특한 발달 궤적을 유도합니다. 매개변수는 먼저 낮은 복잡도 구조로 응축되었다가 이후 더 풍부한 표현으로 확장되는데, 이는 '압축은 지능이다'라는 아이디어에 구체적인 형태를 부여하는 것입니다. 토큰 수준 분석 결과, 성능 향상은 모든 토큰에 균일하게 나타나는 것이 아니라 사소하지 않고 문맥에 의해 제약된 예측에 집중되는 것으로 나타났습니다. 이러한 결과는 간단한 $\gamma$-초기화 규칙을 정립하게 합니다. 초기화 범위를 명시적인 조절 변수로 설정하고 기본적으로 작은 초기화를 사용하는 것으로, 이는 모델 규모에 관계없이 사전학습을 개선하고 추론 능력을 강화하는 거의 무비용의 개입입니다.