PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06827v1cs.LG

아키텍처가 암시적 신경 표현의 전이 특이성을 형성한다

Architecture Shapes Transfer Specificity in Implicit Neural Representations

좌표 네트워크에서의 전이는 흔히 warm-start 이득으로 측정되지만, 그 이득이 소스 특이적 구조를 반영하는지 아니면 일반적인 가중치 재사용을 반영하는지는 덜 분명하다. 우리는 통제된 해석 테스트, 2D 뚜껑 구동 공동(lid-driven-cavity) Navier-Stokes 벤치마크, 열 방정식, 점성 Burgers, focusing cubic NLS에 대한 1D PDE 기준해 스위트를 사용하여 SIREN, 렐루(ReLU) MLP, Fourier 특징 MLP의 세 가지 암시적 신경 표현(INR) 계열에 걸쳐 이 질문을 조사한다. 해석 테스트는 독립 시드 무작위 대조군을 사용하고, PDE 벤치마크는 동일 계열의 대체 소스 대조군과 보조 ablation을 사용한다. 여러 설정에 걸쳐 전이 크기와 전이 특이성은 뚜렷하게 구분된다. 10-시드 통제 1D 기하 테스트에서 Fourier 특징은 가장 큰 구조적 전이($33.1\times$)를 보였고, 그다음이 SIREN($23.0\times$), 렐루($10.7\times$)였지만, 렐루는 훨씬 더 선택적이다: 무작위 대조군 전이는 렐루에서 $0.41\times$인 반면 SIREN에서는 $14.24\times$이다. 통제된 2-매개변수 1D 계열에서 순위는 바뀐다: 기본 설정에서 렐루가 구조적-대조 분리를 가장 뚜렷하게 보이는 반면, Fourier 특징은 대역폭 재조정 후에만 개선된다. Navier-Stokes와 더 넓은 1D PDE 스위트에서 단일 아키텍처가 모든 방정식을 지배하지는 않지만, 동일한 패턴은 유지된다: SIREN은 흔히 가중치를 광범위하게 재사용하는 반면, 렐루와(일부 방정식에서는) Fourier 특징은 더 소스 선택적이다. 정적 진단은 여전히 약하며, 휴리스틱 스케일링 법칙 $A_{\text{transfer}} \propto 1/Δt^2$는 구현된 1D 감사에서 기각된다. 이러한 결과는 전이 특이성을 좌표 네트워크에 대한 유용한 진단 지표로 자리매김하며, 과학 기계학습(scientific machine learning)에서 아키텍처 선택은 전이 크기만으로가 아니라 명시적 통제 조건 하에서 평가되어야 함을 시사한다.