SirenFNO: 푸리에 신경망 연산자의 효율적이고 전체 주파수 학습
SirenFNO: Efficient and Full Frequency Learning of Fourier Neural Operators
한국어 초록
푸리에 신경망 연산자(FNOs)는 편미분 방정식의 해를 근사하는 데 있어 효과적이고 효율적인 대리 모델이며, 이산화 방식에 걸쳐 일반화됩니다. 그러나 FNO의 학습 효율성을 유지하기 위해 주파수 절단에 의존하기 때문에, 경험적 연구에 따르면 FNO는 저주파 정보에 대한 스펙트럼 바이어스를 보이며, 이는 특히 강한 고주파 진동이 있는 특정 PDE의 학습 능력을 저해할 수 있습니다. 이러한 제한을 해결하기 위해, 우리는 사인 표현 신경망(SIRENs)을 활용하여 암시적 신경 표현을 학습하고 모드별 커널 매개변수화를 수행하는 새로운 프레임워크인 SirenFNO를 제안합니다. 우리의 SIREN 매개변수화는 일정하고 이산화에 독립적인 매개변수 수로 전체 그리드 스펙트럼을 학습하므로, 주파수 절단의 필요성을 제거합니다. 우리는 매개변수 및 학습 효율성을 높이기 위해 함수형 텐서 분해를 사용하여 SirenFNO를 추가로 확장합니다. 실험 결과에 따르면, 우리의 SirenFNO는 이산화 불변성을 유지하면서 약 4배에서 15배의 매개변수 감소로 FNO를 지속적으로 능가하며, 우리의 함수형 분해 변형 모델들은 다양한 PDE 벤치마크에서 최대 73배 더 적은 매개변수로 성능 향상을 달성했습니다.
원문 초록
Fourier neural operators (FNOs) are effective and efficient surrogates for approximating solutions of PDEs and generalize across discretizations. However, owing to the reliance on frequency truncation to maintain learning efficiency of FNOs, empirical studies suggest that FNOs exhibit spectral bias toward low-frequency information, which may hinder the learning capability especially for certain PDEs with strong high-frequency oscillations. To address this limitation, we propose SirenFNO, a novel framework that leverages sinusoidal representation networks (SIRENs) to learn implicit neural representations and performs mode-wise kernel parameterization. Our SIREN parameterization learns a full-grid spectrum with a constant and discretization-independent parameter count, thereby eliminating the need for frequency truncation. We further extend SirenFNO with functional tensor decompositions to enhance parameter and learning efficiency. Empirical results show that our SirenFNO consistently outperforms FNO with approximately $4$ to $15$ times parameter reductions with preserved discretization invariance, and our functional decomposition variants obtain performance improvements with a maximum of $73$ times fewer parameters across multiple PDE benchmarks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11518v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SCOPE: 희소 PDE 추론을 위한 관측 조건화 전체 타겟 예측
SCOPE: Observation-Conditioned Full-Target Prediction for Sparse PDE Inference
희소 관측(sparse observation)으로부터 완전한 물리 필드(physical field)를 복원하는 것은 측정값이 기저 상태(underlying state)를 고유하게 결정하지 못할 수 있기 때문에 어려운 문제이다. 디퓨전 기반(diffusion-based) PDE 솔버는 반복적 샘플링(iterative sampling)을 통해 이 문제를 해결하는 반면, 신경 연산자(neural operator)는 결정론적인 단일 패스(one-pass) 예측을 제공한다. 우리는 전체 필드 잠재 예측(full-field latent prediction)과 물리적 복원(physical reconstruction)을 결합하여 희소 관측으로부터 완전한 PDE 필드를 복원하는 SCOPE(Sparse-Context Observability-aware Predictive Embeddings)를 제안한다. 공유 디코더(shared decoder)는 예측된 표현(representation)과 완전한 뷰(complete-view) 표현 양쪽 모두로부터 필드를 재구성하여, 표현 학습(representation learning)이 물리적 복원과 잠재 매칭(latent matching) 양쪽 모두에 의해 안내되도록 한다. 우리는 고정된 교사-디코더(teacher-decoder) 쌍에서의 2차 리스크 분해(quadratic risk decomposition)를 도출하여, 최적의 잠재 예측이 왜 반드시 최적의 필드 복원으로 이어지지는 않는지를 보인다. 또한 완전한 입력(complete input)에 대한 디코더 개선이 부분 관측으로부터의 복원으로 전이(transfer)되기 위한 충분조건(sufficient condition)을 확립한다. 다섯 가지 PDE 설정에 대한 실험 결과, SCOPE는 마스크 인지(mask-aware) 신경 연산자를 10개의 정방향(forward) 및 역방향(inverse) 과제 전체에서 능가하며, DiffusionPDE와 FunDPS를 포함한 디퓨전 기반 솔버에서 보고된 값보다 더 낮은 오차를 달성한다. 디코더만 적응(decoder-only adaptation)시키는 방식은 백본(backbone)을 재학습하지 않고도 복원을 추가로 개선하며, 결정론적 단일 패스 추론(deterministic single-pass inference)을 유지한다.
적응형 커버리지와 집중 샘플링을 통한 효율적인 신경장 학습
Efficient Neural Field Learning via Adaptive Coverage and Focused Sampling
암시적 신경 표현(Implicit Neural Representations, INR)은 고차원 연속 필드(continuous field)를 모델링하기 위한 유연한 프레임워크를 제공하지만, 공간적 이질성을 무시하는 균일한 서브샘플링으로 인해 학습 효율이 떨어지는 경우가 많습니다. 기존의 적응형 샘플링 방법들은 높은 오차를 보이는 샘플에 우선순위를 두어 이 문제를 부분적으로 해결하지만, 일반적으로 포인트 수준에서 작동하므로 국소적 영역에서의 중복 샘플링과 도메인의 불충분한 커버리지를 초래하곤 합니다. 본 논문에서는 커버리지와 중요도를 분리함으로써 학습 효율을 향상시키는 구조화된 샘플링 프레임워크인 ACES(Adaptive Coverage-aware Efficient Sampling)를 제안합니다. ACES는 도메인 커버리지를 보장하고 중복성을 줄이기 위해 적응형 공간 분할을 구성하며, 학습 중 정보량이 많은 영역의 우선순위를 정하기 위해 영역 수준의 중요도 가중치를 적용합니다. 본 연구에서는 적응형 분할이 영역 내 균질성을 증가시켜 그래디언트 분산을 줄이고, 영역 수준 가중치 적용 시 제어된 바이어스가 표준 비편향 추정량 대비 최적화 효율을 향상시킬 수 있음을 이론적 분석을 통해 보여줍니다. 과학적 필드 학습 태스크에 대한 실험 결과, ACES는 균일 샘플링 및 포인트 단위 적응형 샘플링 베이스라인보다 더 빠른 수렴과 더 낮은 오차를 달성하며, 국소적 복잡성이 높은 필드에서 가장 큰 성능 향상을 보이는 것으로 나타났습니다.
가산적 양자화 표현을 통한 밴딧
Bandits via Additive Quantized Representations
맥락적 밴딧(contextual bandit)은 비선형 보상(reward) 모델링과 온라인 효율성 사이의 균형을 필요로 한다. 트리 앙상블과 신경망 기반 방법은 비선형성을 포착할 수 있지만 주기적인 재학습과 대규모 리플레이 버퍼를 필요로 한다. 선형 모델은 관측값마다 O(1) 메모리로 효율적으로 업데이트할 수 있지만, 근본적으로 선형 보상 구조에만 제한된다. 우리는 이러한 간극을 메우기 위한 표현 층(representation layer)으로 잔차 양자화(Residual Quantization, RQ)를 제안한다. 오프라인으로 학습된 RQ 코드북(codebook)은 연속적인 맥락(context)을 여러 수준에 걸친 이산적 중심점(centroid) 할당으로 매핑하며, 이 수준들은 섀도 메커니즘(shadow mechanism)을 통해 동적으로 설정된다. 이를 통해 엄격하게 제한된 메모리로 비선형 표현력을 달성하는 다양한 가산적(additive) 밴딧 알고리즘을 구현할 수 있다. 13개의 데이터셋(dataset)에 걸쳐, RQ 변형들은 13개 중 11개 데이터셋에서 비-RQ 대응 모델을 종종 큰 차이로 능가했으며, 더블링 재학습(doubling-retrain) 방식의 XGBoost 및 신경망 베이스라인과 비슷한 성능을 최대 1000배 적은 메모리로 달성했다.
3D-IC 열 모델링을 위한 구성 가능한 AI 가속 반복 솔버
A Composable AI-Accelerated Iterative Solver for 3D-IC Thermal Modeling
이종 2.5D/3D 집적 회로(3D-IC) 패키지의 정확한 열 해석은 필수적이지만 계산 비용이 지나치게 높습니다. 단일 풀 패키지 유한 요소법(FEM) 시뮬레이션은 수 시간이 걸릴 수 있으며, AI 기반 대리 모델(surrogate)은 전체 스택을 단일(monolithic) 예측 대상으로 취급하므로 다이(die) 수나 토폴로지가 변경될 때마다 재학습해야 합니다. 이러한 한계를 해결하기 위해 본 연구에서는 열 해석을 위한 도메인 분해 AI 가속 반복 솔버인 DAIST(Domain-Decomposed AI-Accelerated Iterative Solver for Thermal Analysis)를 제안합니다. DAIST는 글로벌 패키지 시뮬레이션을 블록 수준의 서브도메인 문제로 분해하고, 서브도메인 솔버를 신경 연산자(neural operator)로 대체하며, 계면 온도와 열유속(heat flux)의 반복적 교환을 통해 이들을 결합하는 구성 가능한(composable) 열 솔버입니다. 이러한 로컬-투-글로벌(local-to-global) 아키텍처는 단일 모델의 토폴로지 종속성을 제거하여, 블록 수준의 신경 연산자를 재학습 없이 이전에 보지 못한 패키지 조립 구조에 직접 재사용할 수 있도록 합니다. 또한 반복 커플링 전략은 제어 가능한 정확도-실행 시간 간의 트레이드오프를 제공하여, 반복 예산을 조정함으로써 정확도와 실행 시간을 상호 조율할 수 있습니다. 멀티 칩렛 시스템과 첨단 패키징 시스템에서 평가한 결과, DAIST는 기존 FEM 솔버 대비 최대 $178\times$의 속도 향상을 달성하면서 각각 0.068%와 0.323%의 평균 온도 오차를 기록했으며, 구조적으로 상이한 패키지 조립 전반에 걸쳐 블록 수준 모델의 교차 토폴로지 재사용성을 입증했습니다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습
GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.