핵융합은 안정적이고 지속 가능한 에너지 생산을 향한 연구에서 핵심적인 역할을 한다. 실현 가능한 융합 에너지의 주요 장애물은 플라즈마 가둠을 크게 저해하는 플라즈마 난류를 이해하는 것이며, 이는 차세대 원자로 설계에 필수적이다. 플라즈마 난류는 5차원(5D) 분포 함수를 시간에 따라 진화시키는 비선형 자이로키네틱(gyrokinetic) 방정식에 의해 지배된다. 계산 비용이 매우 높기 때문에, 실무에서는 에너지의 난류 수송(turbulent transport)을 근사하기 위해 저차(reduced-order) 모델을 자주 사용한다. 그러나 이러한 모델은 완전한 5D 역학에 고유한 비선형 효과를 생략한다.
이를 해결하기 위해, 5D 비선형 자이로키네틱 시뮬레이션을 모델링할 수 있는 최초의 확장 가능한(scalable) 5D 신경망 서로게이트(surrogate)인 GyroSwin을 제안한다. 이를 통해 저차 모델이 간과한 물리적 현상을 포착하면서 난류 열 수송(turbulent heat transport)에 대한 정확한 추정을 제공한다. GyroSwin은 (i) 계층적 Vision Transformer를 5D로 확장하고, (ii) 정전기 퍼텐셜(electrostatic potential) 필드와 분포 함수 사이의 잠재 3D↔5D 상호작용을 위해 교차 어텐션(cross-attention) 및 통합(integration) 모듈을 도입하며, (iii) 비선형 물리학에서 영감을 받은 채널별(channelwise) 모드 분리(mode separation)를 수행한다. GyroSwin이 열 플럭스(heat flux) 예측에서 널리 사용되는 저차 수치 해법(reduced numerics)을 능가하며, 난류 에너지 캐스케이드(turbulent energy cascade)를 포착하고, 물리적으로 검증 가능함을 유지하면서 완전 해석(fully resolved) 비선형 자이로키네틱의 비용을 3자릿수(three orders of magnitude) 줄임을 보여준다. GyroSwin은 10억 개 매개변수까지 검증된 유망한 스케일링(scaling) 법칙을 보이며, 플라즈마 난류의 자이로키네틱 시뮬레이션을 위한 확장 가능한 신경망 서로게이트의 길을 연다.
Doyle-Fuller-Newman (DFN) 모델은 리튬이온 배터리의 내부 전기화학적 상태를 높은 충실도로 해석합니다. 그러나 지배 방정식의 수치 해는 실시간 배포에 있어 계산적으로 비용이 너무 많이 들어, 개별 셀에서 팩(pack) 및 플릿(fleet) 규모 응용으로의 확장성을 제한합니다. 머신러닝 대체 모델(surrogate)은 GPU 가속을 통해 추론(inference) 지연 시간을 크게 줄일 수 있지만, 기존의 대부분 접근 방식은 일반화 가능한 상태 진화 역학을 학습하기보다는 특정 운용 조건에 묶인 해 근사치를 학습합니다. 본 연구는 광범위한 운용 조건에 걸쳐 전체 DFN 내부 상태를 예측하는 자기회귀 상태 천이 연산자로 공식화된 4가지 신경망(neural network) 아키텍처(MLP, ResNet, U-Net, FNO)에 대한 체계적인 비교를 제시합니다. 통제된 아키텍처 비교를 보장하기 위해, 모든 모델(model)은 다단계 펼침(multi-step unrolling) 및 전류 조건화(current-conditioning)를 사용하는 통합 프레임워크 하에서 학습되어 공간적 귀납적 바이어스(spatial inductive bias)의 영향을 분리합니다. 결과는 U-Net의 다중 스케일 특징(feature) 계층이 300단계 자기회귀 롤아웃(rollout) 후 모든 내부 상태 변수에 평균된 평균 최종 단계 nRMSE 3%를 달성하면서, 수치 해석기 대비 5.38배의 속도 향상을 제공함을 보여줍니다. 이러한 발견은 공간적 귀납적 바이어스를 대체 모델 성능의 중요한 결정 요인으로 강조하며, 차세대 배터리 관리 시스템 및 디지털 트윈을 위한 내부 상태 관측 가능성 대체 모델의 개발을 발전시킵니다.
개인화된 가상 심장 시뮬레이션은 모델 개인화와 계산 비용 측면에서 문제에 직면해 있습니다. 신경망 대리 모델(neural surrogate)은 최첨단 솔루션을 제공하지만, 일반적으로 효율적인 개인화나 일반화 가능한 모델 학습 중 하나만 다룹니다. 최근 연구는 세트 조건부 대리 모델과 메타학습된 상각 추론(amortized inference)을 통한 퓨샷 생성 모델링을 통해, 제한된 피험자별 문맥 데이터를 사용하여 대리 모델을 개인화하는 과정을 학습함으로써 이 문제를 재정의합니다. 그러나 이러한 방법들은 알려진 작업 식별자가 있는 정적이고 다양한 학습 분포를 가정합니다. 새로운 데이터가 도착하면, 치명적 망각(catastrophic forgetting, 모델이 새로운 작업을 학습할 때 이전 작업을 잊어버리는 현상)을 피하기 위해 모든 이전 데이터를 사용한 비용이 많이 드는 재학습이 필요합니다. 이는 종종 레이블이 없는 데이터가 순차적으로 도착하고 전체 재학습이 불가능한 임상 환경에서 주요한 제약 사항입니다. 본 논문은 정보를 지속적으로 통합할 뿐만 아니라 들어오는 데이터가 알려진 동적 소스에서 비롯되었는지 알 수 없는 소스에서 비롯되었는지 식별할 수 있는 개인화된 신경망 대리 모델을 달성하기 위한 새로운 지속적 메타학습 프레임워크를 제시합니다. 메모리 버퍼에 대한 지속적 베이지안 가우시안 혼합 모델을 활용하여, 우리의 프레임워크는 효과적인 메타학습에 필요한 시간에 따른 데이터의 식별자와 관계를 추론할 수 있습니다. 합성 심장 데이터에 대한 실증적 결과는 기존 기준선(baseline)과 비교하여 우수한 시뮬레이션 예측, 계산 확장성, 그리고 치명적 망각에 대한 저항성을 입증합니다.