arXiv:2609.40090v2 cs.AI

PTNO: 입자 수송 문제를 위해 노이즈가 있는 몬테카를로 추정치로 신경 연산자를 학습하기

PTNO: Training Neural Operators with Noisy Monte Carlo Estimates for Particle Transport Problems

Yubo Cao, Xi Deng, Mengqi Xia, Vignesh Gopakumar, Ander Gray, Anima Anandkumar

제출 2026-09-30

저자 비고

arXiv Comments

41 pages, 15 figures, 35 tables. v2: Yubo Cao and Xi Deng are co-first authors with equal contribution; corrected the author footnote

한국어 초록

다중 산란 하에서의 입자 수송은 복사 전달 및 플라즈마 물리학의 핵심이지만, 고정밀 몬테카를로(MC) 시뮬레이션은 감당하기 힘들 정도로 많은 입자를 추적해야 합니다. 학습 기반 대리 모델(surrogate)은 이러한 비용을 분할 상환(amortize)할 수 있지만, 일반적으로 비용이 많이 들고 잘 수렴된 MC 해를 바탕으로 학습(training)합니다. 본 논문에서는 노이즈가 있는 저비용 MC 라벨로부터 입자 수송 대리 모델을 직접 학습하는 신경 연산자(neural operator)인 입자 수송 신경 연산자(PTNO)를 제안합니다. 이러한 라벨은 두 가지 과제를 안겨줍니다: (1) 표준 지도학습을 불안정하게 만드는 높은 분산, (2) 여러 자릿수에 걸쳐 펼쳐진 높은 동적 범위(HDR). 첫 번째 과제에 대해, 우리는 수많은 설정의 노이즈 라벨로부터 해 연산자(solution operator)를 학습하여 MC 비용을 분할 상환하고 보지 못한 설정으로 일반화합니다. MC 라벨은 비편향(unbiased)되어 있으므로, 노이즈 라벨에 대한 제곱 손실(loss)이 수렴된 해에 대한 손실과 동일한 최소화 지점을 공유함을 보이며, 학습 씬 $M$, 렌더링당 MC 샘플 수 $N$, 씬당 독립 렌더링 수 $K$에 대한 예산 할당 연구를 통해 노이즈가 있는 많은 씬이 적은 수의 수렴된 씬보다 우수함을 보여줍니다. 두 번째 과제에 대해, 로그와 같은 비선형 변환은 노이즈가 있는 지도학습에 편향을 유발합니다. 대신 PTNO는 라벨을 물리적 공간에 유지하고, 작은 값을 효과적으로 표현하는 소프트플러스(softplus) 출력 층(layer)을 통해 양수성을 강제합니다. 나아가 우리는 HDR 디노이징 및 신경 렌더링의 그래디언트 차단(stop-gradient) 상대 손실인 점별 상대 $L_2$ 손실(PRelL2)로 학습하며, 이는 각 잔차를 노이즈 라벨 대신 그래디언트가 차단된 예측값으로 정규화합니다. 우리는 핵융합로 내 중성자 수송 및 참여 매질 내 복사 전달에 대해 PTNO를 입증합니다. 두 가지 중성자학 태스크에서 PTNO는 동일 CPU 상에서 수렴된 MC보다 $10^4$-$10^5\times$ 더 빠르며 동일 정확도 기준 MC보다 $10^3$-$10^5\times$ 저렴합니다. 두 가지 복사 전달 태스크에서 동일 정확도 기준 MC는 PTNO보다 $0.8$-$11\times$ 더 많은 비용이 듭니다.

원문 초록

Particle transport under multiple scattering is central to radiative transfer and plasma physics, yet high-fidelity Monte Carlo (MC) simulations must trace prohibitively many particles. Learning-based surrogates can amortize this cost, but typically train on expensive, well-converged MC solutions. We propose the Particle Transport Neural Operator (PTNO), a neural operator that learns particle transport surrogates directly from noisy, low-cost MC labels. Such labels pose two challenges: (1) high variance, which destabilizes standard supervised learning, and (2) a high dynamic range (HDR) spanning many orders of magnitude. For the first, we learn the solution operator from noisy labels of many configurations, amortizing MC cost and generalizing to unseen configurations. Because MC labels are unbiased, we show that the squared loss on them shares its minimizer with the loss on converged solutions, and our budget-allocation study over training scenes $M$, MC samples per render $N$, and independent renders per scene $K$ shows that many noisy scenes beat fewer converged ones. For the second, a nonlinear transform such as the logarithm biases noisy supervision. Instead, PTNO keeps labels in physical space and enforces positivity with a softplus output layer that represents small values effectively. We further train with a pointwise relative $L_2$ loss (PRelL2), the stop-gradient relative loss of HDR denoising and neural rendering, which normalizes each residual by the stop-gradient prediction instead of the noisy label. We demonstrate PTNO on neutron transport in fusion reactors and radiative transfer in participating media. On the two neutronics tasks, PTNO is $10^4$-$10^5\times$ faster than converged MC on the same CPU and $10^3$-$10^5\times$ cheaper than MC at matched accuracy; on the two radiative-transfer tasks, MC at matched accuracy costs $0.8$-$11\times$ as much as PTNO.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.40090v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10626v1cs.LG공통 태그 neural operator

회전 견고 신경 동역학을 위한 정확한 SO(3)-등변 등방성 커널

Exact SO(3)-Equivariant Isotropic Kernels for Rotation-Robust Neural Dynamics

벡터값 편미분 방정식(PDE)을 위한 신경 대리 모델은 학습(training) 데이터에는 잘 적합될 수 있지만, 동일한 물리적 상태가 회전된 좌표계로 표현될 때 예측값이 달라질 수 있습니다. 본 연구에서는 불규칙하게 배치된 지점에서 관측되는 3차원 나비에-스토크스(Navier--Stokes) 동역학에서 이러한 문제를 조사합니다. 우리는 회전에 의해 변하지 않는 스칼라양과 데이터를 따라 함께 회전하는 벡터 방향으로부터 국소 상호작용을 구성하는 소형 그래프 모델인 불변 조건화 등방성 커널 신경 연산자(IKNO)를 소개합니다. 그 결과, 위치와 속도를 회전시키면 예측된 속도 변화도 정확히 동일한 방식으로 회전합니다. 모델 설계 후 고정된 홀드아웃 테스트 세트에서, 무제약 그래프 모델을 무작위로 회전된 예제로 학습시키면 좌표 의존성이 줄어들기는 하지만 완전히 제거되지는 않습니다. 반면, IKNO는 수치 정밀도(precision) 수준에서 일관성을 유지하며, 파라미터 수가 5.6배 적으면서도 일반적인 회전 인지 텐서(tensor) 장 네트워크(Tensor Field Network)의 예측 정확도와 일치하고 파라미터 수가 동일한 그래프 시뮬레이터보다 우수한 성능을 보입니다. 이러한 결과는 소형 PDE 특화 모델이 예측 정확도를 희생하지 않고도 좌표 의존성을 제거할 수 있음을 보여줍니다.

arXiv:2610.10998v1cs.LG공통 태그 neural operator

F$^3$NO: 교차 스케일 조건화를 결합한 주파수 분해 기반 유한 시간 유동 사상 신경 연산자

F$^3$NO: Frequency-Decomposed Finite-Time Flow-map Neural Operators with Cross-Scale Conditioning

신경 연산자(Neural operator)는 빠른 편미분방정식(PDE) 예측을 가능하게 하지만, 반복적인 예측은 오차를 누적시키며 미세 스케일 구조를 정확히 분해하고 해석하는 데 여전히 어려움이 있습니다. 본 연구에서는 업데이트된 저주파수 특징을 활용하여 고주파수 정보의 비선형 정제를 유도하는 주파수 분해 기반 유한 시간 유동 사상 신경 연산자(F$^3$NO)를 소개합니다. 각 층(layer) 내에서 이러한 교차 스케일 조건화는 전역적 스펙트럼 처리와 국소적 세부 정보 정제를 연결합니다. 제안된 모델(model)은 지정된 미래 시점의 상태를 직접 예측하며, 예측 간격에 따라 두 갈래(branch)의 기여도를 조절합니다. 더 긴 궤적에 대해서는 짧은 시간 분할 내 병렬 예측과 분할 간 순환 전파를 결합합니다. 5개의 PDE 벤치마크에 대한 실험을 통해 자기회귀 및 직접 예측 베이스라인 대비 향상된 예측 정확도를 입증합니다. 절제 연구(ablation study)에서는 주파수 분해 정제가 더 적은 파라미터로도 정확도를 향상시킬 수 있는 반면, 시간 분할의 이점은 공간 해상도와 동역학적 체제에 따라 달라짐을 보여줍니다.

arXiv:2609.36527v3cs.LG공통 태그 neural operator

SCOPE: 희소 PDE 추론을 위한 관측 조건화 전체 타겟 예측

SCOPE: Observation-Conditioned Full-Target Prediction for Sparse PDE Inference

희소 관측(sparse observation)으로부터 완전한 물리 필드(physical field)를 복원하는 것은 측정값이 기저 상태(underlying state)를 고유하게 결정하지 못할 수 있기 때문에 어려운 문제이다. 디퓨전 기반(diffusion-based) PDE 솔버는 반복적 샘플링(iterative sampling)을 통해 이 문제를 해결하는 반면, 신경 연산자(neural operator)는 결정론적인 단일 패스(one-pass) 예측을 제공한다. 우리는 전체 필드 잠재 예측(full-field latent prediction)과 물리적 복원(physical reconstruction)을 결합하여 희소 관측으로부터 완전한 PDE 필드를 복원하는 SCOPE(Sparse-Context Observability-aware Predictive Embeddings)를 제안한다. 공유 디코더(shared decoder)는 예측된 표현(representation)과 완전한 뷰(complete-view) 표현 양쪽 모두로부터 필드를 재구성하여, 표현 학습(representation learning)이 물리적 복원과 잠재 매칭(latent matching) 양쪽 모두에 의해 안내되도록 한다. 우리는 고정된 교사-디코더(teacher-decoder) 쌍에서의 2차 리스크 분해(quadratic risk decomposition)를 도출하여, 최적의 잠재 예측이 왜 반드시 최적의 필드 복원으로 이어지지는 않는지를 보인다. 또한 완전한 입력(complete input)에 대한 디코더 개선이 부분 관측으로부터의 복원으로 전이(transfer)되기 위한 충분조건(sufficient condition)을 확립한다. 다섯 가지 PDE 설정에 대한 실험 결과, SCOPE는 마스크 인지(mask-aware) 신경 연산자를 10개의 정방향(forward) 및 역방향(inverse) 과제 전체에서 능가하며, DiffusionPDE와 FunDPS를 포함한 디퓨전 기반 솔버에서 보고된 값보다 더 낮은 오차를 달성한다. 디코더만 적응(decoder-only adaptation)시키는 방식은 백본(backbone)을 재학습하지 않고도 복원을 추가로 개선하며, 결정론적 단일 패스 추론(deterministic single-pass inference)을 유지한다.

arXiv:2610.02439v1cs.LG공통 태그 neural operator

그라폰과 신경망 역연산자를 활용한 복잡계 네트워크 생성 모델

A Generative Model of Complex Networks Using Graphons and Neural Inverse Operators

생성 그래프 모델은 복잡계 네트워크를 이해하고 시뮬레이션하는 데 핵심적인 역할을 합니다. 그러나 기존 접근 방식들은 상호보완적인 장점과 한계를 지닙니다. 기전 모델(mechanistic model)은 해석 가능성을 제공하지만 인스턴스별 추정 방법에 의존합니다. 반면 심층 생성 모델은 분할 상환 추론(amortized inference)을 제공하지만 해석 가능성을 희생하며, 학습 중에 관측된 그래프 크기로 대체로 제한됩니다. 과학적 응용 분야에서는 두 패러다임의 장점을 모두 유지하는 프레임워크가 요구됩니다. 본 연구에서는 생성 모델과 매개변수 복원을 모두 함수 공간에서 정식화하여 이 두 접근법을 연결합니다. 다중프랙탈 스텝 그라폰(multifractal step graphon)은 복잡계 네트워크를 조밀하게 매개변수화하는 재귀적 구조를 통해 표준 스텝 그라폰을 확장합니다. 이러한 정식화는 매개변수를 복원하기 위한 신경망 역연산자(neural inverse operator)를 도입할 수 있게 하여, 학습 시 보지 못한 그래프 크기에 대해서도 추론을 가능하게 합니다. 본 연구에서는 합성 다중프랙탈 스텝 그라폰 실현치로만 학습된 제안 모델을 두 패러다임 모두와 비교 평가합니다. 실증 네트워크로 사전학습된 그래프 파운데이션 모델과 비교했을 때, 제안 방법은 제로샷(zero-shot) 그래프 생성 벤치마크의 4개 지표 중 3개에서 최고의 평균 성능을 달성하여 실제 그래프로도 전이됨을 보여줍니다. 또한 학습 말뭉치가 필요한 심층 모델이 접근하기 어려운 영역인 단일 관측 네트워크에도 제안 방법을 적용하였으며, 각 그래프마다 최적화를 수행하는 인스턴스별 방식과 비견할 만한 성능을 보였습니다. 다중 피험자 뇌파(EEG) 사례 연구에서는 추론된 매개변수가 기존의 네트워크 통계량보다 뇌 상태의 가역적 변화를 더 민감하게 추적함을 확인했습니다. 종합적으로 이러한 결과는 기전적 해석 가능성과 분할 상환 추론이 생성 그래프 모델 내에서 효과적으로 통합되어 복잡계 네트워크에 대한 이해를 향상시킬 수 있음을 나타냅니다.

arXiv:2610.02461v1cs.LG공통 태그 neural operator

3D-IC 열 모델링을 위한 구성 가능한 AI 가속 반복 솔버

A Composable AI-Accelerated Iterative Solver for 3D-IC Thermal Modeling

이종 2.5D/3D 집적 회로(3D-IC) 패키지의 정확한 열 해석은 필수적이지만 계산 비용이 지나치게 높습니다. 단일 풀 패키지 유한 요소법(FEM) 시뮬레이션은 수 시간이 걸릴 수 있으며, AI 기반 대리 모델(surrogate)은 전체 스택을 단일(monolithic) 예측 대상으로 취급하므로 다이(die) 수나 토폴로지가 변경될 때마다 재학습해야 합니다. 이러한 한계를 해결하기 위해 본 연구에서는 열 해석을 위한 도메인 분해 AI 가속 반복 솔버인 DAIST(Domain-Decomposed AI-Accelerated Iterative Solver for Thermal Analysis)를 제안합니다. DAIST는 글로벌 패키지 시뮬레이션을 블록 수준의 서브도메인 문제로 분해하고, 서브도메인 솔버를 신경 연산자(neural operator)로 대체하며, 계면 온도와 열유속(heat flux)의 반복적 교환을 통해 이들을 결합하는 구성 가능한(composable) 열 솔버입니다. 이러한 로컬-투-글로벌(local-to-global) 아키텍처는 단일 모델의 토폴로지 종속성을 제거하여, 블록 수준의 신경 연산자를 재학습 없이 이전에 보지 못한 패키지 조립 구조에 직접 재사용할 수 있도록 합니다. 또한 반복 커플링 전략은 제어 가능한 정확도-실행 시간 간의 트레이드오프를 제공하여, 반복 예산을 조정함으로써 정확도와 실행 시간을 상호 조율할 수 있습니다. 멀티 칩렛 시스템과 첨단 패키징 시스템에서 평가한 결과, DAIST는 기존 FEM 솔버 대비 최대 $178\times$의 속도 향상을 달성하면서 각각 0.068%와 0.323%의 평균 온도 오차를 기록했으며, 구조적으로 상이한 패키지 조립 전반에 걸쳐 블록 수준 모델의 교차 토폴로지 재사용성을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.