arXiv:2606.26128v1 cs.LG

보존 운동학 시스템의 영역 성장 예측을 위한 물리 기반 합성곱 신경망

Physics-guided Convolutional Neural Network for Domain Growth Prediction in Systems with Conserved Kinetics

Vijay Yadav, Madhu Priya, Manish Dev Shrimali, Prabhat K. Jaiswal

제출 2026-06-09

한국어 초록

많은 물리, 화학, 생물학적 시스템의 시공간적 진화는 비선형 편미분 방정식(PDE)으로 기술된다. 최근 심층 신경망 기반 대리 모델(surrogate model)이 계산 비용이 큰 기존 수치 해법(numerical solver)의 효율적인 대안으로서 주목받고 있다. 본 연구에서는 이러한 시스템의 미세구조(microstructure) 진화를 학습하기 위한 대리 모델로서 어텐션 기반, 물리 기반 합성곱 신경망을 제안한다. 우리는 Cahn-Hilliard 방정식에 의해 지배되는 이원 혼합물(binary mixture)에서의 상 분리(phase separation)의 전체 시간 진화를 정확히 예측하도록 모델을 학습한다. 학습된 대리 모델의 예측이 임계(critical) 및 비임계(off-critical) 혼합물 모두에서 장시간 롤아웃(rollout)에 걸쳐 안정적이고 정확하게 유지되며, 진화 과정 전반에 걸쳐 혼합물 조성(composition)을 보존함을 보인다. 또한 모델이 영역 크기(domain size)의 성장을 정확히 포착하며 Lifshitz-Slyozov 영역 성장 법칙과 일치함을 보인다. 예측 결과는 보존 운동학을 갖는 시스템 모델링을 위한 제안 프레임워크의 효과를 입증하며, 다른 복잡한 동역학 시스템으로 확장될 수 있음을 시사한다.

원문 초록

The spatiotemporal evolution of many physical, chemical, and biological systems is described by nonlinear partial differential equations (PDEs). Recently, deep neural network-based surrogate models have gained increasing interest as efficient alternatives to computationally expensive traditional numerical solvers. In this work, we propose an attention-based, physics-guided convolutional neural network as a surrogate model to learn the microstructural evolution of such systems. We train the model to accurately predict the full time-evolution of phase separation in binary mixtures governed by the Cahn-Hilliard equation. We show that predictions from our trained surrogate model remain stable and accurate over long-time rollouts for both critical and off-critical mixtures and preserve the mixture composition throughout evolution. We also show that our model accurately captures the growth of domain size and is consistent with the Lifshitz-Slyozov domain-growth law. The prediction results demonstrate the effectiveness of the proposed framework for modeling systems with conserved kinetics and can be extended to other complex dynamical systems.

요약

Cahn-Hilliard 방정식으로 기술되는 이원 혼합물의 상 분리 미세구조 진화를 학습하기 위해 어텐션 기반 물리 기반 합성곱 신경망(CNN) 대리 모델을 제안한다. 임계·비임계 혼합물 모두에서 장시간 롤아웃에도 조성을 보존하며 안정적으로 예측하고, 도메인 크기 성장을 Lifshitz-Slyozov 영역 성장 법칙과 일치하게 포착한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26128v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27385v1cs.LG공통 태그 Computational Efficiency, Time Series Forecasting

Forecast Workflow Bench: 예산 제약 예측 도구를 활용한 언어 모델 의사결정 평가

Forecast Workflow Bench: Evaluating Language-Model Decisions with Budgeted Forecast Tools

시계열 파운데이션 모델(TSFM)은 운영 의사결정을 위한 예측을 제공하지만, 정확도만으로는 그 가치를 판단할 수 없다. 이러한 모델을 사용하는 에이전트를 평가하려면 의사결정 품질과 예측 비용을 측정해야 한다. FWBench는 고정된 예측 도구와 시뮬레이션된 용량 계약을 사용하여 전력 및 자전거 대여 사례 1,251건에 대해 이 역량을 평가한다. 에이전트는 모델, 이력(history) 및 예측 구간(horizon)을 선택한 뒤, 명시된 손실-비용 목적을 최소화하도록 용량을 제출한다. 호스팅 2종과 소형 언어 모델을 포함한 로컬 8종 구성을 평가했으며, TSFM 유무에 따른 로컬 모델도 시험했다. GPT-6 Astra는 예산의 2.5%만 사용해 저렴한 단기 예측을 선택적으로 구매했으며, 절감된 의사결정을 세 가지 손실-비용 가중으로 채점했을 때 고정 정책을 능가했다. FWBench는 비용 제약 하에서 언어 모델이 시계열 예측을 어떻게 선택하고 활용해 의사결정하는지 재현 가능하게 평가할 수 있게 한다.

arXiv:2609.27637v1cs.LG공통 태그 Computational Efficiency, Time Series Forecasting

대규모 교통 예측을 위한 국소 이질성 및 지역 간 컨텍스트 학습

Learning Local Heterogeneity and Cross-Region Context for Large-Scale Traffic Forecasting

교통 흐름 예측은 지능형 교통 시스템에 필수적이다. 대규모 교통 예측은 국소 공간적 의존성과 지역 간 컨텍스트를 공동으로 모델링해야 한다. 지리적으로 인접한 노드 간 공간적 의존성은 도로 유형과 이동 방향의 차이로 인해 이질적이며, 모든 노드 쌍 상호작용을 통해 전역 정보를 획득하는 것은 상당한 계산 비용을 초래한다. 따라서 국소 이질성을 포착하면서 장거리 컨텍스트를 효율적으로 획득하는 것은 대규모 교통 예측에서 여전히 중요한 과제로 남아 있다. 이러한 과제를 해결하기 위해, 우리는 노드 이웃과 도로 네트워크 지역이라는 두 가지 상보적 세분성에서 공간적 의존성을 모델링하는 Local-Region Spatial Temporal(LoReST) 네트워크를 제안한다. 구체적으로, 관계 인지 국소 집계는 도로 및 방향별 특징 변환을 통해 지리적 이웃 내 이질적 의존성을 포착한다. 지역 간 상호작용은 평균 풀링을 통해 지역 표현을 구성하고, 지역 간 어텐션을 통해 장거리 컨텍스트를 교환한 뒤 이를 노드로 다시 전파한다. 국소 정보 집계와 지역 간 상호작용을 통합함으로써 LoReST는 대규모 도로 네트워크에서 공간적 의존성 학습을 효과적으로 수행할 수 있다. LargeST 벤치마크의 네 개 데이터셋에 대한 실험은 MAE, RMSE, MAPE에서 각각 평균 상대 감소율 4.78%, 3.60%, 5.75%를 보여준다.

arXiv:2609.28116v1cs.LG공통 태그 Computational Efficiency, surrogate modeling

스크레이프오프 층(Scrape Off Layer) 플라즈마 시뮬레이션을 위한 확률적·기하 인지 신경망 대리 모델

Probabilistic and Geometry Aware Neural Surrogate of Scrape Off Layer Plasma Simulations

토카막 경계 플라즈마 시뮬레이션을 위한 고속 대리 모델(surrogate)은 일반적으로 전역 운전점(operating point)을 셀 값들의 평탄화된 벡터로 매핑하는 결정론적 회귀기이다. 디버터 탈부착(divertor detachment) 전이 근처에서는 정상 상태(steady state)가 단일 값으로 안정적으로 정해지지 않는다. 점 추정(point estimate)은 질적으로 서로 다른 플라즈마 상태들에 걸쳐 평균을 내야 하며, 신뢰도에 대한 어떠한 언급도 없이 결과를 내놓는다. 더욱이 평탄화된 벡터 표현은 SOLPS-ITER 메시의 기하학적 구조를 버린다. 본 연구는 이 두 가지 문제를 모두 다룬다. 우리는 곡선형(curvilinear) 메시를 셀 인접성을 보존하고 정확히 역변환되는 배치를 가진 세 개의 고정 크기 이미지 텐서로 펼쳐, 합성곱 신경망(convolutional network)이 정보 손실 없이 기하 구조 위에서 동작할 수 있도록 한다. 이후 민감도가 높은 시스템에 적합한 조건부 플로 매칭(conditional flow matching) 모델을 이 표현 위에서 학습한다. 그 결과 민감한 운전점에서도 여러 개의 그럴듯한 결과를 포착하는 효율적이고 확장 가능한 대리 모델을 얻는다. 가스 퍼프(gas-puff) 스캔을 따라, 예측 분포는 초기 레짐 전이(regime transition)를 지나면서 고온 모드와 저온 모드로 갈라진다. 크기가 알려진 분기(bifurcation)를 주입한 합성 데이터에 대한 추가 검증에서도, 모델이 두 분기의 평균이 아니라 두 분기를 각각 복원함을 확인한다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.