In this work, we develop Gaussian process regression (GPR) models of hyperelastic material behavior. First, we consider the direct approach of modeling the components of the Cauchy stress tensor as a function of the components of the Finger stretch tensor in a Gaussian process. We then consider an improvement on this approach that embeds rotational invariance of the stress-stretch constitutive relation in the GPR representation. This approach requires fewer training examples and achieves higher accuracy while maintaining invariance to rotations exactly. Finally, we consider an approach that recovers the strain-energy density function and derives the stress tensor from this potential. Although the error of this model for predicting the stress tensor is higher, the strain-energy density is recovered with high accuracy from limited training data. The approaches presented here are examples of physics-informed machine learning. They go beyond purely data-driven approaches by embedding the physical system constraints directly into the Gaussian process representation of materials models.
We present Lift & Learn, a physics-informed method for learning low-dimensional models for large-scale dynamical systems. The method exploits knowledge of a system's governing equations to identify a coordinate transformation in which the system dynamics have quadratic structure. This transformation is called a lifting map because it often adds auxiliary variables to the system state. The lifting map is applied to data obtained by evaluating a model for the original nonlinear system. This lifted data is projected onto its leading principal components, and low-dimensional linear and quadratic matrix operators are fit to the lifted reduced data using a least-squares operator inference procedure. Analysis of our method shows that the Lift & Learn models are able to capture the system physics in the lifted coordinates at least as accurately as traditional intrusive model reduction approaches. This preservation of system physics makes the Lift & Learn models robust to changes in inputs. Numerical experiments on the FitzHugh-Nagumo neuron activation model and the compressible Euler equations demonstrate the generalizability of our model.
This paper presents a physics-informed machine learning (ML) framework to construct reduced-order models (ROMs) for reactive-transport quantities of interest (QoIs) based on high-fidelity numerical simulations. QoIs include species decay, product yield, and degree of mixing. The ROMs for QoIs are applied to quantify and understand how the chemical species evolve over time. First, high-resolution datasets for constructing ROMs are generated by solving anisotropic reaction-diffusion equations using a non-negative finite element formulation for different input parameters. Non-negative finite element formulation ensures that the species concentration is non-negative (which is needed for computing QoIs) on coarse computational grids even under high anisotropy. The reactive-mixing model input parameters are a time-scale associated with flipping of velocity, a spatial-scale controlling small/large vortex structures of velocity, a perturbation parameter of the vortex-based velocity, anisotropic dispersion strength/contrast, and molecular diffusion. Second, random forests, F-test, and mutual information criterion are used to evaluate the importance of model inputs/features with respect to QoIs. Third, Support Vector Machines (SVM) and Support Vector Regression (SVR) are used to construct ROMs based on the model inputs. Then, SVR-ROMs are used to predict scaling of QoIs. Qualitatively, SVR-ROMs are able to describe the trends observed in the scaling law associated with QoIs. Fourth, the scaling law's exponent dependence on model inputs/features are evaluated using $k$-means clustering. Finally, in terms of the computational cost, the proposed SVM-ROMs and SVR-ROMs are $\mathcal{O}(10^7)$ times faster than running a high-fidelity numerical simulation for evaluating QoIs.
Services and warranties of large fleets of engineering assets is a very profitable business. The success of companies in that area is often related to predictive maintenance driven by advanced analytics. Therefore, accurate modeling, as a way to understand how the complex interactions between operating conditions and component capability define useful life, is key for services profitability. Unfortunately, building prognosis models for large fleets is a daunting task as factors such as duty cycle variation, harsh environments, inadequate maintenance, and problems with mass production can lead to large discrepancies between designed and observed useful lives. This paper introduces a novel physics-informed neural network approach to prognosis by extending recurrent neural networks to cumulative damage models. We propose a new recurrent neural network cell designed to merge physics-informed and data-driven layers. With that, engineers and scientists have the chance to use physics-informed layers to model parts that are well understood (e.g., fatigue crack growth) and use data-driven layers to model parts that are poorly characterized (e.g., internal loads). A simple numerical experiment is used to present the main features of the proposed physics-informed recurrent neural network for damage accumulation. The test problem consist of predicting fatigue crack length for a synthetic fleet of airplanes subject to different mission mixes. The model is trained using full observation inputs (far-field loads) and very limited observation of outputs (crack length at inspection for only a portion of the fleet). The results demonstrate that our proposed hybrid physics-informed recurrent neural network is able to accurately model fatigue crack growth even when the observed distribution of crack length does not match with the (unobservable) fleet distribution.
Modeled Reynolds stress is a major source of model-form uncertainties in Reynolds-averaged Navier-Stokes (RANS) simulations. Recently, a physics-informed machine-learning (PIML) approach has been proposed for reconstructing the discrepancies in RANS-modeled Reynolds stresses. The merits of the PIML framework has been demonstrated in several canonical incompressible flows. However, its performance on high-Mach-number flows is still not clear. In this work we use the PIML approach to predict the discrepancies in RANS modeled Reynolds stresses in high-Mach-number flat-plate turbulent boundary layers by using an existing DNS database. Specifically, the discrepancy function is first constructed using a DNS training flow and then used to correct RANS-predicted Reynolds stresses under flow conditions different from the DNS. The machine-learning technique is shown to significantly improve RANS-modeled turbulent normal stresses, the turbulent kinetic energy, and the Reynolds-stress anisotropy. Improvements are consistently observed when different training datasets are used. Moreover, a high-dimensional visualization technique and distance metrics are used to provide a priori assessment of prediction confidence based only on RANS simulations. This study demonstrates that the PIML approach is a computationally affordable technique for improving the accuracy of RANS-modeled Reynolds stresses for high-Mach-number turbulent flows when there is a lack of experiments and high-fidelity simulations.
인공지능(AI)과 머신러닝(ML)의 급격한 성숙은 화학공학 문제를 정식화하고 분석하며 해결하는 방식에 중대한 변화를 촉진했습니다. 컴퓨팅 파워, 데이터 가용성, 학습 알고리즘의 발전 덕분에 AI/ML 방법론은 원자 수준의 시뮬레이션, 소재 및 촉매 발견, 전달 현상과 열역학, 분리 공정, 공정 시스템 공학, 산업 운영에 이르는 다양한 응용 분야에 영향을 미칠 수 있게 되었습니다. 본 논문은 최근의 방법론적 발전과 대표적인 응용 사례에 대한 관점을 제시하며, 예측 정확도, 데이터 희소성, 외삽(extrapolation), 해석 가능성, 모델 수명 주기 관리와 같은 문제를 해결하기 위해 AI/ML 도구가 제1원리(first-principles) 모델과 어떻게 통합되고 있는지를 강조합니다. 여러 영역에 걸쳐 나타나는 공통적인 추세는 순수한 블랙박스 접근법에서 벗어나 보존 법칙, 열역학적 일관성, 기지의 구조적 제약 조건을 명시적으로 준수하는 하이브리드 및 물리 기반(physics-informed) 프레임워크로 전환되고 있다는 점입니다. 이러한 접근 방식은 견고성과 신뢰성을 향상시킬 뿐만 아니라, 주어진 과제와 의사결정 맥락에 적합한 추상화 수준의 정보를 제공함으로써 유의미한 인간-AI 협업을 가능하게 합니다. 우리는 AI와 ML이 화학공학의 핵심 원리를 대체하는 것이 아니라 오히려 이를 증폭시키고 있다고 결론짓습니다. 화학공학 분야가 점점 더 자율적이고 적응형이며 지속 가능한 시스템으로 발전함에 따라, 제1원리 기반의 이해 및 도메인 전문성과 AI/ML의 사려 깊은 통합은 연구와 산업 현장 전반에서 그 잠재력을 온전히 실현하는 데 필수적일 것입니다.
본 논문은 물리 정보 머신러닝(physics-informed machine learning) 방법을 학습시키는 데 있어 준지도(semi-supervised) 레이블 전파(label propagation) 기법을 적용한 일련의 실험적 결과를 제시한다. 여기에는 물리 정보 신경망(physics-informed neural networks, PINN)과 물리 정보 가우시안 프로세스(physics-informed Gaussian processes)를 각각 독립적으로 자기 학습(self-training)시키는 것과, 공동 학습(co-training)을 통해 이 둘을 통합함으로써 물리 정보 머신러닝의 두 가지 주요 부류 사이의 하이브리드 방법을 구축하는 것이 포함된다. 우리는 광범위한 수치 실험을 통해 이러한 방법들이 경계(boundary)로부터 물리적 영역(physical domain) 내부로 정보를 전파하는 문제―강성(stiff) 시간 종속 편미분방정식(partial differential equation)을 풀 때의 초기 조건(initial condition) 정보 전파를 포함하여―를 어떻게 개선할 수 있는지 보여주며, 이는 물리 정보 머신러닝에서 흔히 나타나는 실패 양상(failure mode)으로 알려져 있다.
본 연구는 거시적 교통 흐름 모델링에서 물리 정보 기계학습(PIML)이 실패할 수 있는 이유를 조사한다. 실패는 PIML 모델이 순수 데이터 기반 및 순수 물리 기반 기준선 모두보다 주어진 임계값 이상으로 저조한 성능을 내는 경우로 정의한다. 다른 분야와 달리, 이 설정에서는 물리 잔차(residual) 자체가 최적화를 방해하지 않는다. 대신, 효과적인 업데이트를 위해서는 데이터 그래디언트와 물리 그래디언트 모두가 참 그래디언트와 예각을 이루어야 하며, 이 조건은 저해상도 루프(loop) 데이터로는 충족하기 어렵다. 이러한 경우 신경망은 밀도와 속도를 정확히 근사할 수 없으며, 이산 샘플링과 시간 평균화로 이미 퇴화된 구성된 물리 잔차는 PDE 역학을 포착하는 능력을 상실하여 PIML 실패로 직접 이어진다. 이론적으로, LWR 및 ARZ 해는 약해(weak solution)이지만, 조각별 $C^k$ 초기 데이터에 대해 완만한 조건 하에서 충격 집합(shock set) 밖에서는 $C^k$를 유지하며, 이 충격 집합의 Lebesgue measure는 0이다. 따라서 거의 모든 검지기 또는 collocation 점은 잔차가 유효한 매끄러운 영역에 위치하며, MLP가 불연속성을 정확히 표현하지 못하는 것은 중요하지 않다. 마지막으로, 물리 잔차의 MSE 하한을 확립한다: ARZ와 같은 고차 모델은 완만한 조건 하에서 LWR보다 엄격히 더 큰 일관성 오차 상한을 갖는다. 이는 고해상도 데이터에서도 LWR 기반 PIML이 ARZ 기반 PIML보다 우수할 수 있는 이유를 설명하며, 해상도가 증가함에 따라 격차는 줄어들어 기존 실험적 발견과 일치한다.
정적 공간 스냅샷에서 공간적으로 이질적인 확산계수, 생성, 소멸 등의 동역학을 추론할 수 있는 조건을 분석한 연구로, 구조적 식별 가능성(identifiability) 분석을 통해 분산 소스는 비식별 가능하지만 전사 위치(transcription site)와 같은 점 소스는 식별 가능성을 회복함을 증명하였다. 물리 정보 기반(physics-informed) 머신러닝 방법들(DTO, PINN, BiLO)을 단일 스냅샷 추론에 적용하여 효과적인 공간 이질성 복원을 시연하였으며, 경계 조건 및 확률론적 미적분 관례와 같은 모델링 선택이 식별 가능성 한계를 추가로 결정함을 밝혔다.
물리학과 기하학의 코체인 컵 곱(cup product)을 모델링하기 위해 고차 게이지 이론의 조정 항을 결합한 조정된 컵 곱 신경망 레이어를 제안한다. 이 방법은 설계상 게이지 불변(gauge invariant)인 출력을 생성하며, 닫힌 사이클에서 출력이 조정 계수에 전적으로 의존함을 이론적으로 입증했다.