arXiv:2303.18055

Deep neural operator for learning transient response of interpenetrating phase composites subject to dynamic loading

Minglei Lu, Ali Mohammadi, Zhaoxu Meng, Xuhui Meng, Gang Li, Zhen Li

제출 2023-03-30

원문 초록

Additive manufacturing has been recognized as an industrial technological revolution for manufacturing, which allows fabrication of materials with complex three-dimensional (3D) structures directly from computer-aided design models. The mechanical properties of interpenetrating phase composites (IPCs), especially response to dynamic loading, highly depend on their 3D structures. In general, for each specified structural design, it could take hours or days to perform either finite element analysis (FEA) or experiments to test the mechanical response of IPCs to a given dynamic load. To accelerate the physics-based prediction of mechanical properties of IPCs for various structural designs, we employ a deep neural operator (DNO) to learn the transient response of IPCs under dynamic loading as surrogate of physics-based FEA models. We consider a 3D IPC beam formed by two metals with a ratio of Young's modulus of 2.7, wherein random blocks of constituent materials are used to demonstrate the generality and robustness of the DNO model. To obtain FEA results of IPC properties, 5,000 random time-dependent strain loads generated by a Gaussian process kennel are applied to the 3D IPC beam, and the reaction forces and stress fields inside the IPC beam under various loading are collected. Subsequently, the DNO model is trained using an incremental learning method with sequence-to-sequence training implemented in JAX, leading to a 100X speedup compared to widely used vanilla deep operator network models. After an offline training, the DNO model can act as surrogate of physics-based FEA to predict the transient mechanical response in terms of reaction force and stress distribution of the IPCs to various strain loads in one second at an accuracy of 98%. Also, the learned operator is able to provide extended prediction of the IPC beam subject to longer random strain loads at a reasonably well accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.16073v4cs.LG공통 태그 Incremental Learning공식 코드 · Papers with Code

연속 학습을 위한 Soft-TransFormers

Soft-TransFormers for Continual Learning

잘 초기화된 복권 티켓 가설(Well-initialized Lottery Ticket Hypothesis, WLTH)에서 영감을 받아, 우리는 Soft-TransFormers(Soft-TF)를 제안한다. 이는 고정된 사전학습 트랜스포머를 선택된 셀프 어텐션(self-attention) 레이어의 query, key, value, output 투영(projection)에 대한 실수값 곱셈 마스크로 구성된 과제별 소프트 서브네트워크를 통해 적응시키는 연속 학습(continual learning) 프레임워크이다. 마스크는 1로 초기화되므로 최적화는 정확히 사전학습 해법에서 시작하며, 마스크 공간 경사하강법은 본질적으로 백본의 지배적 경로를 조절하는 방향으로 편향된다. 우리는 표준 볼록-리ipschitz 가정 하에서, 수렴 속도와 마스크만 사용하는 미세조정의 매개변수 편향(drift) 모두가 사전학습 가중치에서 과제 최적 구성까지의 거리에 의해 제어됨을 증명한다. 이러한 제한된 편향은 두 가지 성질을 만든다. 백본과 과제별 마스크가 덮어쓰이지 않으므로 망각은 구조적으로 제거된다. 또한 모든 과제 서브네트워크가 공유 사전학습 해법 근처에 머물기 때문에, 잘못된 마스크라도 거의 범용적인 함수에 가까운 함수를 평가하므로 과제 추론 오류는 대체로 무해하며, 클래스 증분(class-incremental) 정확도는 과제 추론 신뢰성과 분리된다. 플러그인으로 Soft-TF는 L2P, DualPrompt, HiDe-Prompt, NoRGa와 결합되며, 과제 키 매칭, 엔트로피-그래디언트 기준, 또는 학습된 과제 식별 분류기로 마스크를 선택한다. Split-CIFAR100, Split-ImageNet-R, CUB-200, 5-Datasets 등 클래스 증분 학습 벤치마크에서 Soft-TF는 유사한 학습 가능 매개변수 예산에서 프롬프트 기반, 어댑터 기반, LoRA 스타일 기준선들을 일관되게 능가하면서, 수정되지 않은 백본과 동일한 추론 비용을 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.