arXiv:2301.06674

Multi-fidelity surrogate modeling for temperature field prediction using deep convolution neural network

Yunyang Zhang, Zhiqiang Gong, Weien Zhou, Xiaoyu Zhao, Xiaohu Zheng, Wen Yao

제출 2023-01-17

원문 초록

Temperature field prediction is of great importance in the thermal design of systems engineering, and building the surrogate model is an effective way for the task. Generally, large amounts of labeled data are required to guarantee a good prediction performance of the surrogate model, especially the deep learning model, which have more parameters and better representational ability. However, labeled data, especially high-fidelity labeled data, are usually expensive to obtain and sometimes even impossible. To solve this problem, this paper proposes a pithy deep multi-fidelity model (DMFM) for temperature field prediction, which takes advantage of low-fidelity data to boost the performance with less high-fidelity data. First, a pre-train and fine-tune paradigm are developed in DMFM to train the low-fidelity and high-fidelity data, which significantly reduces the complexity of the deep surrogate model. Then, a self-supervised learning method for training the physics-driven deep multi-fidelity model (PD-DMFM) is proposed, which fully utilizes the physics characteristics of the engineering systems and reduces the dependence on large amounts of labeled low-fidelity data in the training process. Two diverse temperature field prediction problems are constructed to validate the effectiveness of DMFM and PD-DMFM, and the result shows that the proposed method can greatly reduce the dependence of the model on high-fidelity data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27554v1cs.LG공통 태그 Self-Supervised Learning, Prediction

PhyMo: 다중모달 AI4Physics를 위한 물리장 모달리티

PhyMo: A Physical-Field Modality for Multimodal AI4Physics

다중모달 학습(Multimodal learning)은 물리 시스템을 예측할 때 이종의 관측치, 측정값, 도메인 지식에 대한 공동 해석이 요구되는 물리 특화 인공지능(AI4Physics)을 위한 강력한 패러다임으로 부상하고 있습니다. 그러나 기존 접근 방식은 일반적으로 물리량과 지배 방정식을 일반적인 수치 또는 텍스트 토큰(token)으로 표현하여, 이들의 시공간적 상호작용을 결정하는 물리적 제약 조건을 간과합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 물리장 모달리티(physical-field modality)를 도입하고 편미분 방정식(PDE) 관련 연산자를 통해 이종 측정값을 구성하는 물리 기반 다중모달 프레임워크인 PhyMo를 제안합니다. PhyMo는 3단계 학습(training) 절차를 따릅니다. 먼저 물리장 인코더를 PDE 잔여 오차 감독 하에 장 재구성을 통해 사전학습(pre-training)하고, 이후 그 표현을 공유 잠재 공간에서 시각적 임베딩(embedding)과 정렬(alignment)하며, 마지막으로 융합된 다중모달 표현을 해당 다운스트림 예측 헤드에서 처리합니다. 다양한 물리 환경에 걸친 5개의 데이터셋(dataset)에 대한 실험에서 PhyMo는 각 데이터셋의 가장 강력한 기준선(baseline) 대비 최고 성능(state-of-the-art)을 달성하여, AI4Physics의 다중모달 표현 학습에서 PhyMo의 우수성을 입증합니다.

arXiv:2609.28022v1cs.LG공통 태그 Self-Supervised Learning, Prediction

PISCES: 우주 날씨 이상 탐지 및 조기 경보를 위한 물리 정보 기반 태양풍 합성곱 오토인코더

PISCES: Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather Anomaly Detection and Early Warning

우주 날씨 조기 경보는 태양풍 과도현상(transients)이 지구에 도달하기 전 제1 태양-지구 라그랑주 점(L1)의 현장(in-situ) 측정치에서 이를 감지하는 데 의존합니다. 고정된 임계값은 복합적인 자기장 및 플라즈마 구조를 놓칠 수 있으며, 많은 학습 방법은 단일 이상 점수만을 제공합니다. 본 논문에서는 물리적 제약 조건 하에서 카탈로그 레이블 없이 OMNI 태양풍 측정 데이터를 학습한 합성곱 오토인코더인 PISCES(Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather)를 제시합니다. 본 모델의 손실(loss)에는 자기장 일관성, 온도와 속도 간의 경험적 관계, 파커 스파이럴(Parker spiral) 각도, 그리고 재구성 결과로부터 계산된 유도 물리량들에서 연속된 1분 단위 샘플 간의 변화에 대한 페널티가 포함됩니다. 추론(inference) 시 PISCES는 이상 점수를 자기장 및 플라즈마 재구성 오차, 물리적 관계, 잔차 보정값으로 분리하여 각 기여도의 크기를 보고합니다. 검증(validation) 데이터를 통해 선택된 스킵 연결(skip connection)의 감쇠는 학습된 모델의 평균 정밀도(precision)를 향상시키는 반면, 학습되지 않은 점수는 거의 동일하게 유지됩니다. 또한 학습된 모델은 이러한 물리적 기여도 간의 보다 일관된 순위를 제공합니다. 후행 중앙값(trailing median)으로 스무딩을 거친 후 경보는 양의 급변 임펄스(positive sudden impulses)를 포함하여 독립적으로 관측된 급성 시작(sudden commencements)보다 앞서 발생할 수 있습니다.

arXiv:2609.28414v1cs.CV공통 태그 Self-Supervised Learning, Prediction

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

arXiv:2609.22271v1cs.CV공통 태그 Self-Supervised Learning, Prediction

다중모달 뇌졸중 재발 예측을 위한 비전 및 교차 모달 학습 실현: 해석 가능한 2단계 프레임워크

Enabling Vision and Cross-Modal Learning for Multimodal Stroke Recurrence Prediction: An Interpretable Two-Step Framework

다중모달(multimodal) 뇌졸중 재발 예측은 이종의 임상 및 영상 데이터의 효과적인 통합을 필요로 하지만, 모달리티 불균형(modality imbalance)으로 인해 모델이 지배적인 모달리티에 지나치게 의존하고 상호보완적인 정보를 충분히 활용하지 못하는 경우가 자주 발생합니다. 자기지도 사전학습(self-supervised pretraining)과 선택적 매개변수 동결은 표현 학습과 미세조정 안정성을 향상시키기 위해 흔히 사용되지만, 다중모달 의료 모델에서 모달리티 기여도 및 교차 모달(cross-modal) 동작에 미치는 영향은 여전히 거의 연구되지 않았습니다. 본 연구에서는 최근 다루었던 임상적으로 중요한 과제인 뇌졸중 재발 예측을 위해, 3D CTA 스캔 기반의 영상 사전학습이 모달리티 불균형을 줄이고 교차 모달 통합을 향상시키는지 조사합니다. 이를 위해 두 가지 다중모달 신경망을 자기지도 방식으로 사전학습한 후, 두 가지 서로 다른 동결 전략을 사용하여 미세조정합니다. 이들의 성능과 모달리티 활용도를 이전 연구의 기준선 모델 및 본 연구에서 처음부터 완전히 학습(trained from scratch)된 모델 모두와 비교합니다. 연구 결과, 자기지도 사전학습은 다중모달 영상-정형(image-tabular) 데이터셋을 더욱 효과적으로 활용할 수 있게 하여 기존 기준선과 사전학습되지 않은 모든 모델을 능가함을 입증합니다. 특히, 가장 우수한 성능을 보인 Vision Transformer 기반 신경망은 단일모달 붕괴(unimodal collapse)를 성공적으로 극복했습니다. 시너지 분석 결과, 비전과 성별 및 관상동맥질환(CHD) 간의 유의미한 상호작용이 밝혀졌으며, 이는 뇌졸중 재발에 대한 임상적으로 유의미한 패턴을 시사합니다. 전반적으로, 본 연구의 결과는 자기지도 사전학습과 전략적인 미세조정이 보다 균형 잡힌 모달리티 활용을 지원하고 의미 있는 교차 모달 상호작용을 가능하게 함을 보여줍니다. 코드는 https://github.com/ChristianGappGit/SSL_Pretraining 에서 공개되어 있습니다.

arXiv:2609.23881v1cs.CV공통 태그 Self-Supervised Learning, Prediction

MotionJEPA: 잠재 공간에서 시각적 변화를 포착하여 시간적 특징 붕괴 방지하기

MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space

Joint Embedding Predictive Architecture(JEPA)는 시각적 재구성(visual reconstruction) 없이 과제 무관(task-agnostic) 잠재 월드 모델을 학습(training)하기 위한 유망한 패러다임입니다. 그러나 표준 JEPA 학습은 느린 특징(slow feature)에 대한 강한 귀납적 바이어스(inductive bias)를 보여, 특징 억제와 잠재 표현(latent representation)의 붕괴를 초래합니다. 역동역학(inverse dynamics)은 시간적 붕괴 방지(temporal anti-collapse)를 제공하지만, 행동 레이블(action label)에 의존하며 레이블이 없는 일반적인 역동학을 임베딩(embedding)하도록 유도하는 효과는 미미합니다. 본 논문에서는 픽셀 재구성 손실(pixel reconstruction loss) 없이 시간적 차영상 임베딩을 예측하는 역동역학 스타일 모듈을 기반으로 하여 정적 및 동적 특징 학습의 균형을 맞추는 새로운 정규화(regularization) 기법인 Difference Image and Single image embedding Regularization(DISReg)을 소개합니다. DISReg는 이미지 임베딩의 분포를 형성하고 느린 특징을 유도하는 정적 항과, 임베딩에 직접 정규화를 적용하는 방식과 달리 이미지 임베딩의 형태나 분포에 제약을 가하지 않고 동적 특징이 존재하도록 유도하기만 하는 동적 항으로 구성됩니다. 이 정규화 기법을 표준 JEPA에 통합하여 새로운 아키텍처인 MotionJEPA를 구축합니다. 잠재 프로빙(latent probing)을 통해 MotionJEPA가 다른 방식들보다 더 완전한 표현을 생성함을 입증하며, 궤적 분석(trajectory analysis)을 통해 곡률(curvature)이 낮은 기하학적으로 단순한 잠재 임베딩을 유지함을 보여줍니다. 나아가 4개의 환경에서 MotionJEPA가 정적 배경 방해 요소(static-background distractors)가 존재하는 상황에서도 다운스트림 플래닝(planning) 성공률을 향상시킴을 보입니다.

arXiv:2610.10857v2cs.AI공통 태그 Self-Supervised Learning

호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.