시간 속에 얼어붙다: 물리 파운데이션 모델은 시뮬레이션-실제 적응 과정에서 어떻게 망각하는가
Frozen in Time: How a Physics Foundation Model Forgets Under Sim-to-Real Adaptation
한국어 초록
과학 파운데이션 모델(SciFM)은 다양한 편미분방정식(PDE)에서 뛰어난 성능을 달성했으며, 추가 미세조정을 통해 보지 못한 데이터 분포에 효율적으로 적응하는 능력도 갖추고 있다. 모든 신경망 구조가 그러하듯, 이러한 모델을 미세조정하면 새로운 과제에 적응하는 과정에서 모델이 기존에 가진 지식이 저하되는 파국적 망각의 위험이 따른다. 본 연구에서는 연속체 동역학을 위한 SciFM인 Walrus-1.3B를 대상으로, 원기둥 주위의 시뮬레이션 유동에 대해 먼저 미세조정한 뒤 동일 시스템의 실험 데이터에 적응시키는 2단계 시뮬레이션-실제 적응 과정에서 나타나는 파국적 망각을 연구한다. 그 결과, 시뮬레이션에 대한 미세조정은 원래의 사전학습 데이터셋에 대한 롤아웃 성능을 급격히 저하시키며, 단 20 에포크 만에 단일 스텝 오차가 최대 35배까지 증가함을 확인했다. 이후 실제 데이터에 적응시키면 시뮬레이션 과제에 대한 성능이 추가로 저하된다. 우리는 데이터셋 의존성과 과제 표현 유사성 등 망각의 잠재적 요인을 분석한다. 이어서 실제 데이터 미세조정 중 시뮬레이션 데이터를 단 1%만 재생(replay)하더라도 손실된 시뮬레이션 성능의 대부분이 회복되면서 실험 동역학에 대한 효과적인 적응도 유지됨을 보인다. 본 결과는 파국적 망각이 SciFM의 시뮬레이션-실제 적응에서 실질적인 걸림돌임을 보여 주며, 경량 재생 전략이 지식 보존을 크게 향상시킴을 보인다.
원문 초록
Scientific foundation models (SciFMs) have achieved remarkable performance on a wide range of PDEs, including the ability to efficiently adapt to unseen data distributions with additional finetuning. As with all neural architectures, finetuning such models comes with the risk of catastrophic forgetting, whereby adapting to new tasks degrades prior knowledge of the model. We study catastrophic forgetting in Walrus-1.3B, a SciFM for continuum dynamics, over the course of a two-stage sim-to-real adaptation: first finetuning on simulated flow around a cylinder and then adapting to experimental data of the same system. We find that finetuning on the simulations rapidly degrades rollout performance on the original pretraining datasets, with one-step errors increasing up to 35x after just 20 epochs. Subsequent adaptation to real data further erodes performance on the simulated task. We characterize the potential drivers of forgetting, such as dataset dependence and task representation similarity. We then show that replaying as little as 1% simulated data during real-data finetuning recovers most of the lost simulation performance while retaining effective adaptation to the experimental dynamics. Our results identify catastrophic forgetting as a practical obstacle to sim-to-real adaptation of SciFMs and show that lightweight replay strategies significantly improve retention.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.40857v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.