기하학과 물리학의 결합: 비정형 신경망 편미분방정식 솔버를 위한 데이터 효율적 사전학습
Geometry Meets Physics: Data-Efficient Pre-Training for Unstructured Neural PDE Solvers
한국어 초록
비정형 3D 기하 구조에서의 편미분방정식(PDE)을 위한 신경망 대리 모델(Neural surrogate models)은 흔히 미흡한 일반화 성능과 대규모 학습(training) 데이터셋 생성의 높은 비용으로 인해 한계를 겪습니다. 이에 따라, 관련 PDE 역학의 대규모 데이터셋을 활용한 사전학습(pre-training)이 이러한 모델의 강건성과 확장성을 향상하기 위한 중요한 대안으로 떠올랐습니다. 그러나 이 전략은 생성 비용이 매우 높은 대규모 사전 계산 데이터에 의존하므로 연산 효율적이지도 데이터 효율적이지도 않습니다. 본 연구에서는 정상 상태(steady-state)와 과도(transient) 상태 영역 모두에 맞춘 디스크 데이터가 필요 없는(disk-data-free) 사전학습 프레임워크를 소개합니다. 정상 상태 문제의 경우, 복잡한 3D 도메인의 표현을 학습하기 위해 내재적 형상 기술자(intrinsic shape descriptors)를 활용하는 기하학 중심 전략을 제안합니다. 과도 상태 문제에 대해서는 합성 PDE 데이터의 온라인 생성을 기반으로 하는 물리학 중심 접근법을 도입하여, 고비용 데이터셋에 의존하지 않고도 확장 가능한 사전학습을 가능하게 합니다. 다수의 실험 전반에서 본 접근법은 특히 현실적인 저데이터 환경의 미세조정(fine-tuning) 과정에서 더 빠른 수렴(convergence), 더 높은 데이터 효율성, 그리고 향상된 정확도를 달성합니다. 이 방법론은 대규모 시뮬레이션을 위한 데이터 효율적인 신경망 에뮬레이터를 향한 실용적인 경로를 제공합니다.
원문 초록
Neural surrogate models for Partial Differential Equations (PDEs) on unstructured 3D geometries are often limited by poor generalization and the high cost of generating large-scale training datasets. Consequently, pre-training on massive datasets of related PDE dynamics has emerged as a critical alternative to enhance the robustness and scalability of these models. However, this strategy is neither compute- nor data-efficient, as it relies on massive pre-computed data that is very costly to generate. In this work, we introduce a disk-data-free pre-training framework tailored to both steady-state and transient regimes. For steady-state problems, we propose a geometry-driven strategy that leverages intrinsic shape descriptors to learn representations of complex 3D domains. For transient problems, we introduce a physics-driven approach based on online generation of synthetic PDE data, enabling scalable pre-training without reliance on expensive datasets. Across multiple experiments, our approach achieves faster convergence, greater data efficiency, and higher accuracy during fine-tuning, particularly under realistic low-data regimes. This methodology provides a practical pathway toward data-efficient neural emulators for large-scale simulations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PlacePulse: 구조적 지리 데이터로부터 전이 가능한 장소 표현 학습
PlacePulse: Learning Transferable Place Representations from Structural Geographic Data
지리공간(geospatial) 머신러닝은 흔히 사회인구학적(sociodemographic), 비즈니스, 환경 변수들의 대규모 집합에 대한 과업별 특징(feature) 엔지니어링에 의존한다. 지리공간 파운데이션 모델(foundation model)은 재사용 가능한 장소 표현을 제공하지만, 주요 접근법들은 보통 이동성(mobility)과 검색 활동 같은 동적 신호, 또는 위성 이미지로부터의 시각적 신호를 인코딩한다. 장소의 정적인 구조적 구성(그곳에 누가 거주하고 일하는지, 어떤 비즈니스가 운영되는지, 어떤 위험에 노출되어 있는지)을 세밀한 공간 해상도에서 전이 가능한 임베딩(embedding)으로 나타내는 모델은 드물다. 우리는 572개의 속성을 H3 인접 지역 집계를 통해 2,288개의 입력으로 확장한 뒤, 미국 내 1,055,537개의 H3 해상도-7 셀에 대해 256차원의 단위 노름(unit-norm) 임베딩으로 압축하는 구조적 지리공간 파운데이션 모델인 PlacePulse를 소개한다. 또한 우리는 여러 타깃과 공간 지원(spatial support)에 걸쳐 내재적 표현 품질과 다운스트림 예측 유용성을 분리하는 재사용 가능한 이축(two-axis) 벤치마크를 소개한다. 내재적으로, 이 임베딩은 평균 $R^2 = 0.853$으로 표준화된 입력을 재구성하며, 256개 중 251개의 거의 비상관화된(decorrelated) 차원을 사용하고, 선행 주성분(leading principal component)에서 Moran's $I = 0.93$을 보이는 등 강한 공간적 구조를 나타내며 자기상관(autocorrelation)이 입력 반경을 넘어서도 지속된다. 외재적으로, 12개의 외부 소스와 네 가지 공간 지원으로부터 얻은 74개의 홀드아웃(held-out) 타깃에 걸쳐, PlacePulse는 학습 입력과 무관한 타깃들에서 차원수를 맞춘 특징 선택 기준선(feature-selection baseline)을 능가하며, Google의 Population Dynamics Foundation Model과 경쟁력이 있고, 건강, 경제, 선거, 경제적 이동성(economic mobility), 사회적 취약성(social vulnerability) 결과에서는 우위를 보이는데, 이러한 상대적 강점은 도메인에 따라 다르게 나타난다. 이러한 결과는 구조적 구성을 행동 데이터나 이미지 데이터가 없을 때의 단순한 대체재가 아니라, 지리공간 파운데이션 모델을 위한 독자적이고 상호 보완적인 모달리티(modality)로 자리매김한다.
PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크
PPG-Bench: A Unified Benchmark for PPG Foundation Models
광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.
RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이
The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer
유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.
신경망 PDE 솔버에서 학습된 상태의 전이 가능성
Transferability of Learned States in Neural PDE Solvers
신경망 PDE 솔버에서 유용한 재사용(reuse)을 평가하는 것은 어렵다. 최종 정확도는 소스(source) 학습과 타겟 시점(target-time) 계산을 모두 반영할 수 있기 때문이다. 우리의 재사용 계약(reuse contract)은 짝을 이룬 상태 비교(paired state comparison), 일치된 타겟 정보 및 예산(budget), 비용 계산(cost accounting)을 통해 해(solution) 정확도, 학습 기여도(learning contribution), 수치적 유용성(numerical utility)을 분리한다. 문헌 검토(literature audit)를 통해 12편의 논문에서 18개의 버전별 프로토콜 기록(version-specific protocol record)을 추출하여, 유지된 상태(retained state), 타겟 시점 자원(target-time resource), 보고된 통제(reported control)를 기록하였다. 고정된 선형 시스템(linear system)과 잔차 허용 오차(residual tolerance)에 대해, 해 오차(solution-error), 에너지 오차(energy-error), 잔차 노름(residual norm)이 동일하지만 서로 다른 켤레 그래디언트(conjugate-gradient, CG) 반복 횟수로 동일한 해에 도달하는 두 개의 초기 추정값(initial guess)을 구성하였다. 240개의 소스 학습 궤적(trajectory), 두 가지 선형 PDE 계열(family), 푸리에 신경 연산자(Fourier neural operator)와 합성곱 신경망(convolutional network)에 걸쳐, 고정된 예측기(predictor)의 이득은 보정 알고리즘(correction algorithm)에 따라 뒤바뀐다. 64개의 분포 내(in-distribution) 과제(63×63 내부 격자)에서 상대 예측 오차가 모두 5% 이하인 쌍들 중에서, 세 노름 모두의 감소는 더 많은 CG 반복을 동반하며, 두 라이브러리에서 과제별 평균 비율은 각각 23.5%와 23.9%였다. 작업량 기반 선택(work-based selection)은 보류된(held-out) 분포 내 과제에서 2.50~3.33회의 CG 반복을 절약하며, 일치된 적응(matched adaptation)은 유한 예산(finite-budget) 사전학습(pretraining)의 가치를 보여준다. 독립적인 배치(batch)들은 물리 기반으로 학습된(physics-trained) 하나의 푸리에 신경 연산자가 0으로 초기화된 포아송(Poisson) 전처리 CG에 대해 0.73%의 완전한 온라인 절감(online saving)을 달성함을 확인하였다. 재사용은 일치된 상태 비교와 다운스트림(downstream) 계산적 증거(computational evidence)를 필요로 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to NeurIPS 2026