신경망 PDE 솔버에서 학습된 상태의 전이 가능성
Transferability of Learned States in Neural PDE Solvers
한국어 초록
신경망 PDE 솔버에서 유용한 재사용(reuse)을 평가하는 것은 어렵다. 최종 정확도는 소스(source) 학습과 타겟 시점(target-time) 계산을 모두 반영할 수 있기 때문이다. 우리의 재사용 계약(reuse contract)은 짝을 이룬 상태 비교(paired state comparison), 일치된 타겟 정보 및 예산(budget), 비용 계산(cost accounting)을 통해 해(solution) 정확도, 학습 기여도(learning contribution), 수치적 유용성(numerical utility)을 분리한다. 문헌 검토(literature audit)를 통해 12편의 논문에서 18개의 버전별 프로토콜 기록(version-specific protocol record)을 추출하여, 유지된 상태(retained state), 타겟 시점 자원(target-time resource), 보고된 통제(reported control)를 기록하였다. 고정된 선형 시스템(linear system)과 잔차 허용 오차(residual tolerance)에 대해, 해 오차(solution-error), 에너지 오차(energy-error), 잔차 노름(residual norm)이 동일하지만 서로 다른 켤레 그래디언트(conjugate-gradient, CG) 반복 횟수로 동일한 해에 도달하는 두 개의 초기 추정값(initial guess)을 구성하였다. 240개의 소스 학습 궤적(trajectory), 두 가지 선형 PDE 계열(family), 푸리에 신경 연산자(Fourier neural operator)와 합성곱 신경망(convolutional network)에 걸쳐, 고정된 예측기(predictor)의 이득은 보정 알고리즘(correction algorithm)에 따라 뒤바뀐다. 64개의 분포 내(in-distribution) 과제(63×63 내부 격자)에서 상대 예측 오차가 모두 5% 이하인 쌍들 중에서, 세 노름 모두의 감소는 더 많은 CG 반복을 동반하며, 두 라이브러리에서 과제별 평균 비율은 각각 23.5%와 23.9%였다. 작업량 기반 선택(work-based selection)은 보류된(held-out) 분포 내 과제에서 2.50~3.33회의 CG 반복을 절약하며, 일치된 적응(matched adaptation)은 유한 예산(finite-budget) 사전학습(pretraining)의 가치를 보여준다. 독립적인 배치(batch)들은 물리 기반으로 학습된(physics-trained) 하나의 푸리에 신경 연산자가 0으로 초기화된 포아송(Poisson) 전처리 CG에 대해 0.73%의 완전한 온라인 절감(online saving)을 달성함을 확인하였다. 재사용은 일치된 상태 비교와 다운스트림(downstream) 계산적 증거(computational evidence)를 필요로 한다.
원문 초록
Assessing useful reuse in neural PDE solvers is challenging: final accuracy can reflect source learning and target-time computation. Our reuse contract separates solution accuracy, learning contribution, and numerical utility through paired state comparisons, matched target information and budgets, and cost accounting. A literature audit extracts 18 version-specific protocol records from 12 papers, documenting retained states, target-time resources, and reported controls. For a fixed linear system and residual tolerance, we construct two initial guesses with identical solution-error, energy-error, and residual norms, reaching the same solution with different conjugate-gradient (CG) iteration counts. Across 240 source-training trajectories, two linear PDE families, Fourier neural operators and convolutional networks, a fixed predictor's benefit reverses across correction algorithms. Among pairs with both relative prediction errors less than or equal to 5 percent on 64 in-distribution tasks (63 by 63 interior grids), reductions in all three norms accompany more CG iterations, at mean taskwise rates of 23.5 percent and 23.9 percent in two libraries. Work-based selection saves 2.50-3.33 CG iterations on held-out in-distribution tasks; matched adaptation demonstrates finite-budget pretraining value. Independent batches confirm a 0.73 percent complete online saving for one physics-trained Fourier neural operator against zero-initialized Poisson-preconditioned CG. Reuse requires matched state comparisons and downstream computational evidence.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학과 물리학의 결합: 비정형 신경망 편미분방정식 솔버를 위한 데이터 효율적 사전학습
Geometry Meets Physics: Data-Efficient Pre-Training for Unstructured Neural PDE Solvers
비정형 3D 기하 구조에서의 편미분방정식(PDE)을 위한 신경망 대리 모델(Neural surrogate models)은 흔히 미흡한 일반화 성능과 대규모 학습(training) 데이터셋 생성의 높은 비용으로 인해 한계를 겪습니다. 이에 따라, 관련 PDE 역학의 대규모 데이터셋을 활용한 사전학습(pre-training)이 이러한 모델의 강건성과 확장성을 향상하기 위한 중요한 대안으로 떠올랐습니다. 그러나 이 전략은 생성 비용이 매우 높은 대규모 사전 계산 데이터에 의존하므로 연산 효율적이지도 데이터 효율적이지도 않습니다. 본 연구에서는 정상 상태(steady-state)와 과도(transient) 상태 영역 모두에 맞춘 디스크 데이터가 필요 없는(disk-data-free) 사전학습 프레임워크를 소개합니다. 정상 상태 문제의 경우, 복잡한 3D 도메인의 표현을 학습하기 위해 내재적 형상 기술자(intrinsic shape descriptors)를 활용하는 기하학 중심 전략을 제안합니다. 과도 상태 문제에 대해서는 합성 PDE 데이터의 온라인 생성을 기반으로 하는 물리학 중심 접근법을 도입하여, 고비용 데이터셋에 의존하지 않고도 확장 가능한 사전학습을 가능하게 합니다. 다수의 실험 전반에서 본 접근법은 특히 현실적인 저데이터 환경의 미세조정(fine-tuning) 과정에서 더 빠른 수렴(convergence), 더 높은 데이터 효율성, 그리고 향상된 정확도를 달성합니다. 이 방법론은 대규모 시뮬레이션을 위한 데이터 효율적인 신경망 에뮬레이터를 향한 실용적인 경로를 제공합니다.
도메인 일반화를 위한 Projection Pursuit CPCANet
Projection Pursuit CPCANet for Domain Generalization
도메인 일반화(DG)는 분포 변화에 강건한 표현을 학습하는 것을 목표로 한다. CPCANet과 같은 최근의 기하학적 정렬 방법들은 배치 단위 공통 주성분 분석(CPCA)을 통해 도메인 불변 구조를 추출한다. 그러나 CPCANet은 미니배치 학습에서의 소표본 문제로 인해 계수 결손(rank-deficient) 공분산 추정의 한계를 겪는다. 이 한계를 해결하기 위해, 우리는 Stiefel 다양체 위에서 전역 직교 기저를 학습하고 Cayley 변환을 통해 네트워크 파라미터와 함께 공동 최적화하는 공분산-무(covariance-free) 프레임워크인 Projection Pursuit CPCANet(PP-CPCANet)을 제안한다. 또한 우리는 밀집하고 강건한 최적화 신호로 공통 주성분(CPC)을 추출하기 위해 대칭성 깨기(symmetry-breaking) 분리-중앙값(detached-median) PP 분산(dispersion) 목적함수를 도입한다. 4개의 DG 벤치마크에서의 실험은 PP-CPCANet이 안정적인 학습을 유지하면서 SOTA 성능을 달성함을 보여준다.
건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링
Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking
협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
부호 그래프 사전학습 및 프롬프트 학습
Signed Graph Pre-Training and Prompt Learning
부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Under review as a conference paper at ICLR 2027