arXiv:2609.36527v3 cs.LG

SCOPE: 희소 PDE 추론을 위한 관측 조건화 전체 타겟 예측

SCOPE: Observation-Conditioned Full-Target Prediction for Sparse PDE Inference

Ruichen Xu, Siyao Wang, Fang Wan, Jiacheng Qiu, Wenhan Gao, Jiaxing Zhang, Linsey Pang, Ravid Shwartz-Ziv, Prakhar Mehrotra, Yann LeCun, Yuefan Deng

제출 2026-09-29

저자 비고

arXiv Comments

34 pages, including supplementary material. Code: https://github.com/ru1ch3n/SCOPE. Author affiliation updated. Updated future-work discussion

한국어 초록

희소 관측(sparse observation)으로부터 완전한 물리 필드(physical field)를 복원하는 것은 측정값이 기저 상태(underlying state)를 고유하게 결정하지 못할 수 있기 때문에 어려운 문제이다. 디퓨전 기반(diffusion-based) PDE 솔버는 반복적 샘플링(iterative sampling)을 통해 이 문제를 해결하는 반면, 신경 연산자(neural operator)는 결정론적인 단일 패스(one-pass) 예측을 제공한다. 우리는 전체 필드 잠재 예측(full-field latent prediction)과 물리적 복원(physical reconstruction)을 결합하여 희소 관측으로부터 완전한 PDE 필드를 복원하는 SCOPE(Sparse-Context Observability-aware Predictive Embeddings)를 제안한다. 공유 디코더(shared decoder)는 예측된 표현(representation)과 완전한 뷰(complete-view) 표현 양쪽 모두로부터 필드를 재구성하여, 표현 학습(representation learning)이 물리적 복원과 잠재 매칭(latent matching) 양쪽 모두에 의해 안내되도록 한다. 우리는 고정된 교사-디코더(teacher-decoder) 쌍에서의 2차 리스크 분해(quadratic risk decomposition)를 도출하여, 최적의 잠재 예측이 왜 반드시 최적의 필드 복원으로 이어지지는 않는지를 보인다. 또한 완전한 입력(complete input)에 대한 디코더 개선이 부분 관측으로부터의 복원으로 전이(transfer)되기 위한 충분조건(sufficient condition)을 확립한다. 다섯 가지 PDE 설정에 대한 실험 결과, SCOPE는 마스크 인지(mask-aware) 신경 연산자를 10개의 정방향(forward) 및 역방향(inverse) 과제 전체에서 능가하며, DiffusionPDE와 FunDPS를 포함한 디퓨전 기반 솔버에서 보고된 값보다 더 낮은 오차를 달성한다. 디코더만 적응(decoder-only adaptation)시키는 방식은 백본(backbone)을 재학습하지 않고도 복원을 추가로 개선하며, 결정론적 단일 패스 추론(deterministic single-pass inference)을 유지한다.

원문 초록

Recovering complete physical fields from sparse observations is challenging because the measurements may not uniquely determine the underlying state. Diffusion-based PDE solvers address this problem through iterative sampling whereas neural operators provide deterministic one-pass predictions. We propose SCOPE (Sparse-Context Observability-aware Predictive Embeddings) to recover complete PDE fields from sparse observations by coupling full-field latent prediction with physical reconstruction. A shared decoder reconstructs fields from both predicted and complete-view representations so that representation learning is guided by both physical recovery and latent matching. We derive a quadratic risk decomposition at fixed teacher-decoder pairs showing why optimal latent prediction need not yield optimal field reconstruction. We also establish sufficient conditions for decoder improvements on complete inputs to transfer to recovery from partial observations. Experiments across five PDE settings show that SCOPE outperforms mask-aware neural operators on all ten forward and inverse tasks and achieves lower errors than those reported for diffusion-based solvers including DiffusionPDE and FunDPS. Decoder-only adaptation further improves recovery without retraining the backbone while retaining deterministic single-pass inference.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.36527v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24313v1cs.CV공통 태그 Representation Learning, neural operator

NeuIDO: 물리 정보 기반 4D 월드 모델을 위한 신경 내재 역학 연산자

NeuIDO: Neural Intrinsic Dynamics Operator for Physics-Informed 4D World Models

월드 모델은 환경 역학을 포착하고 미래 궤적을 예측하는 것을 목표로 하며, 체화 지능(embodied intelligence)에 대한 잠재력이 커지고 있다. 물리 정보 기반 4D 생성은 물리 시뮬레이션을 통합하여 3D 객체 상호작용을 예측하며, 월드 모델을 향한 유망한 경로를 제공한다. 그러나 이 패러다임은 세계 역학을 내재화하기보다는 수동으로 부과된 역학적 가정에 의존하므로, 진정한 월드 모델까지는 여전히 격차가 남아 있다. 이 격차를 메우기 위해, 우리는 시각 관측으로부터 통합된 내재 역학 표현을 학습하는 새로운 세계 역학 모델링 프레임워크 NeuIDO를 제안하며, 물리 정보 기반 4D 생성을 월드 모델 방향으로 발전시킨다. 구체적으로, 우리는 월드 모델링을 신경 연산자(neural operator) 학습 문제로 정식화하고, 시각 관측 분포에서 내재 역학 분포로의 일반화 가능한 매핑을 학습하기 위한 2단계 학습 전략을 도입한다. 이 관측-역학 매핑을 바탕으로 NeuIDO는 동영상으로부터 직접 제로샷(zero-shot) 역학 추론을 가능하게 하며, 퓨샷(few-shot) 적응을 통해 복잡한 실세계 역학과 추가로 정렬(alignment)할 수 있다. 광범위한 실험을 통해 NeuIDO가 다양한 시각 관측 아래의 내재 역학을 공유 표현으로 효과적으로 통합하고, 새로운 장면에서 역학을 빠르게 추론함을 보여준다.

arXiv:2609.38840v3cs.LG공통 태그 Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2610.10850v2cs.LG공통 태그 Representation Learning

유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화

Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders

AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.

arXiv:2609.27710v3cs.CV공통 태그 Representation Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.