더 큰 도메인에 대한 트랜스포머 신경 연산자의 제로샷 일반화
Zero-shot generalization of transformer neural operators to larger domains
한국어 초록
트랜스포머(Transformer) 기반 신경 연산자(neural operator)는 복잡한 형상에서 편미분방정식(PDE)의 해 연산자를 근사하는 데 뛰어난 성능을 보여왔습니다. 그러나 기존 접근 방식들은 암묵적으로 고정된 도메인 크기를 가정하므로 추론 시 일반화 능력이 제한됩니다. 본 연구에서는 도메인 확장, 즉 학습 중에 접한 것보다 훨씬 더 큰 공간 도메인에서의 제로샷(zero-shot) 추론을 조사합니다. 우리는 이 설정이 근본적으로 공간적 국소성(spatial locality)과 평행이동 동변성(translation equivariance)을 필요로 한다고 주장합니다. 이를 위해 어텐션 로짓(attention logits) 계산에 분해 가능한 바이어스를 도입하여 국소성을 구현할 것을 제안하며, 이는 쿼리-키 내적으로 완전히 분해 가능하고 최적화된 어텐션 커널과 직접 호환되면서도 정밀하게 제어 가능한 국소성을 제공합니다. 회전 위치 임베딩(RoPE)과 결합하여, 트랜스포머 아키텍처를 변경하지 않고도 제어 가능한 공간적 지지 집합(spatial support)을 갖는 표현력 있는 임베딩을 가능하게 합니다. 우리는 두 가지 PDE 벤치마크와 3D 산업용 대기 흐름 응용 분야에서 본 접근 방식이 더 큰 도메인으로의 제로샷 일반화를 크게 향상함을 경험적으로 보여줍니다. 코드와 데이터셋은 https://github.com/cerea-daml/domain-extension 에서 확인할 수 있습니다.
원문 초록
Transformer-based neural operators have shown remarkable performance for approximating solution operators of partial differential equations on complex geometries. However, existing approaches implicitly assume a fixed domain size, which limits their ability to generalize at inference. In this work, we investigate domain extension, namely zero-shot inference on spatial domains that are significantly larger than those encountered during training. We argue that this setting fundamentally requires spatial locality and translation equivariance. We propose to implement this locality via a decomposable bias in the attention logits computation, enabling finely controllable locality while remaining fully decomposable into query-key inner products and directly compatible with optimized attention kernels. Combined with rotary positional embeddings, it enables expressive embeddings with controllable spatial support without altering the transformer architecture. We empirically show that our approach substantially improves zero-shot generalization to larger domains across two PDE benchmarks and a 3D industrial atmospheric flow application. Our code and datasets are available at https://github.com/cerea-daml/domain-extension.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NeuIDO: 물리 정보 기반 4D 월드 모델을 위한 신경 내재 역학 연산자
NeuIDO: Neural Intrinsic Dynamics Operator for Physics-Informed 4D World Models
월드 모델은 환경 역학을 포착하고 미래 궤적을 예측하는 것을 목표로 하며, 체화 지능(embodied intelligence)에 대한 잠재력이 커지고 있다. 물리 정보 기반 4D 생성은 물리 시뮬레이션을 통합하여 3D 객체 상호작용을 예측하며, 월드 모델을 향한 유망한 경로를 제공한다. 그러나 이 패러다임은 세계 역학을 내재화하기보다는 수동으로 부과된 역학적 가정에 의존하므로, 진정한 월드 모델까지는 여전히 격차가 남아 있다. 이 격차를 메우기 위해, 우리는 시각 관측으로부터 통합된 내재 역학 표현을 학습하는 새로운 세계 역학 모델링 프레임워크 NeuIDO를 제안하며, 물리 정보 기반 4D 생성을 월드 모델 방향으로 발전시킨다. 구체적으로, 우리는 월드 모델링을 신경 연산자(neural operator) 학습 문제로 정식화하고, 시각 관측 분포에서 내재 역학 분포로의 일반화 가능한 매핑을 학습하기 위한 2단계 학습 전략을 도입한다. 이 관측-역학 매핑을 바탕으로 NeuIDO는 동영상으로부터 직접 제로샷(zero-shot) 역학 추론을 가능하게 하며, 퓨샷(few-shot) 적응을 통해 복잡한 실세계 역학과 추가로 정렬(alignment)할 수 있다. 광범위한 실험을 통해 NeuIDO가 다양한 시각 관측 아래의 내재 역학을 공유 표현으로 효과적으로 통합하고, 새로운 장면에서 역학을 빠르게 추론함을 보여준다.
Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
GAIA: Geometry-Adaptive Operator Learning for Forward and Inverse Problems
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings
토론
이 논문과 연결된 포럼 글이 아직 없습니다.