PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.14597v2cs.LG

더 큰 도메인에 대한 트랜스포머 신경 연산자의 제로샷 일반화

Zero-shot generalization of transformer neural operators to larger domains

트랜스포머(Transformer) 기반 신경 연산자(neural operator)는 복잡한 형상에서 편미분방정식(PDE)의 해 연산자를 근사하는 데 뛰어난 성능을 보여왔습니다. 그러나 기존 접근 방식들은 암묵적으로 고정된 도메인 크기를 가정하므로 추론 시 일반화 능력이 제한됩니다. 본 연구에서는 도메인 확장, 즉 학습 중에 접한 것보다 훨씬 더 큰 공간 도메인에서의 제로샷(zero-shot) 추론을 조사합니다. 우리는 이 설정이 근본적으로 공간적 국소성(spatial locality)과 평행이동 동변성(translation equivariance)을 필요로 한다고 주장합니다. 이를 위해 어텐션 로짓(attention logits) 계산에 분해 가능한 바이어스를 도입하여 국소성을 구현할 것을 제안하며, 이는 쿼리-키 내적으로 완전히 분해 가능하고 최적화된 어텐션 커널과 직접 호환되면서도 정밀하게 제어 가능한 국소성을 제공합니다. 회전 위치 임베딩(RoPE)과 결합하여, 트랜스포머 아키텍처를 변경하지 않고도 제어 가능한 공간적 지지 집합(spatial support)을 갖는 표현력 있는 임베딩을 가능하게 합니다. 우리는 두 가지 PDE 벤치마크와 3D 산업용 대기 흐름 응용 분야에서 본 접근 방식이 더 큰 도메인으로의 제로샷 일반화를 크게 향상함을 경험적으로 보여줍니다. 코드와 데이터셋은 https://github.com/cerea-daml/domain-extension 에서 확인할 수 있습니다.