PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.24278v2cs.LG

물리 정보 신경망을 위한 푸리에 특징 피라미드

Fourier Feature Pyramids for Physics-Informed Neural Networks

본 논문에서는 편미분 방정식(PDE)을 풀기 위한 개선된 신경 필드(neural field) 아키텍처를 제시합니다. 현재의 물리 정보 신경망(PINN)은 편미분 방정식을 풀기 위한 유연한 프레임워크를 제공하지만, 고정밀 해를 얻는 데 어려움을 겪고 매개변수 수에 따른 연산 확장성이 떨어집니다. beignet(Bandlimited Embedding with Interpolated Grid Network)이라 명명한 본 모델은 기존 PINN 모델에서 사용되던 무작위 푸리에 특징 임베딩을 학습 가능한 다해상도 푸리에 특징 피라미드로 대체합니다. 연속적인 좌표에서 beignet을 쿼리하기 위해 피라미드의 각 수준에서 푸리에 보간법을 사용하여 입력 좌표의 특징을 반환한 다음, 완전 연결 신경망 트렁크를 통해 이 벡터를 디코딩합니다. 본 모델은 다음과 같은 여러 이점을 제공합니다. 1) 자동 미분으로 계산된 신경망의 도함수와 고속 푸리에 변환(FFT)을 통해 스펙트럼 방식으로 계산된 특징 격자의 도함수를 연쇄 법칙으로 합성함으로써 공간 도함수를 효율적으로 계산할 수 있습니다. 2) 신경망 아키텍처를 확장하는 비효율적인 전략 대신 푸리에 특징 피라미드의 매개변수 수를 확장함으로써 계산 효율적인 방식으로 더 높은 정확도를 달성할 수 있습니다. 3) 표현의 대역 제한(bandlimit)을 직접 제어할 수 있어 다루기 힘든 편미분 방정식에 대해서도 최적화가 더욱 안정적입니다. 본 연구는 beignet이 최신 PINN 방법보다 더 적은 매개변수를 사용하면서도 PDE 벤치마크에서 현저히 더 정확한 해를 도출함을 입증합니다. 나아가 자기유사(self-similar) 비점성 버거스 폭발(Burgers blowup) 문제에서 beignet을 평가하여, 이전에는 계산 비용이 큰 고차 최적화기를 사용해야만 도달할 수 있었던 정확도 수준인 머신 정밀도(machine precision)에 가깝게 Adam만으로 잔차를 최소화할 수 있음을 보여줍니다.

arXiv:2602.23006v3stat.ML

비정상 가우시안 프로세스를 위한 정규 푸리에 피처

Regular Fourier Features for Nonstationary Gaussian Processes

가우시안 프로세스(Gaussian process)를 시뮬레이션하려면 고차원 가우시안 분포로부터 샘플링해야 하며, 이는 샘플링 위치 수에 따라 3제곱으로 스케일링됩니다. 스펙트럼 기법은 푸리에 표현(Fourier representation)을 활용하고 스펙트럼 밀도를 몬테카를로 근사에 적합한 확률 분포로 취급함으로써 이러한 문제를 해결합니다. 이러한 확률론적 해석은 정상(stationary) 프로세스에서는 유효하지만, 스펙트럼 밀도가 일반적으로 확률 측도가 아닌 비정상(nonstationary) 프로세스의 경우에는 지나치게 제한적입니다. 이러한 한계를 극복하기 위해, 본 논문에서는 1차원 입력을 갖는 조화 가능(harmonizable) 프로세스를 위한 정규 푸리에 피처(regular Fourier features)를 제안합니다. 제안하는 방법은 스펙트럼 표현을 직접 이산화하여 확률 가정을 요구하지 않으면서도 스펙트럼 가중치 간의 상관 구조를 보존합니다. 유한한 스펙트럼 서포트를 가정할 때, 이는 구조적으로 양의 준정부호(positive semi-definite)를 만족하며 완만한 정칙성 조건 하에서 일관성을 갖는 효율적인 저순위 근사를 제공합니다. 스펙트럼 밀도를 알 수 없는 경우, 이 프레임워크는 데이터로부터 커널을 학습하는 커널 학습(kernel learning)으로도 확장되며, 본 연구에서는 이를 개념 증명(proof of concept)으로서 탐색합니다. 복소수 값을 갖는 스펙트럼 밀도를 포함하는 조화 가능 혼합 커널과 국소 정상(locally stationary) 커널에 대해 해당 근사를 실증합니다. 이어 타당성 연구로서 커널 학습 확장을 실제 및 합성 데이터에 적용하여 경쟁력 있는 베이스라인에 필적하는 성능을 확인합니다.

arXiv:2606.01172v3cs.LG

푸리에 변환과 볼테라 급수를 통한 신경 프로세스 재고찰

Revisiting Neural Processes via Fourier Transform and Volterra Series

유한하고 불규칙하게 샘플링된 측정값으로부터 미지의 잠재 함수를 모델링하는 것은 과학 및 공학 전반에 걸쳐 반복적으로 등장하는 도전 과제이다. 신경 프로세스(Neural Processes, NPs)는 확률론적 함수 모델 계열로, 특히 변환 등변성(translation equivariance)과 같은 도메인 특화 대칭성을 갖출 때 샘플 효율성과 일반화를 향상시켜 유망한 해결책이 된다. 그러나 기존의 변환 등변 NP에는 두 가지 한계가 있다: (i) 비선형성을 포함한 범용 구성요소를 단순히 쌓아올려 유도되는 함수 클래스가 불명확해지고 해석 가능성이 제한되며; (ii) 합성곱 설계는 지역적 수용 필드와 입력을 조밀한 균일 격자에 임베딩해야 하는 필요성으로 인해 제약을 받는 반면, 어텐션 기반 대안은 이러한 제약을 제거하지만 관측 수에 대해 이차적인 비용이 발생한다. 우리는 두 가지 기여를 통해 이 두 문제를 모두 해결한다. 첫째, 볼테라 전개(Volterra expansion)를 사용하여 연속적인 변환 등변 연산자를 고차 합성곱의 합으로 근사함으로써, 분석적 투명성을 제공하는 동시에 1차 합성곱을 통한 효율적인 계산을 가능하게 한다. 둘째, 불규칙하게 샘플링된 점들에 직접 작동하고 근사적으로 전역적인 수용 필드를 달성하며 관측 수에 대해 선형적으로 확장되는 주파수 도메인 파라미터화 방법인 집합 푸리에 합성곱(set Fourier convolutions, SFConvs)을 도입한다. 이러한 아이디어를 기반으로, 비선형성과 함께 SFConv 블록을 쌓은 SFConvCNPs와 볼테라 공식을 통합한 SFVConvCNPs, 두 가지 조건부 NP(CNPs)를 제안한다. 합성 및 실세계 데이터셋에 대한 실험을 통해 최신 기준 모델 대비 제안 방법의 효과를 입증한다.

arXiv:2606.28158v1cs.LG

물리 정보 신경망을 이용한 유한 데이터 칼데론 문제에서 날카로운 전도도 특징 복원

Recovering Sharp Conductivity Features in the Finite-Data Calderón Problem with Physics-Informed Neural Networks

물리 정보 신경망(PINN)은 최근 제한된 경계 데이터로부터 칼데론 역문제를 다루는 유망한 프레임워크로 부상했다. 본 연구에서는 무작위화된 웨이블릿 함수에 기반한 다중 스케일 경계 여기를 도입하고, 날카로운 전도도 변화를 표현하는 데 있어 푸리에 특징 인코딩(FFE)의 역할을 조사함으로써 신경망 기반 칼데론 역변환을 재검토한다. 우리는 가해진 경계 여기에 조건화된 별도의 신경망으로 미지의 전도도와 관련 전위 함수군을 표현하는 물리 정보 재구성 프레임워크를 제안한다. 지배 타원 PDE는 물리 정보 잔차를 통해 강제되며, 유한 Dirichlet-to-Neumann(DtN) 데이터는 경계 손실을 통해 통합된다. 유한차분 순방향 솔버로부터의 합성 데이터를 사용하여, 포함물, 날카로운 계면, 매끄러운 프로파일, 이질 매질을 갖는 전도도 필드에 대해 이 방법을 평가한다. 결과는 이 프레임워크가 유한 경계 측정으로부터 지배적인 전도도 구조를 상대 오차 약 $3\%-12\%$ 수준으로 복원함을 보여준다. FFE가 국소화된 날카로운 특징(특히 포함물과 계면)의 재구성을 개선하지만 보편적으로 최적은 아니며, 원시 좌표 신경망이 더 매끄러운 필드에서 경쟁력 있는 성능을 보인다는 것을 보인다. 이러한 결과는 신경망 칼데론 역변환에서 좌표 표현과 경계 여기 설계가 핵심 요인임을 강조한다.

arXiv:2606.12334v1cs.LG

푸리에 특징(Fourier Features)이 에이전트가 모방 학습(Imitation Learning)을 통해 고정밀도 정책을 학습하게 한다

Fourier Features Let Agents Learn High Precision Policies with Imitation Learning

고정밀도 로봇 조작에는 세밀한 공간 추론(spatial reasoning)이 필요하지만, 깊이 모호성(depth ambiguity)과 원근 스케일(perspective scale) 문제로 인해 RGB만을 사용하는 정책으로는 달성하기 어려운 경우가 많습니다. 포인트 클라우드(point clouds)와 같이 3D 정보를 직접 활용하는 정책은 순수 이미지 기반 정책보다 더 강력한 기하학적 사전(geometric prior)을 제공하지만, 그 성능은 여전히 작업에 크게 의존적입니다. 우리는 이러한 차이가 신경망(neural networks)이 저주파 함수(low frequency functions)를 학습하려는 스펙트럴 바이어스(spectral bias) 때문일 수 있다고 가정하며, 이는 특히 느리게 변화하는 데카르트 특징(Cartesian features)에 조건화된 아키텍처에 영향을 미칩니다. 따라서 우리는 포인트 클라우드를 데카르트 공간에서 고차원 푸리에 공간으로 매핑하여, 포인트 클라우드 인코더(point cloud encoder)가 고주파 특징(high-frequency features)에 직접 접근할 수 있도록 제안합니다. 우리는 RoboCasa 및 ManiSkill3 벤치마크(benchmarks)의 도전적인 조작 작업과 실제 로봇 설정에서 푸리에 특징(Fourier features)의 사용을 실험적으로 검증했습니다. 단순함에도 불구하고, 우리는 푸리에 특징이 다양한 인코더 아키텍처와 벤치마크에서 상당한 이점을 제공하며 하이퍼파라미터(hyperparameters) 전반에 걸쳐 견고하다는 것을 확인했습니다. 결과는 푸리에 특징이 데카르트 특징보다 기하학적 세부 사항을 더 효과적으로 활용하게 하여, 포인트 클라우드 기반 모방 학습(point cloud-based imitation learning)을 위한 범용 도구로서의 잠재력을 보여줍니다. 소스 코드와 비디오는 프로젝트 페이지에서 확인할 수 있습니다: https://fourier-il.github.io/fourier-il