PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02410v1cs.LG

적응형 커버리지와 집중 샘플링을 통한 효율적인 신경장 학습

Efficient Neural Field Learning via Adaptive Coverage and Focused Sampling

암시적 신경 표현(Implicit Neural Representations, INR)은 고차원 연속 필드(continuous field)를 모델링하기 위한 유연한 프레임워크를 제공하지만, 공간적 이질성을 무시하는 균일한 서브샘플링으로 인해 학습 효율이 떨어지는 경우가 많습니다. 기존의 적응형 샘플링 방법들은 높은 오차를 보이는 샘플에 우선순위를 두어 이 문제를 부분적으로 해결하지만, 일반적으로 포인트 수준에서 작동하므로 국소적 영역에서의 중복 샘플링과 도메인의 불충분한 커버리지를 초래하곤 합니다. 본 논문에서는 커버리지와 중요도를 분리함으로써 학습 효율을 향상시키는 구조화된 샘플링 프레임워크인 ACES(Adaptive Coverage-aware Efficient Sampling)를 제안합니다. ACES는 도메인 커버리지를 보장하고 중복성을 줄이기 위해 적응형 공간 분할을 구성하며, 학습 중 정보량이 많은 영역의 우선순위를 정하기 위해 영역 수준의 중요도 가중치를 적용합니다. 본 연구에서는 적응형 분할이 영역 내 균질성을 증가시켜 그래디언트 분산을 줄이고, 영역 수준 가중치 적용 시 제어된 바이어스가 표준 비편향 추정량 대비 최적화 효율을 향상시킬 수 있음을 이론적 분석을 통해 보여줍니다. 과학적 필드 학습 태스크에 대한 실험 결과, ACES는 균일 샘플링 및 포인트 단위 적응형 샘플링 베이스라인보다 더 빠른 수렴과 더 낮은 오차를 달성하며, 국소적 복잡성이 높은 필드에서 가장 큰 성능 향상을 보이는 것으로 나타났습니다.

arXiv:2607.10068v1cs.LG

경량 암묵적 신경 표현을 위한 오류 인식 분포 예측

Error Aware Distribution Prediction for Lightweight Implicit Neural Representations

암묵적 신경 표현(INR)은 볼륨의 압축 인코딩을 제공하지만, 손실 근사기로서 불가피하게 예측 오류를 수반한다. 본 연구는 불확실성 추정 도구를 활용하여 분포를 예측함으로써 상대적 오류 스케일을 동시에 인코딩할 수 있는 INR을 다룬다. 일반적으로 불확실성 추정은 계산 비용이 높은 방법에 의존하거나, 예측 분포에 대한 사전 정의된 모수적 가정(예: 가우시안)에 의존한다. 본 연구에서는 연속적인 타겟을 구간으로 이산화하여 회귀 기반 INR 학습을 분류 태스크로 재형식화하는 경량 방법을 제안하며, 이를 통해 복잡한 다중 모드 거동을 포착하는 유연한 분포 모델링을 가능하게 한다. 본 연구는 INR 학습에서 회귀와 분류 간의 트레이드오프를 분석하고, 분류 설정이 회귀 기반 접근법에 비해 높은 재구성 품질과 불확실성 추정을 통한 경쟁력 있는 오류 인식을 달성하는 경향이 있음을 입증한다.

arXiv:2607.05815v1cs.LG

Level-Crossing Density as a Mesh-Free High-Frequency Auxiliary Loss for Implicit Neural Representations

암묵적 신경 표현(INR)의 스펙트럴 편향(spectral bias) 문제를 해결하기 위해, 랜덤 필드 이론의 Rice 레벨-교차 밀도(level-crossing density)를 그리드·FFT 없이 임의의 산포 좌표에서 평가 가능한 미분 가능 보조 손실 함수로 변환하는 Kac–Rice 손실을 제안한다. 비균일 산포 샘플 환경에서 MSE 단독 대비 최대 3.0 dB PSNR 향상을 달성하며, 정상(stationary) 텍스처 도메인에서는 Focal Frequency Loss를 0.6 dB 앞서지만 엣지 중심 자연 영상에서는 동등한 수준임을 엄밀한 비교 실험을 통해 확인한다.

arXiv:2506.01544v2cs.LG

시간적 변분 암묵 신경 표현

Temporal Variational Implicit Neural Representations

불규칙한 다변량 시계열의 결측값 대입(imputation) 및 예측(forecasting)을 위해 암묵적 신경 표현(INR)과 변분 오토인코더(VAE)를 결합한 확률적 프레임워크인 TV-INR을 제안한다. 기존 INR 기반 방법들이 추론 시 샘플별 기울기 최적화를 요구하는 것과 달리, TV-INR은 단일 순전파만으로 개별화 예측을 수행하며 특히 데이터 희소 환경에서 기존 대비 수십 배 수준의 대입 오류 감소를 달성한다.

arXiv:2606.27862v1cs.CV

ScaLe-INR: 스케일 및 학습 암시적 신경 표현

ScaLe-INR: Scale and Learn Implicit Neural Representations

다층 퍼셉트론(MLP)으로 매개변수화된 암시적 신경 표현(INR)은 연속 신호 모델링에 탁월하다. 그러나 INR은 근본적으로 스펙트럼 바이어스(spectral bias)와 정보 상호 간섭(information cross-talk)을 겪는다는 핵심 과제가 여전히 남아 있다. 단일 네트워크가 다중 스케일 현상을 포착하려 할 때, 고주파 가중치 업데이트가 기저 저주파 구조 근사를 파괴적으로 간섭한다. 우리는 Scale and Learn INR(ScaLe-INR)을 소개한다. 이는 신호의 주파수 스펙트럼을 INR의 최적 동작 영역과 명시적으로 일치시켜 이러한 한계를 해결하는 새로운 다중 분기 아키텍처이다. 푸리에 역 스케일링 정리(Fourier inverse scaling theorem)에 근거하여, 방향성 좌표 스케일링을 적용하면 특정 공간 축을 따라 네트워크의 표현 대역폭이 확장됨을 보인다. 기능적 분리(functional disentanglement)를 수학적으로 강제하고 분기 간 과제 특화 정보 누출을 최소화하기 위해, 우리는 Directional Edge Guidance 손실(Directional Edge Guidance Loss)을 제안한다. 이는 ground-truth 기울기에서 도출된 공간 조건 희소성 사전분포이다. 고주파 분기가 엄격하고 국소적인 에지 필터(edge-filter)로 동작하도록 제약함으로써, ScaLe-INR은 스펙트럼 상호 간섭을 제거하고, 수렴을 가속하며, 복잡한 다중 스케일 토폴로지에서 고품질 신호 재구성을 달성한다. 우리는 다양한 재구성 및 역문제(inverse) 과제에서 ScaLe-INR을 평가하여, 기존 최신(SOTA) 방법 대비 상당한 성능 향상을 보인다. 제안 아키텍처는 이미지 재구성에서 가장 가까운 baseline 대비 +5.16 dB, 이미지 노이즈 제거에서 +0.65 dB의 향상을 보인다. 또한 오디오 재구성에서 50.02 dB, 3D 재구성에서 0.999 IOU(Intersection Over Union)라는 인상적인 수치를 달성하여 모든 SOTA 모델을 능가한다.

arXiv:2506.11139v3eess.IV공식 코드 · Papers with Code

그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.

arXiv:2606.12200v1cs.LG

개별 행동의 암묵적 신경 표현

Implicit Neural Representations of Individual Behavior

우리는 레이블이 없는 다중 정책 행동 데이터로부터의 정책 표현 학습을 연구한다. 각 에피소드는 고정된 정책에 의해 생성되지만, 정책 레이블은 사용할 수 없다. 이 설정은 로보틱스 플레이, 데모, 게임, 레이싱 및 이질적인 행동이 어노테이션 없이 혼합된 기타 데이터셋에서 나타난다. 우리는 비전 분야의 암묵적 신경 표현(INR)을 행동에 적용하는 자기지도 생성 모델인 Behavioral INR을 소개한다. 좌표를 RGB 값에 매핑하는 대신, Behavioral INR은 정책을 상태를 이후 행동에 매핑하는 상태-행동 함수로 표현한다. 에피소드 수준의 잠재 변수가 FiLM 레이어를 통해 이 함수를 조절하여 정책에 대한 생성적 사전 분포를 산출하고, 지도 없이 정책 정체성을 추론할 수 있게 한다. INR은 각 데이터 포인트를 기저 함수의 샘플로 취급하기 때문에, 동일한 모델이 서로 다른 이미지 해상도를 가진 비전 INR에서와 마찬가지로 가변적인 에피소드 길이와 서로 다른 샘플링 세분성을 자연스럽게 수용한다. 또한 상태 분포 및 행동 분포 축에 따른 정책 수준의 분포 외(OOD) 이동을 정의하는데, 이는 정책이 상태 또는 행동에서 겹치지만 새로운 에이전트나 환경에만 기반한 표준 행동 OOD 설정으로는 포착되지 않을 때 발생한다. 우리는 합성 가우시안 랜덤 필드 데이터, 제어된 OOD 분할이 있는 MuJoCo 데모, 실제 체스·포뮬러 1 레이싱·로보틱스·Seek-Avoid 데이터셋에서 평가한다. Behavioral INR은 가장 어려운 연속 상태-행동 설정에서 정책 식별 가능성을 가장 일관되게 향상시키며, 특히 더 긴 에피소드, 더 많은 정책, OOD 분할이 주변 단축경로의 유용성을 감소시킬 때 두드러진다. 반면 상각 이력 인코더(amortized history encoder)는 정책 정체성이 기호적 반복이나 저차원 행동 통계로부터 복구될 수 있을 때 경쟁력을 유지한다. 코드와 체크포인트를 공개한다.

arXiv:2606.06827v1cs.LG

아키텍처가 암시적 신경 표현의 전이 특이성을 형성한다

Architecture Shapes Transfer Specificity in Implicit Neural Representations

좌표 네트워크에서의 전이는 흔히 warm-start 이득으로 측정되지만, 그 이득이 소스 특이적 구조를 반영하는지 아니면 일반적인 가중치 재사용을 반영하는지는 덜 분명하다. 우리는 통제된 해석 테스트, 2D 뚜껑 구동 공동(lid-driven-cavity) Navier-Stokes 벤치마크, 열 방정식, 점성 Burgers, focusing cubic NLS에 대한 1D PDE 기준해 스위트를 사용하여 SIREN, 렐루(ReLU) MLP, Fourier 특징 MLP의 세 가지 암시적 신경 표현(INR) 계열에 걸쳐 이 질문을 조사한다. 해석 테스트는 독립 시드 무작위 대조군을 사용하고, PDE 벤치마크는 동일 계열의 대체 소스 대조군과 보조 ablation을 사용한다. 여러 설정에 걸쳐 전이 크기와 전이 특이성은 뚜렷하게 구분된다. 10-시드 통제 1D 기하 테스트에서 Fourier 특징은 가장 큰 구조적 전이($33.1\times$)를 보였고, 그다음이 SIREN($23.0\times$), 렐루($10.7\times$)였지만, 렐루는 훨씬 더 선택적이다: 무작위 대조군 전이는 렐루에서 $0.41\times$인 반면 SIREN에서는 $14.24\times$이다. 통제된 2-매개변수 1D 계열에서 순위는 바뀐다: 기본 설정에서 렐루가 구조적-대조 분리를 가장 뚜렷하게 보이는 반면, Fourier 특징은 대역폭 재조정 후에만 개선된다. Navier-Stokes와 더 넓은 1D PDE 스위트에서 단일 아키텍처가 모든 방정식을 지배하지는 않지만, 동일한 패턴은 유지된다: SIREN은 흔히 가중치를 광범위하게 재사용하는 반면, 렐루와(일부 방정식에서는) Fourier 특징은 더 소스 선택적이다. 정적 진단은 여전히 약하며, 휴리스틱 스케일링 법칙 $A_{\text{transfer}} \propto 1/Δt^2$는 구현된 1D 감사에서 기각된다. 이러한 결과는 전이 특이성을 좌표 네트워크에 대한 유용한 진단 지표로 자리매김하며, 과학 기계학습(scientific machine learning)에서 아키텍처 선택은 전이 크기만으로가 아니라 명시적 통제 조건 하에서 평가되어야 함을 시사한다.