arXiv:2206.12455

Ev-NeRF: Event Based Neural Radiance Field

Inwoo Hwang, Junho Kim, Young Min Kim

제출 2022-06-24

원문 초록

We present Ev-NeRF, a Neural Radiance Field derived from event data. While event cameras can measure subtle brightness changes in high frame rates, the measurements in low lighting or extreme motion suffer from significant domain discrepancy with complex noise. As a result, the performance of event-based vision tasks does not transfer to challenging environments, where the event cameras are expected to thrive over normal cameras. We find that the multi-view consistency of NeRF provides a powerful self-supervision signal for eliminating the spurious measurements and extracting the consistent underlying structure despite highly noisy input. Instead of posed images of the original NeRF, the input to Ev-NeRF is the event measurements accompanied by the movements of the sensors. Using the loss function that reflects the measurement model of the sensor, Ev-NeRF creates an integrated neural volume that summarizes the unstructured and sparse data points captured for about 2-4 seconds. The generated neural volume can also produce intensity images from novel views with reasonable depth estimates, which can serve as a high-quality input to various vision-based tasks. Our results show that Ev-NeRF achieves competitive performance for intensity image reconstruction under extreme noise conditions and high-dynamic-range imaging.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21485v1cs.CV공통 태그 Image Reconstruction, NeRF

효율적 고충실도 표현을 위한 순환 사인파 암시적 신경 표현(INR)

Recurrent Sinusoidal INRs for Efficient High-Fidelity Representation

암시적 신경 표현(INR)에서 조화 스펙트럼 풍부화를 위한 반복적 메커니즘으로서 사인파 순환을 연구한다. 우리의 분석은 사인파 활성화가 조화 선 스펙트럼을 유도하며, 순환 전개가 유효 스펙트럼 지원을 어떻게 풍부하게 하는지에 대한 스펙트럼적 설명을 제공함을 보여준다. 우리는 잠재 표현을 반복적으로 정제하는 공유 사인파 블록으로 이 원리를 구현한다. 피드포워드 INR, 비사인파 순환 변형, 평형 스타일 사인파 모델과 대비하여 결과적인 스펙트럼 거동을 실증적으로 검증한다. 이 분석을 보완하여, 이미지 및 3D 표현 작업 전반에 걸쳐 제안된 아키텍처를 평가한다. RGB 이미지 벤치마크에서 우리 방법은 더 적은 파라미터와 더 적은 최적화 단계로 피드포워드 기준선보다 더 높은 충실도를 달성하며, 초해상도, NeRF, SDF 작업으로도 유리하게 전이된다.

arXiv:2605.09977v3cs.CV공통 태그 Image Reconstruction, NeRF

INFANiTE: 임상 두꺼운 슬라이스 MRI로부터 고해상도 태아 뇌 시공간 아틀라스 학습을 위한 암시적 신경 표현

INFANiTE: Implicit Neural representation for high-resolution Fetal brain spatio-temporal Atlas learNing from clinical Thick-slicE MRI

시공간 태아 뇌 아틀라스는 정상적인 신경발달을 특성화하고 선천성 이상을 식별하는 데 중요하다. 그러나 기존 아틀라스 구축 파이프라인은 고해상도 3D 뇌 볼륨을 생성하기 위해 슬라이스-투-볼륨 재구성(SVR, slice-to-volume reconstruction)에 며칠이 필요하고, 반복적인 볼륨 정합(registration)에도 추가로 며칠이 더 필요하여, 대규모 코호트로부터의 아틀라스 구축을 사실상 불가능하게 만든다. 우리는 INFANiTE로 이러한 한계를 해결한다. INFANiTE는 임상 두꺼운 슬라이스 MRI 스캔으로부터 고해상도 태아 뇌 시공간 아틀라스를 학습하기 위한 암시적 신경 표현(INR, Implicit Neural Representation) 프레임워크로, 비용이 큰 SVR과 반복적인 비강체(non-rigid) 정합 단계를 모두 완전히 우회하여 아틀라스 구축을 크게 가속한다. 광범위한 실험 결과 INFANiTE는 도전적인 희소 데이터(sparse-data) 설정에서도 피험자 일관성, 참조 충실도, 내재적 품질 및 생물학적 타당성 측면에서 기존 기준 방법들을 능가함을 보여준다. 또한 INFANiTE는 전통적인 3D 볼륨 기반 파이프라인(예: SyGN)과 비교하여 종단(end-to-end) 처리 시간(즉, 원시 스캔부터 최종 아틀라스까지)을 며칠에서 수 시간으로 단축하여 대규모 인구 수준의 태아 뇌 분석을 가능하게 한다. Code: https://github.com/hu2274898/INFANiTE

arXiv:2607.08770v1cs.CV공통 태그 Image Reconstruction, Event-based vision

LongE2V: 비디오 확산 모델을 활용한 장기 이벤트 기반 비디오 복원, 예측 및 프레임 보간

LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

희소 이벤트 스트림에서 고품질 비디오를 복원하는 것은 어려운 과제이다. 회귀 방법은 텍스처를 흐릿하게 만드는 경향이 있으며, 기존 생성 모델은 장기 안정성 확보에 어려움을 겪는다. 우리는 사전학습된 비디오 확산 사전 지식(prior)을 활용하여 이벤트 기반 비디오 복원, 예측, 프레임 보간을 통합적으로 처리하는 새로운 접근법인 LongE2V를 제안한다. 기반 비디오 모델을 미세조정함으로써, 우리의 접근법은 높은 데이터 효율성과 우수한 지각적 품질을 달성한다. 극도로 긴 시퀀스에서의 시간적 드리프트를 완화하기 위해 자기회귀적 언롤링(Autoregressive Unrolling)과 적응형 컨텍스트 전환(Adaptive Context Switching)을 도입한다. 또한 프레임 보간 시 정밀한 양방향 일관성을 보장하기 위해 교차 잔차 보정을 포함한 재인코딩 정렬(Reencoding Alignment with Cross Residual Correction)을 제안한다. 나아가, 이벤트 복셀 밀도 증강(Event Voxel Density Augmentation)은 다양한 센서 해상도에 걸쳐 강건성을 보장한다. 실세계 벤치마크에서의 광범위한 실험을 통해 LongE2V가 세 가지 과제 모두에서 최첨단 방법을 능가하며, 뛰어난 시간적 일관성과 제로샷 일반화 능력을 보임을 입증한다. 프로젝트 페이지: https://cdfan0627.github.io/LongE2V-page/

arXiv:2606.26763v1cs.CV공통 태그 Image Reconstruction, NeRF

다차원 데이터를 위한 교정된 조화 중첩 암묵적 신경 표현

Calibrated Harmonic Overlaid Implicit Neural Representations for Multi-Dimensional Data

암묵적 신경 표현(INR)은 다차원 데이터(예: 다분광 이미지 및 비디오)에 대한 강력한 사전(prior)으로 떠올랐다. 그러나 주기적 활성화 함수(예: Sine)를 사용하는 대부분의 INR 방법은 주로 함수 합성(function composition)에 의존한다. 이 메커니즘은 네트워크 깊이가 증가함에 따라 최적화 불안정성을 유발하여 성능을 제한한다. 한편, 이러한 방법들은 스펙트럼 바이어스(spectrum bias)를 효과적으로 완화하기 위한 적절한 물리적 사전을 통합하지 못한다. 이러한 문제를 해결하기 위해, 깊은 주기 네트워크와 일반화된 푸리에 급수(generalized Fourier series) 간 공통점에서 영감을 받아 새로운 교정된 조화 중첩 암묵적 신경 표현(Calibrated Harmonic Overlaid Implicit Neural Representation, CHOIR)을 제안한다. 구체적으로, 대부분의 INR에서 사용되는 기존 함수 합성을 조화 중첩(Coordinated Harmonic Superposition, CHS)으로 대체하여 네트워크 깊이를 스케일링할 때 최적화 안정성을 보장한다. 또한 스펙트럼 바이어스를 완화하기 위해 지각 스펙트럼 교정(Perceptual Spectrum Calibration, PSC)을 도입한다. 이 교정은 자연 이미지의 보편적인 멱법칙(power-law) 스펙트럼 사전을 내장하고, 전역적으로 고정된 스펙트럼을 물리적으로 타당한 로그-균등(log-uniform) 분포를 향해 조정한다. 다양한 다차원 데이터 복원 문제에 대한 광범위한 실험을 통해, 제안 방법이 최신(state-of-the-art) 접근법들보다 우수한 성능을 달성함을 보여준다. 코드는 https://github.com/chorl0229/CHOIR 에서 이용 가능하다.

arXiv:2607.00047v3cs.MM공통 태그 Image Reconstruction

Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.