Super-resolution of spatiotemporal event-stream image captured by the asynchronous temporal contrast vision sensor
원문 초록
Super-resolution (SR) is a useful technology to generate a high-resolution (HR) visual output from the low-resolution (LR) visual inputs overcoming the physical limitations of the cameras. However, SR has not been applied to enhance the resolution of spatiotemporal event-stream images captured by the frame-free dynamic vision sensors (DVSs). SR of event-stream image is fundamentally different from existing frame-based schemes since basically each pixel value of DVS images is an event sequence. In this work, a two-stage scheme is proposed to solve the SR problem of the spatiotemporal event-stream image. We use a nonhomogeneous Poisson point process to model the event sequence, and sample the events of each pixel by simulating a nonhomogeneous Poisson process according to the specified event number and rate function. Firstly, the event number of each pixel of the HR DVS image is determined with a sparse signal representation based method to obtain the HR event-count map from that of the LR DVS recording. The rate function over time line of the point process of each HR pixel is computed using a spatiotemporal filter on the corresponding LR neighbor pixels. Secondly, the event sequence of each new pixel is generated with a thinning based event sampling algorithm. Two metrics are proposed to assess the event-stream SR results. The proposed method is demonstrated through obtaining HR event-stream images from a series of DVS recordings with the proposed method. Results show that the upscaled HR event streams has perceptually higher spatial texture detail than the LR DVS images. Besides, the temporal properties of the upscaled HR event streams match that of the original input very well. This work enables many potential applications of event-based vision.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EvTexture++: 비디오 초해상도를 위한 이벤트 기반 텍스처 향상
EvTexture++: Event-Driven Texture Enhancement for Video Super-Resolution
이벤트 기반 비전(event-based vision)은 초고속 시간 해상도와 극한의 동적 범위를 포함한 독특한 특성으로 인해 점점 더 많은 주목을 받고 있다. 최근 연구들은 이를 비디오 초해상도(VSR)에 도입하여 광학 흐름 추정과 시간적 정렬을 향상시켜 왔다. 이와 달리, 본 논문은 VSR에서 이벤트 신호의 초점을 모션 정제에서 텍스처 향상으로 전환한다. 우리는 VSR에서 텍스처 향상에 특화된 최초의 이벤트 기반 프레임워크인 EvTexture++를 제안한다. 이 프레임워크는 이벤트의 고주파 시공간 세부 정보를 활용하여 텍스처 복원을 개선한다. EvTexture++는 맞춤형 텍스처 향상 브랜치와 함께, 텍스처 복원을 위해 고시간 해상도 이벤트 정보를 점진적으로 활용하는 반복적 텍스처 향상 모듈을 통합한다. 이를 통해 반복 과정 전반에 걸쳐 텍스처 영역을 점차적으로 정제하여 더욱 정확하고 세밀한 고해상도 출력을 생성한다. 프레임 내 텍스처 복원 외에도, 큰 모션은 특히 텍스처 영역에서 프레임 간 시간적 일관성을 저하시켜 텍스처 깜빡임(flickering)을 유발할 수 있다. 이를 완화하기 위해, 우리는 이벤트의 연속 시간 모션 단서를 추가로 활용하여 시간적 일관성을 강화하는 시간적 텍스처 정렬 모듈을 도입하며, 이 모듈은 정밀한 프레임 간 텍스처 정렬을 위한 이벤트 기반 텍스처 인식 광학 흐름을 추정한다. 나아가, EvTexture++는 기존 VSR 모델의 성능을 유연하게 향상시키는 플러그 앤 플레이(plug-and-play) 도구로 설계되었다. 다섯 개의 데이터셋에 대한 실험을 통해 EvTexture++가 최첨단(state-of-the-art) 성능을 달성함을 입증한다. 최신 VSR 모델에 통합했을 때 유의미한 성능 향상을 제공하며, 텍스처가 풍부한 Vid4 데이터셋에서 PSNR 기준 최대 1.55 dB의 향상을 달성한다. 코드: https://github.com/DachunKai/EvTexture.
Freqformer: 효과적인 주파수 분해를 통한 이미지 무아레 제거 트랜스포머
Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition
이미지 무아레 제거(image demoiréing)는 무아레 패턴으로 인한 텍스처 손상과 색상 왜곡 간의 복잡한 상호작용 때문에 여전히 어려운 과제로 남아 있다. 기존 방법들, 특히 직접적인 이미지 대 이미지 복원에 의존하는 방법들은 이처럼 뒤엉킨 아티팩트를 효과적으로 분리하는 데 실패하는 경우가 많다. 주파수 인식(frequency-aware) 접근법이 유망한 방향을 제시하지만, 이산 변환(예: Haar 웨이블릿 또는 블록 기반 DCT)으로 인해 그 잠재력이 제한된다. 이러한 이산 변환은 공간적 불연속성, 채널 중복 문제를 야기할 수 있으며, 고정된 역변환 과정에서 오차 누적을 초래할 수 있다. 본 논문에서는 목표 지향적 주파수 분리를 통해 이미지 무아레 제거를 위해 특별히 설계된 트랜스포머 기반 프레임워크인 Freqformer를 제안한다. 제안된 방법은 무아레 패턴을 고주파 공간 국소화 텍스처와 저주파 스케일 강인 색상 왜곡으로 분리하는 효과적인 주파수 분해를 수행하며, 각각의 특성에 맞게 설계된 이중 분기 아키텍처와 비대칭 학습 방식을 통해 처리된다. 또한, 주파수별 출력을 적응적으로 융합하여 일관되고 고충실도의 복원을 가능하게 하는 학습 가능한 주파수 합성 변환(FCT, Frequency Composition Transform) 모듈을 제안한다. 공간적 의존성과 채널 간 보완 정보를 더욱 효과적으로 집약하기 위해, 높은 연산 비용 없이 무아레에 민감한 영역을 정제하는 공간 인식 채널 어텐션(SA-CA, Spatial-Aware Channel Attention) 모듈을 도입한다. 다양한 무아레 제거 벤치마크에 대한 광범위한 실험을 통해 Freqformer가 소형 모델 크기로 최첨단 성능을 달성함을 입증한다. 코드는 https://github.com/xyLiu339/Freqformer에서 공개될 예정이다.
그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다
Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
NTIRE 2025 이미지 초해상도(x4) 챌린지: 방법 및 결과
NTIRE 2025 Challenge on Image Super-Resolution (x4): Methods and Results
이 논문은 CVPR 2025에서 개최되는 제10회 NTIRE 워크샵의 연계 경진대회 중 하나인 NTIRE 2025 이미지 초해상도($\times$4) 챌린지를 소개합니다. 이 챌린지의 목표는 $\times$4 배율의 바이큐빅 다운샘플링(bicubic downsampling)을 통해 생성된 저해상도(LR) 이미지로부터 고해상도(HR) 이미지를 복원하는 것입니다. 그 목적은 최첨단 SR 성능을 달성하는 효과적인 네트워크 설계 또는 솔루션을 개발하는 데 있습니다. 이미지 SR 연구의 이중적인 목표를 반영하기 위해 본 챌린지는 두 개의 하위 트랙으로 구성됩니다: (1) 픽셀 단위 정확도를 강조하고 PSNR을 기준으로 제출물을 순위 매기는 복원(restoration) 트랙, (2) 시각적 사실감에 초점을 맞추고 지각적 점수(perceptual score)로 결과를 순위 매기는 지각(perceptual) 트랙입니다. 총 286명의 참가자가 경진대회에 등록하였고, 25개 팀이 유효한 결과물을 제출했습니다. 본 보고서는 챌린지 설계, 데이터셋, 평가 프로토콜, 주요 결과 및 각 팀의 방법론을 요약합니다. 이 챌린지는 최첨단 기술을 발전시키고 이미지 초해상도 분야의 진전을 도모하는 벤치마크 역할을 합니다.
IM-LUT: Interpolation Mixing Look-Up Tables for Image Super-Resolution
PanoDiff-SR: Synthesizing Dental Panoramic Radiographs using Diffusion and Super-resolution
토론
이 논문과 연결된 포럼 글이 아직 없습니다.