Human from Blur: Human Pose Tracking from Blurry Images
원문 초록
We propose a method to estimate 3D human poses from substantially blurred images. The key idea is to tackle the inverse problem of image deblurring by modeling the forward problem with a 3D human model, a texture map, and a sequence of poses to describe human motion. The blurring process is then modeled by a temporal image aggregation step. Using a differentiable renderer, we can solve the inverse problem by backpropagating the pixel-wise reprojection error to recover the best human motion representation that explains a single or multiple input images. Since the image reconstruction loss alone is insufficient, we present additional regularization terms. To the best of our knowledge, we present the first method to tackle this problem. Our method consistently outperforms other methods on significantly blurry inputs since they lack one or multiple key functionalities that our method unifies, i.e. image deblurring with sub-frame accuracy and explicit 3D modeling of non-rigid human motion.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이미지 디블러링을 위한 언롤드 네트워크 학습 향상에 위상 정보 활용
Leveraging Phase Information to Boost Unrolled Network Learning for Image Deblurring
대부분의 이미지 디블러링 기법이 공간 이미지 변수를 직접 복원하는 것과 달리, 본 논문에서는 선명한 이미지 세부 정보 복원에 있어 정확한 위상 추정의 중요성을 인식하고 진폭 및 위상 분해 방식을 제안한다. 이를 위해 먼저 블러 처리되고 노이즈가 포함된 이미지 관측값의 진폭과 위상에 대한 새로운 선형 최소 평균 제곱 오차(LMMSE) 추정기를 개발한다. 이어서 앞서 언급한 LMMSE 추정기를 활용하여 선명한 이미지를 복원하는 반복 최적화 알고리즘을 제시한다. 마지막으로, 반복 알고리즘에서 통계적으로 결정되어 고정된 행렬 파라미터들을 깨끗한 관측값과 열화된 관측값으로 구성된 학습 데이터셋을 사용하여 학습한다. 본 디블러링 엔진은 UPADNet(Unrolled Phase and Amplitude Decomposition Network)으로 명명되며, 기반이 되는 위상 및 진폭 복원 알고리즘의 각 반복 단계가 파라미터화되어 엔드투엔드로 학습된다. GoPro, RealBlur, COCO 데이터셋 등 벤치마크 평가 데이터셋에 대한 실험 결과, UPADNet은 이미지 도메인에서의 알고리즘 언롤링 기반 방법을 포함한 최신 심층 네트워크들보다 우수한 성능을 보인다. UPADNet의 이점은 높은 노이즈 환경 및 학습 데이터가 제한된 환경에서 더욱 두드러진다.
CogSENet: 블러 조건부 의미론적 라우팅과 명시적 주파수 융합을 통한 블라인드 이미지 디블러링
CogSENet: Blind Image Deblurring with Blur-Conditioned Semantic Routing and Explicit Frequency Fusion
블라인드 이미지 디블러링은 복잡하고 미지의 열화로부터 고충실도 세부 정보와 일관된 구조를 복원해야 합니다. 현재의 블라인드 이미지 디블러링 방법들은 실세계의 공간적으로 변화하는 열화에 어려움을 겪으며, 유효한 텍스처와 아티팩트를 신뢰성 있게 구분하는 데 필요한 의미론적 인식 능력이 부족합니다. 이 간극을 해소하기 위해, 우리는 독수리의 시각 시스템에서 영감을 받은 동적이고 의미론적으로 정렬된 복원 프레임워크인 CogSENet을 제안합니다. 독수리의 능동적인 새캐이드(saccadic) 스캐닝을 모방하여, 미분 가능한 라우팅을 통한 의미론적 인식 토큰 재그룹화를 갖춘 Semantic-Driven State Space Module(SDSSM)을 설계하여, 프롬프트 조건부 장거리 의존성 모델링을 가능하게 합니다. 텍스처와 구조의 물리적으로 해석 가능한 복원을 보장하기 위해, BiFreqFusionBlock(BFFB)은 웨이블릿 변환을 사용하여 특징을 고주파수와 저주파수로 분해함으로써 독수리 망막의 기능적 분화를 반영합니다. 마지막으로, 블러 이미지로부터 연속적인 블러 필드(Blur Field, CBF)를 추정하고 이를 CLIP 의미론적 사전(prior)과 융합하여 가장 깊은 잠재 특징을 변조함으로써, 초점 적응을 모방하고 공간적으로 비균일한 블러 하에서 적응적 복원을 가능하게 합니다. 광범위한 실험을 통해 CogSENet이 더 적은 파라미터로 시각적 품질과 구조적 충실도 모두에서 최첨단 디블러링 방법들을 능가하며, 디헤이징(dehazing), 디레이닝(deraining), 디노이징(denoising) 작업에서도 우수한 성능을 보임을 입증합니다.
On Inverse Problems, Parameter Estimation, and Domain Generalization
Revitalizing Convolutional Network for Image Restoration
Single Stage Adaptive Multi-Attention Network for Image Restoration
A Fast Blind Deblurring Algorithm Using Local Gradient Product Prior
토론
이 논문과 연결된 포럼 글이 아직 없습니다.