SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked Autoencoders
원문 초록
Generating a high-quality High Dynamic Range (HDR) image from dynamic scenes has recently been extensively studied by exploiting Deep Neural Networks (DNNs). Most DNNs-based methods require a large amount of training data with ground truth, requiring tedious and time-consuming work. Few-shot HDR imaging aims to generate satisfactory images with limited data. However, it is difficult for modern DNNs to avoid overfitting when trained on only a few images. In this work, we propose a novel semi-supervised approach to realize few-shot HDR imaging via two stages of training, called SSHDR. Unlikely previous methods, directly recovering content and removing ghosts simultaneously, which is hard to achieve optimum, we first generate content of saturated regions with a self-supervised mechanism and then address ghosts via an iterative semi-supervised learning framework. Concretely, considering that saturated regions can be regarded as masking Low Dynamic Range (LDR) input regions, we design a Saturated Mask AutoEncoder (SMAE) to learn a robust feature representation and reconstruct a non-saturated HDR image. We also propose an adaptive pseudo-label selection strategy to pick high-quality HDR pseudo-labels in the second stage to avoid the effect of mislabeled samples. Experiments demonstrate that SSHDR outperforms state-of-the-art methods quantitatively and qualitatively within and across different datasets, achieving appealing HDR visualization with few labeled samples.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Flick: 다중 과제 저자원 언어를 위한 K-인식 중간 학습 기반 소수 레이블 텍스트 분류
Flick: Few Labels Text Classification using K-Aware Intermediate Learning in Multi-Task Low-Resource Languages
최소한의 감독으로 심층 학습 네트워크를 학습하는 방법은 광범위한 레이블 데이터에 대한 의존을 줄일 수 있는 잠재력으로 인해 상당한 연구 관심을 받아왔다. 자기 학습(self-training) 방법은 준지도 학습(semi-supervised learning)에서 효과적임이 입증되었지만, 노이즈가 있는 의사 레이블(pseudo label)로 인한 오류에 취약하다. 또한 소수 레이블 분류 문제에 대한 최근 대부분의 접근법은 영어와 같은 자원 풍부 언어를 위해 설계되었거나 과적합에 취약한 복잡한 계단식(cascading) 모델을 포함한다. 노이즈가 있는 의사 레이블과 도메인 적응(domain adaptation)에서 기존 방법이 종종 어려움을 겪는 진정한 저자원 언어적 맥락에서의 소수 레이블 텍스트 분류라는 지속적인 과제를 해결하기 위해, 우리는 Flick을 제안한다. 일반적인 다중 클러스터 의사 레이블링이나 복잡한 계단식 아키텍처에 의존하는 기존 방법과 달리, Flick은 더 넓은 초기 클러스터 집합에서 고신뢰도 의사 레이블을 증류(distillation)하면 의사 레이블 품질을 극적으로 개선할 수 있다는, 특히 언어적으로 다양한 저자원 환경에서 중요한 근본적인 통찰을 활용한다. Flick은 최고 성능의 의사 레이블 클러스터를 식별하고 활용함으로써 기존 의사 레이블링 전략에서 벗어난 새로운 의사 레이블 정제(refinement) 구성 요소를 도입한다. 이 구성 요소는 단일 클러스터 응집성(single-cluster cohesion)에 집중하고 적응형 top-k 선택 메커니즘을 활용하여, 초기의 넓은 집합으로부터 매우 신뢰할 수 있는 의사 레이블을 증류하는 방법을 구체적으로 학습한다. 이 표적화된 정제 과정은 저자원 데이터에 내재된 오류 전파를 완화하는 데 핵심적이며, 소수의 실제 레이블만으로 사전학습된 언어 모델의 견고한 미세조정을 가능하게 한다. 우리는 아랍어, 우르두어, 세츠와나어와 같은 도전적인 저자원 언어와 영어를 포함하는 14개의 다양한 데이터셋에서 Flick의 효과를 입증하여, 그 우수한 성능과 적응성을 보여준다.
Negatives Make A Positive: An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning
Few-Shot Learning by Explicit Physics Integration: An Application to Groundwater Heat Transport
Universal Music Representations? Evaluating Foundation Models on World Music Corpora
QUEST: Quality-aware Semi-supervised Table Extraction for Business Documents
SRPL-SFDA: SAM-Guided Reliable Pseudo-Labels for Source-Free Domain Adaptation in Medical Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.