Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining
원문 초록
Rain streaks significantly decrease the visibility of captured images and are also a stumbling block that restricts the performance of subsequent computer vision applications. The existing deep learning-based image deraining methods employ manually crafted networks and learn a straightforward projection from rainy images to clear images. In pursuit of better deraining performance, they focus on elaborating a more complicated architecture rather than exploiting the intrinsic properties of the positive and negative information. In this paper, we propose a contrastive learning-based image deraining method that investigates the correlation between rainy and clear images and leverages a contrastive prior to optimize the mutual information of the rainy and restored counterparts. Given the complex and varied real-world rain patterns, we develop a recursive mechanism. It involves multi-scale feature extraction and dynamic cross-level information recruitment modules. The former advances the portrayal of diverse rain patterns more precisely, while the latter can selectively compensate high-level features for shallow-level information. We term the proposed recursive dynamic multi-scale network with a contrastive prior, RDMC. Extensive experiments on synthetic benchmarks and real-world images demonstrate that the proposed RDMC delivers strong performance on the depiction of rain streaks and outperforms the state-of-the-art methods. Moreover, a practical evaluation of object detection and semantic segmentation shows the effectiveness of the proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Point-LGMask: Local and Global Contexts Embedding for Point Cloud Pre-training with Multi-Ratio Masking
A Robust Feature Downsampling Module for Remote Sensing Visual Tasks
Automatic Traffic Sign Detection and Recognition Using SegU-Net and a Modified Tversky Loss Function With L1-Constraint
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현
VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models
마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.
대조 어텐션을 통한 스파이킹 트랜스포머의 스펙트럼 바이어스 완화
Contrastive Attention Mitigates Spectral Bias in Spiking Transformers
스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.