SCRNet: a Retinex Structure-based Low-light Enhancement Model Guided by Spatial Consistency
원문 초록
Images captured under low-light conditions are often plagued by several challenges, including diminished contrast, increased noise, loss of fine details, and unnatural color reproduction. These factors can significantly hinder the performance of computer vision tasks such as object detection and image segmentation. As a result, improving the quality of low-light images is of paramount importance for practical applications in the computer vision domain.To effectively address these challenges, we present a novel low-light image enhancement model, termed Spatial Consistency Retinex Network (SCRNet), which leverages the Retinex-based structure and is guided by the principle of spatial consistency.Specifically, our proposed model incorporates three levels of consistency: channel level, semantic level, and texture level, inspired by the principle of spatial consistency.These levels of consistency enable our model to adaptively enhance image features, ensuring more accurate and visually pleasing results.Extensive experimental evaluations on various low-light image datasets demonstrate that our proposed SCRNet outshines existing state-of-the-art methods, highlighting the potential of SCRNet as an effective solution for enhancing low-light images.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현
VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models
마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.
Automatic Traffic Sign Detection and Recognition Using SegU-Net and a Modified Tversky Loss Function With L1-Constraint
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
S2A: 사전 정합 불필요 RGB-T 현저 객체 검출을 위한 의미-공간 정렬
S2A:Semantic-to-Spatial Alignment for Alignment-Free RGB-T Salient Object Detection
사전 정합 불필요 RGB-T 현저 객체 검출(RGB-T SOD)은 비용이 큰 사전 정합 없이 정합되지 않은 RGB 및 열화상 영상 쌍에서 현저 객체를 식별하는 것을 목표로 한다. 그러나 공간적 비정합은 픽셀 단위 대응을 깨뜨리고 교차 모달 융합 과정에서 특징 오염을 유발한다. 이 문제를 해결하기 위해, 우리는 사전 정합 불필요 RGB-T SOD를 위한 의미-공간 정렬 프레임워크인 S2A를 제안한다. 구체적으로, 전역 유도 계층적 융합 모듈(GGHF)이 먼저 전역 의미(semantic) 유도를 활용하여 배경 간섭을 억제하고 계층적 모달 내 특징을 정제한다. 이어서, 정합 불필요 교차 모달 채널 어텐션 모듈(AFCA)이 채널 단위 상호작용을 통해 상호 보완적 의미 정보를 전역적으로 교환하여, 국소 공간 비정합으로 인한 간섭을 효과적으로 극복한다. 마지막으로, 공간 변형 가능 교차 어텐션 모듈(SDCA)이 적응형 샘플링 오프셋을 예측하여 국소 교차 모달 공간 대응을 복원한다. 이러한 의미-공간 패러다임을 통해 S2A는 먼저 신뢰할 수 있는 교차 모달 의미 상호작용을 가능하게 한 뒤 국소 공간 보정을 수행하여, 비정합으로 인한 특징 오염을 효과적으로 줄인다. 불필요한 부가 기법 없이 S2A는 여러 공개 사전 정합 불필요 RGB-T 벤치마크에서 매우 경쟁력 있는 성능을 달성하며, 비정합 유발 특징 오염 완화에서의 효과를 보여준다.
CasCVS-Net: 안전 핵심 시야(Critical View of Safety) 평가를 위한 단계별 다중 작업 캐스케이드
CasCVS-Net: A Staged Multi-Task Cascade for Critical View of Safety Assessment
복강경 담낭절제술에서 안전 핵심 시야(Critical View of Safety, CVS)의 자동 평가는 세 가지 CVS 기준의 인식과, 크기가 작고 드물며 종종 가려진 담낭-간(hepatocystic) 구조에 대한 해부학적 그라운딩(grounding)을 모두 요구한다. 학습 기반 방법들은 이미지 수준 분류에서 검출, 분할, 또는 그래프 기반 추론에 이르기까지 사용하는 해부학적 정보가 다르지만, 안전에 중요한 해부학 구조의 그라운딩은 여전히 주요 병목으로 남아 있다. 우리는 Endoscapes 데이터셋으로 학습된, 객체 검출, 의미 분할(semantic segmentation), CVS 평가를 공동으로 수행하는 단계별 다중 작업 캐스케이드 CasCVS-Net을 제안한다. 모델은 예측된 해부학을 통해 작업들을 결합한다. 예측된 박스가 분할을 안내하고, 예측된 마스크가 CVS 분류를 위한 영역 수준 특징을 제공하므로, 추론 시 CVS 평가는 정답 주석(ground-truth annotation)이 아닌 모델 예측만을 사용한다. 이 결합 설정에서 최적화(optimization) 불안정성을 줄이기 위해 학습은 검출에서 검출-분할로, 이어서 전체 세 작업 캐스케이드로 진행한 뒤 작업별 미세조정을 수행한다. 공개된 미공개 테스트 세트에 대한 평가는 CasCVS-Net이 세 작업 모두에서 대응되는 단일 작업 기준선보다 개선되며, 검출 mAP 32.0, 의미 mIoU 46.8, 드문 해부학 mIoU 15.3, CVS mAP 67.2를 달성함을 보여준다. 최첨단 LG-CVS 및 SV2LSTG보다 상대 CVS mAP 기준 각각 6.3% 및 4.5% 우수하며, 이는 각각 4.0 및 2.9 mAP 포인트에 해당한다. 이러한 결과는 예측된 박스와 마스크를 통한 단계적 작업 결합이 CVS 평가, 특히 드문 담낭-간 구조에 대한 해부학적 그라운딩을 개선함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.