Linear Context Transform Block
원문 초록
Squeeze-and-Excitation (SE) block presents a channel attention mechanism for modeling global context via explicitly capturing dependencies across channels. However, we are still far from understanding how the SE block works. In this work, we first revisit the SE block, and then present a detailed empirical study of the relationship between global context and attention distribution, based on which we propose a simple yet effective module, called Linear Context Transform (LCT) block. We divide all channels into different groups and normalize the globally aggregated context features within each channel group, reducing the disturbance from irrelevant channels. Through linear transform of the normalized context features, we model global context for each channel independently. The LCT block is extremely lightweight and easy to be plugged into different backbone models while with negligible parameters and computational burden increase. Extensive experiments show that the LCT block outperforms the SE block in image classification task on the ImageNet and object detection/segmentation on the COCO dataset with different backbone models. Moreover, LCT yields consistent performance gains over existing state-of-the-art detection architectures, e.g., 1.5$\sim$1.7% AP$^{bbox}$ and 1.0$\sim$1.2% AP$^{mask}$ improvements on the COCO benchmark, irrespective of different baseline models of varied capacities. We hope our simple yet effective approach will shed some light on future research of attention-based models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Robust Feature Downsampling Module for Remote Sensing Visual Tasks
Automatic Detection and Image Recognition of Precision Agriculture for Citrus Diseases
R-MnasNet: Reduced MnasNet for Computer Vision
Real-time Implementation of RMNv2 Classifier in NXP Bluebox 2.0 and NXP i.MX RT1060
mart mobile application to recognize tomato leaf diseases using Convolutional Neural Networks
LENS-GRF: 여드름 중증도 등급 분류 및 다중 평가자 임상 오라클 분석을 위한 게이트 잔차 융합 기반 순열 불변 병변 근거 네트워크
LENS-GRF: Permutation-Invariant Lesion Evidence Network with Gated Residual Fusion for Acne Severity Grading and Multi-Rater Clinical Oracle Analysis
국소 병변 증거는 자동 여드름 중증도 등급 판정을 개선할 수 있으나, 검출기 오류와 임상 등급 기준의 차이가 일반화를 제한할 수 있다. 우리는 전역 Vision Transformer와 YOLO11s 제안에서 얻은 병변 영역 임베딩을 결합하는, 순열 불변 집계와 게이트 잔차 융합을 갖춘 병변 증거 네트워크인 LENS-GRF를 평가하였다. 완전 자동 4-클래스 등급 판정은 ACNE04의 보류 이미지 292장에서 평가하였고, 외부 적응 없이 600개 안면 뷰로 표현되는 PLSBRACNE01 참여자 200명에서도 평가하였다. 주석 보조 추론은 148명의 일치된 부분집합에서 피부과 전문의 3인의 정합된 병변 상자를 사용하였다. 성능 지표로는 정확도, 매크로 평균 정밀도, 민감도, 일대다 특이도를 사용하였다. 쌍체 비교에는 Holm 보정을 적용한 정확 McNemar 검정을 사용하였다. ACNE04에서 자동 LENS-GRF는 정확도 80.82%, 매크로 정밀도 78.80%, 민감도 78.92%, 특이도 92.78%를 달성하였다. 병변 상자를 제공한 경우 내부 정확도는 세 시드 평균 95.89%였다. 전체 외부 코호트에서 자동 LENS-GRF의 정확도는 35.00%로, 독립적으로 학습한 전역 기준선의 42.50%보다 낮았다. LENS-GRF의 외부 매크로 정밀도, 민감도, 특이도는 각각 50.52%, 34.31%, 78.19%였다. 일치된 부분집합에서 의사 A의 병변 주석을 사용한 정확도는 47.97%로, 자동 추론의 35.14%와 비교되었다(비보정 $p = 0.0094$; Holm 보정 $p = 0.0846$). 병변 주석을 제공했을 때의 우수한 내부 성능은 외부 코호트에서의 신뢰할 만한 자동 등급 판정으로 이어지지 않았다. 임상 사용 전에는 더 신뢰할 수 있는 병변 검출, 등급 기준 차이를 고려한 모델링, 독립적 검증이 필요하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.