arXiv:2304.03481

PSLT: A Light-weight Vision Transformer with Ladder Self-Attention and Progressive Shift

Gaojie Wu, Wei-Shi Zheng, Yutong Lu, Qi Tian

제출 2023-04-07

원문 초록

Vision Transformer (ViT) has shown great potential for various visual tasks due to its ability to model long-range dependency. However, ViT requires a large amount of computing resource to compute the global self-attention. In this work, we propose a ladder self-attention block with multiple branches and a progressive shift mechanism to develop a light-weight transformer backbone that requires less computing resources (e.g. a relatively small number of parameters and FLOPs), termed Progressive Shift Ladder Transformer (PSLT). First, the ladder self-attention block reduces the computational cost by modelling local self-attention in each branch. In the meanwhile, the progressive shift mechanism is proposed to enlarge the receptive field in the ladder self-attention block by modelling diverse local self-attention for each branch and interacting among these branches. Second, the input feature of the ladder self-attention block is split equally along the channel dimension for each branch, which considerably reduces the computational cost in the ladder self-attention block (with nearly 1/3 the amount of parameters and FLOPs), and the outputs of these branches are then collaborated by a pixel-adaptive fusion. Therefore, the ladder self-attention block with a relatively small number of parameters and FLOPs is capable of modelling long-range interactions. Based on the ladder self-attention block, PSLT performs well on several vision tasks, including image classification, objection detection and person re-identification. On the ImageNet-1k dataset, PSLT achieves a top-1 accuracy of 79.9% with 9.2M parameters and 1.9G FLOPs, which is comparable to several existing models with more than 20M parameters and 4G FLOPs. Code is available at https://isee-ai.cn/wugaojie/PSLT.html.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28183v1cs.CV공통 태그 Person Re-Identification, Image Classification

생체 인식 식별을 위한 심전도 신호 기반 대표 형태 히트맵

From ECG Signals to Representative-Morphology Heatmaps for Biometric Recognition

심전도(ECG)는 생체 인식(biometric recognition)을 지원하는 대상자 고유의 형태학적 특성을 포함하고 있으나, 이미지 기반 성능은 파형(waveform)이 어떻게 렌더링되는지에 따라 달라집니다. 본 논문에서는 ECGXtractor를 기반으로 변형한 결정론적 ECG-투-이미지 표현 방식인 대표 형태 히트맵(representative-morphology heatmaps)을 소개합니다. 정렬된 10개 박동으로 구성된 각 블록 내에서 블록 평균에 가장 가까운 5개 박동을 평균화하여 400 × L 행렬로 구성한 뒤, 기존의 트레이스(trace) 형태 또는 심장 시간-리드(cardiac-time-by-lead) 밀집 히트맵으로 렌더링합니다. 두 표현 모두 동일한 생리학적 샘플을 포함하므로, 이들의 비교를 통해 렌더링 방식의 효과만을 분리하여 분석할 수 있습니다. 본 연구에서는 PTB, ECG-ID, MIMIC-IV-ECG-DEMO 데이터셋에서 검증(verification) 및 닫힌 집합 식별(closed-set identification) 성능을 평가(evaluation)합니다. ZACH-ViT를 포함한 5개의 소형 모델을 처음부터 학습(training from scratch)시키는 한편, ImageNet 사전학습(pre-training)된 6개의 CNN 및 트랜스포머(transformer) 백본을 통해 모델 규모와 시각적 전이 성능을 평가합니다. 15개의 모든 소형 모델-데이터셋 비교에서 히트맵은 FNMR 동작점 및 두 식별 순위 모두를 향상시켰으며, 14개 비교에서는 EER을 개선했습니다. 짝을 이룬 실험 전반에서 EER은 평균 9.59%p 감소했고 Rank-1은 24.69%p 증가했습니다. ConvNeXt-Tiny는 PTB에서 2.43%, ECG-ID에서 5.79%의 EER을 달성한 반면, DeiT-Base는 MIMIC-DEMO에서 14.92%를 기록했습니다. ImageNet 초기화(initialization)는 두 다중 리드(multilead) 데이터셋에는 분명한 이점을 주었으나 ECG-ID에서는 복합적인 영향을 미쳤으며, 성능이 모델 크기에 따라 단조롭게 증가하지는 않았습니다. 최고의 히트맵 시스템들은 PTB와 ECG-ID에서 가장 강력한 신호 도메인 EER에 근접했으며, DeiT-Base는 MIMIC-DEMO에서 평가된 성능 중 가장 높은 성능을 보였습니다. 리드-채널 절제 연구(ablation study)는 유용한 채널 조합이 집단(cohort)과 생체 인식 작업에 따라 달라진다는 점을 추가로 보여줍니다. 전반적으로 대표 형태 히트맵은 심전도 검증 및 식별을 위한 효과적인 이미지 표현을 제공합니다.

arXiv:2607.12881v1cs.CV공통 태그 image-classification, Image Classification

억제적 셀프-어텐션: 비전 트랜스포머에서 초점 선명화

Inhibited Self-Attention: Sharpening Focus in Vision Transformers

비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.