Mask Hierarchical Features For Self-Supervised Learning
원문 초록
This paper shows that Masking the Deep hierarchical features is an efficient self-supervised method, denoted as MaskDeep. MaskDeep treats each patch in the representation space as an independent instance. We mask part of patches in the representation space and then utilize sparse visible patches to reconstruct high semantic image representation. The intuition of MaskDeep lies in the fact that models can reason from sparse visible patches semantic to the global semantic of the image. We further propose three designs in our framework: 1) a Hierarchical Deep-Masking module to concern the hierarchical property of patch representations, 2) a multi-group strategy to improve the efficiency without any extra computing consumption of the encoder and 3) a multi-target strategy to provide more description of the global semantic. Our MaskDeep brings decent improvements. Trained on ResNet50 with 200 epochs, MaskDeep achieves state-of-the-art results of 71.2% Top1 accuracy linear classification on ImageNet. On COCO object detection tasks, MaskDeep outperforms the self-supervised method SoCo, which specifically designed for object detection. When trained with 100 epochs, MaskDeep achieves 69.6% Top1 accuracy, which surpasses current methods trained with 200 epochs, such as HCSC, by 0.4% .
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Point-LGMask: Local and Global Contexts Embedding for Point Cloud Pre-training with Multi-Ratio Masking
Video-STLayout 사전학습
Video-STLayout Pre-training
최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.
nnFoundation: 방사선학을 위한 3D 파운데이션 모델
nnFoundation: 3D Foundation Models for Radiology
방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.
종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습
Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving
종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.
MiTHras: 유사분열상 분석을 위한 작업 특화 계층적 준지도 대조 마스크드 오토인코더
MiTHras: Task-specific Hierarchical Semi-supervised Contrastive Masked Autoencoder for Mitotic Figure Analysis
유사분열상(MF, mitotic figure) 분석은 종양 등급 판정과 예후 평가를 뒷받침하지만, 자동화 모델은 조직 유형과 영상 획득 방식의 차이에 여전히 민감하다. 본 논문은 의사 레이블(pseudo-label) 기반의 이미지 및 토큰 수준 대조 학습(contrastive learning)과 마스크드 복원(masked reconstruction)을 결합한 작업 특화 사전학습(pretraining) 프레임워크인 MiTHras를 제안한다. 우리는 11개 장기 부위에 걸친 14개 TCGA 코호트에서 추출한 세포 중심 이미지 180만 장으로 구성된 코퍼스인 TCGA-MF-Pseudo를 구축한다. MF 분류(classification), 검출(detection), 개수 기반 생존 예측, 아형 분류에 대한 포괄적 평가를 통해 MiTHras의 효과를 입증한다. MiTHras는 세 가지 MF 분류 벤치마크 전부와 두 가지 아형 벤치마크 모두에서 가장 높은 평균 F1을 달성한다. 또한 MiTHras는 전체 미세조정(fine-tuning) 상황보다 인코더를 고정한 선형 프로빙(linear probing) 상황에서 범용 및 병리 파운데이션 인코더 대비 더 큰 마진(margin)으로 우수한 성능을 보인다. 검출 성능 향상은 후보 검출 단계를 공유하는 구조로 인해 다소 제한적이지만, 절제 실험(ablation)을 통해 토큰 수준 지도(supervision)가 전형-비전형(typical-versus-atypical) 분류와 선형 프로빙을 향상시킨다는 것이 확인된다. 이러한 결과는 MiTHras가 자동화된 유사분열 활성 평가를 위한 견고하고 전이 가능한 표현을 산출한다는 것을 입증한다.
SARATR-X-v2: SAR 파운데이션 모델을 위한 스케일 인식 구조적 사전학습
SARATR-X-v2: Scale-Aware Structural Pre-Training for SAR Foundation Models
마스크드 이미지 모델링(masked image modeling)은 SAR 사전학습의 지배적 패러다임이 되었으나, 복원 목표(reconstruction target) 설계는 근본적으로 아직 정립되지 않았다. 본 논문은 SAR 사전학습 목표가 전이 가능한 표현(representation)을 만들려면 두 가지 조건을 만족해야 한다고 주장한다: (i) 물리 기반 안정성(physics-grounded stability), 즉 코히런트(coherent) 영상에 내재된 곱셈형 speckle에 대해 목표 연산자(target operator)가 근사적으로 불변인 것; (ii) 의미적 스케일 호환성(semantic scale compatibility), 즉 하류 과제가 요구하는 이질적인 공간 스케일을 포괄하는 것. 이 두 조건은 각각은 달성 가능하지만 동시에 만족시키기는 어렵다. 물리 기반 안정성은 고정 연산자를 선호하고, 의미적 스케일 호환성은 데이터 기반 구성(composition)을 선호한다. 이를 위해 SARATR-X-v2는 단일 설계 안에서 두 가지를 조화시킨다. 목표는 blind-spot 국소 집합(local aggregation)부터 방향성 log-ratio 영역 대비(directional log-ratio region contrast)에 이르기까지 여섯 수용 영역(receptive field)에 걸친 고정 구조 추출기(fixed structural extractors)로 구성되고, 학습 가능한 가중치로 융합되어 마스크 복원(masked reconstruction)을 위한 하나의 통합 supervision 신호를 만든다. 분류, 검출, 세그멘테이션을 아우르는 12개 SAR 벤치마크에서 SARATR-X-v2는 최신(state-of-the-art) 전이(transfer) 성능을 달성한다. 합성 speckle 변화 하에서 제안 목표는 픽셀 공간 supervision 대비 학습된 표현의 perturbation drift를 거의 두 자릿수(두 order of magnitude)만큼 줄인다. 종합하면, 이러한 결과는 물리 기반 안정성과 의미적 스케일 호환성을 코히런트 영상 하 사전학습 목표 설계의 원칙적 프레임워크로 확립하며, 효과적인 SAR 사전학습은 더 많은 신호를 복원하는 것이 아니라 올바른 구조적 목표를 복원하는 것에 관한 것임을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.