Randomized Dimension Reduction with Statistical Guarantees
원문 초록
Large models and enormous data are essential driving forces of the unprecedented successes achieved by modern algorithms, especially in scientific computing and machine learning. Nevertheless, the growing dimensionality and model complexity, as well as the non-negligible workload of data pre-processing, also bring formidable costs to such successes in both computation and data aggregation. As the deceleration of Moore's Law slackens the cost reduction of computation from the hardware level, fast heuristics for expensive classical routines and efficient algorithms for exploiting limited data are increasingly indispensable for pushing the limit of algorithm potency. This thesis explores some of such algorithms for fast execution and efficient data utilization. From the computational efficiency perspective, we design and analyze fast randomized low-rank decomposition algorithms for large matrices based on "matrix sketching", which can be regarded as a dimension reduction strategy in the data space. These include the randomized pivoting-based interpolative and CUR decomposition discussed in Chapter 2 and the randomized subspace approximations discussed in Chapter 3. From the sample efficiency perspective, we focus on learning algorithms with various incorporations of data augmentation that improve generalization and distributional robustness provably. Specifically, Chapter 4 presents a sample complexity analysis for data augmentation consistency regularization where we view sample efficiency from the lens of dimension reduction in the function space. Then in Chapter 5, we introduce an adaptively weighted data augmentation consistency regularization algorithm for distributionally robust optimization with applications in medical image segmentation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자기공명영상 분할을 위한 다중 해상도 특징 융합 U-Net
Multi-Resolution Feature Fusion U-Net for Magnetic Resonance Imaging Segmentation
의료 영상, 특히 MRI 스캔에서 해부학적 구조를 분할하는 것은 임상 진단과 질병 진행 모니터링에 필수적이다. U-Net 및 그 확장 모델과 같은 심층 학습(Deep Learning, DL) 아키텍처는 의료 이미지 분할 작업에서 매우 효과적이지만, 미세한 세부 정보와 전역적인 맥락 정보를 동시에 보존하는 데 어려움을 겪는 경우가 많다. 이는 해부학적 구조가 불규칙한 경계와 형태, 대비, 크기의 변동을 특징으로 하는 MRI 데이터 분할에서 특히 어려운 문제이다. 이러한 문제를 해결하기 위해, 우리는 서로 다른 해부학적 구조에 대한 MRI 분할을 위한 새로운 DL 아키텍처를 제안한다. 구체적으로, 이 아키텍처는 임의의 U-Net 유사 아키텍처에 쉽게 통합될 수 있는 다중 해상도 특징 융합(Multi-Resolution Feature Fusion, MRFF)이라는 모듈을 도입한다. MRFF는 어텐션(attention) 메커니즘 및 스킵 연결(skip connection)과 함께 인코더-디코더 구조의 모든 레벨에 통합되어 여러 해상도에서 특징을 추출함으로써, 모델이 미세한 세부 정보와 전역적인 맥락 정보를 모두 포착할 수 있게 한다. 우리는 서로 다른 해부학적 대상에 대한 두 가지 공개 벤치마크 MRI 데이터셋에서 MRFFU-Net을 평가하였다; 하나는 척추 MR 스캔에서의 뇌척수액(Cerebrospinal Fluid, CSF) 분할이고, 다른 하나는 Medical Segmentation Decathlon(MSD) 챌린지에서 제공하는 좌심방(left atrium) 심장 분할이다. 실험 결과는 MRFFU-Net이 여러 평가 지표에서 최신(state-of-the-art) 모델들을 능가하며, MRI 분할에서의 효과성을 입증함을 보여준다.
데이터 희소 환경에서 롱테일 출혈성 병변 분할을 위한 합성 학습
Synthetic training for long-tail haemorrhagic lesion segmentation in data-scarce settings
뇌 미세출혈(CMB)과 피질 표재성 철침착증(cSS)은 뇌 소혈관 질환의 영상 바이오마커이지만, 양성 사례 및 복셀 수준 주석의 부족으로 인해 자동화된 분할(segmentation)에 한계가 있습니다. 본 연구에서는 실제 병변 주석 없이도 학습이 가능하며 병변에 대한 방사선학적 기술(description)을 활용하는 롱테일(long-tail) 출혈성 병변 분할용 합성 학습(synthetic training) 프레임워크를 제안합니다. 해부학적 뇌 구획화(brain parcellation)에서 시작하여, 본 프레임워크는 공간적 증강과 복셀 재샘플링을 적용하고, 병변의 위치 및 형태에 대한 임상적 사전 지식을 활용해 절차적으로 cSS 및 CMB 레이블을 삽입하며, 무작위 강도 할당, 블러링, 라이시안(Rician) 노이즈 시뮬레이션을 통해 영상을 합성합니다. 모델은 동적으로 생성된 영상-레이블 쌍으로 학습되었으며, 10건의 cSS 사례와 13건의 CMB 사례에서 수동 윤곽 묘사를 기준으로 평가되었습니다. 제안된 구성은 고전적 필터 기준선(baseline)보다 우수한 성능을 보였습니다. cSS의 경우, 저신호강도 제약 모델이 Frangi 필터보다 더 높은 AUPRC 및 AUROC를 달성했습니다(AUPRC: 0.284 대 0.083, AUROC: 0.907 대 0.731). CMB의 경우, 병변 유사체로서 혈관을 명시적으로 합성함으로써 고전적 기준선 대비 성능이 향상되었습니다(AUPRC: 0.538 대 0.004, AUROC: 0.999 대 0.968). 이러한 결과는 본 제안이 데이터가 희소한 환경에서의 출혈성 병변 분할을 위한 실현 가능한 전략임을 뒷받침합니다.
"무슨 소리지?": 환경 소리 인식을 위한 다재다능하고 견고하며 경량화된 합성곱 트랜스포머
"What's That Sound?": A Versatile, Robust, and Lightweight Convolutional Transformer for Environment Sound Recognition
기존의 보청기는 음성이 아닌 오디오를 감지하도록 설계되지 않아 비용이 많이 들고 사용에 한계가 있습니다. 본 연구의 목적은 청각 장애인의 안전성(safety)을 향상하기 위해 주변 소리를 식별하는 보다 정확하고 경제적인 메커니즘을 제공하는 머신러닝 솔루션을 개발하는 것입니다. 예를 들어 보행자 뒤에서 자동차가 경적을 울리거나 총성이 발생했을 때 발생원으로부터 벗어나야 하는 상황 등이 이에 해당합니다. 오디오에 무작위 증강을 추가하고, 멜 주파수 켑스트럼 계수(MFCCs) 다이어그램과 로그-멜 스펙트로그램을 결합하며, 트랜스포머(Transformer) 아키텍처에 합성곱 신경망(CNN)을 포함함으로써, 무작위 오디오 증강 계층형 합성곱 트랜스포머(RALCT) 모델은 다양화된 오디오 표현으로부터 특징을 효율적으로 추출합니다. 또한, RALCT는 매개변수 수가 약 310,000개에 불과할 정도로 작아 모바일 기기에 배포할 수 있습니다. UrbanSound8K 데이터셋에 대한 실험 결과, RALCT의 모든 변형 모델에서 지속적으로 93% 이상의 정확도를 보였으며 최고 94.56%를 기록하여 최고 수준(SOTA)에 도달했습니다. 이 기술의 역량을 활용하기 위해 모델과 통합되어 실시간 안전 제어를 제공하는 모바일 앱이 개발되었습니다. 따라서 RALCT는 청각 장애인의 이동 및 안전을 지원하는 견고하고 경량화되며 경제적이고 다재다능한 심층 학습 도구를 제시합니다.
LightMIS: 단계별 디코더가 없는 초경량 의료 이미지 분할
LightMIS: Ultra-Lightweight Medical Image Segmentation Without a Stage-Wise Decoder
본 논문에서는 학습된 단계별 디코더(stage-wise decoder) 없이 2D 이진 의료 이미지 분할(image segmentation)을 수행하는 확장 가능한 초경량 합성곱 신경망 계열인 LightMIS를 제안한다. LightMIS는 Scale-Aligned Projection 블록을 사용하여 5단계 인코더의 출력을 공통 해상도로 정렬하고 이를 한 번에 집약한 후, Adaptive Fusion Cascade를 통해 융합된 표현을 정제한다. 이 캐스케이드는 Adaptive Kernel Fusion과 제안된 Progressive Receptive Fusion 모듈을 결합하며, 해당 모듈은 일시적 채널 확장, 상호 보완적인 깊이별 수용 영역(depthwise receptive field), 점진적인 브랜치 간 정보 전달을 활용한다. 저자들은 DRIVE, Kvasir-SEG, DSB18, BUSI, ISIC-2017, ISIC-2018 데이터셋에서 공통 nnU-Net v2.3.1 프로토콜 기반의 5겹 교차 검증(cross-validation)을 통해 LightMIS-T, LightMIS-S, LightMIS를 평가(evaluation)한다. Full LightMIS는 $3\times256\times256$ 입력에 대해 0.131M개의 매개변수(parameter)를 포함하고 0.575 GFLOPs를 요구하며, 모달리티-매크로 Dice 및 IoU 점수에서 각각 86.71%와 78.99%를 달성한다. Mobile U-ViT는 86.75%의 Dice와 79.07%의 IoU를 기록하여, 관찰된 차이는 각각 0.04 및 0.08 퍼센트포인트에 불과하다. Mobile U-ViT, nnWNet, nnU-Net과 비교하여 LightMIS는 매개변수 수를 90.58$-$99.61%, GFLOPs를 82.54$-$96.14% 줄인다. Arm Mali-G52 MC2 GPU에서 모든 LightMIS 변형은 전체 GPU 위임(delegation)을 달성하며, 중앙값 위임 지연 시간은 LightMIS-T의 53.31ms에서 LightMIS의 138.31ms 범위이다. 이러한 결과는 평가된 태스크에서 우수한 정확도-복잡도 트레이드오프와 온디바이스 실행 실현 가능성을 입증한다. 코드는 https://github.com/AndreiiArhire/LightMIS 에서 공개되어 있다.
MetaFormer and CNN Hybrid Model for Polyp Image Segmentation
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.