망막 질환은 비가역적인 시력 손상의 주된 원인으로, 효과적인 치료를 위해서는 조기 및 정확한 진단이 필수적이다. 광간섭 단층촬영(OCT)은 이를 위한 핵심적인 영상 양식으로 활용되지만, 고유한 스펙클 노이즈(speckle noise), 다양한 병변 크기, 미세한 클래스 간 유사성으로 인해 자동화된 분석에 어려움을 겪고 있다. 이러한 문제를 해결하기 위해, 본 연구에서는 공간-주파수 도메인 학습과 최신 상태 공간 모델(SSM)을 통합한 새로운 프레임워크인 RetiWave-Mamba를 제안한다. 이 프레임워크는 이산 웨이블릿 변환(DWT)을 활용하여 OCT 영상을 저주파 및 고주파 스트림으로 분해함으로써, 구조적 문맥과 세밀한 디테일을 분리하여 처리할 수 있도록 한다. 저주파 분기에서는 다중 스케일 팽창(dilation)과 공간 어텐션을 결합하여 전역 수용영역을 확장하고 병변 부위를 정밀하게 위치시키는 다중 스케일 문맥 국소화 모듈(MCLM)을 설계한다. 고주파 분기에서는 지능형 게이팅 메커니즘을 갖추어 다중 스케일 상호작용 중 노이즈 전파를 억제하는 어텐션 유도 고해상도 네트워크(AG-HRNet)를 도입한다. 나아가, 상호 보완적인 채널별 특징 경로를 형성하고 Mamba로 생성된 게이트를 사용해 이를 적응적으로 재가중하는 특징 적응형 Mamba 프로젝터(FAMP)를 통합한다. OCT-C8 데이터셋에 대한 광범위한 실험을 통해 제안 방법이 기존 방법들을 능가하는 98.38%의 최고 수준(SOTA) 분류 정확도를 달성함을 입증한다. 이러한 결과는 망막 병변을 식별하는 데 있어 RetiWave-Mamba의 효과성을 강조하며, 컴퓨터 보조 OCT 영상 분석에 대한 잠재력을 뒷받침한다.
우리는 합성곱 신경망(CNN)을 위한 매개변수 효율적 미세조정 방법인 CoLoRA(Convolutional Low-Rank Adaptation)를 소개한다. CoLoRA는 커널 업데이트를 경량의 depthwise 및 pointwise 성분으로 분해하여 LoRA를 합성곱 층으로 확장한다. 이 설계는 전체 합성곱 미세조정과 비교해 학습 가능한 합성곱 업데이트 매개변수의 수를 80% 이상 줄이면서도, 학습된 업데이트를 사전학습된 합성곱 커널에 병합할 수 있게 하여 원래 모델 크기와 추론 복잡도를 유지한다. MedMNIST 데이터셋, 특히 OCTMNISTv2에 대한 실험은 VGG16과 ResNet50에 적용한 CoLoRA가 학습 가능한 매개변수 수를 크게 줄이면서도 경쟁력 있는 분류 성능을 달성함을 보여준다. 전이학습, 어댑터, BitFit, 합성곱 LoRA 변형과의 비교는 예측 성능, 학습 가능한 매개변수, 학습 비용 간의 트레이드오프를 추가로 규명한다. CIFAR-100과 Cats vs. Dogs에 대한 추가 실험은 제안한 적응 전략이 비의료 이미지 분류 과제에도 전이됨을 보여주는 예비 증거를 제공한다. 최대 GPU 메모리 측정은 또한 매개변수 효율성이 비례적인 학습 메모리 절감으로 직결되지 않으며, 메모리 소비가 적응된 합성곱 층의 배치에 크게 좌우됨을 보여준다. 전반적으로 CoLoRA는 합성곱 모델에 대한 전체 미세조정의 매개변수 효율적이고 배포 효율적인 대안을 제공한다.
광간섭단층촬영(OCT)은 안과에서 필수적이지만, 특히 저가 장치에서의 일관되지 않은 이미지 품질은 자동화된 분석을 저해합니다. 이를 해결하기 위해, 우리는 노이즈가 포함된 입력에서 고품질의 대체 이미지를 생성하는 플로우 매칭 기반 테스트 타임 적응 방법을 제안합니다. 일반적으로 테스트 데이터와 학습 데이터 간의 도메인 격차는 노이즈 제거 과정 중 픽셀 분포 불일치를 유발합니다. 우리는 테스트 이미지의 히스토그램을 합성 참조 궤적과 매칭하여 입력을 예상되는 분포와 성공적으로 정렬함으로써 이를 극복합니다. 또한, 실제 노이즈 분포의 약간의 편차를 고려하기 위해 네트워크의 시간 조건을 제거합니다. 우리의 접근 방식은 연령 관련 황반 변성(AMD)의 두 단계에 대한 주요 바이오마커 분할에서 최첨단 성능을 달성합니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/Veit21/tta-flow.