인스턴스 분할에는 정밀한 물체 마스크가 필요하지만, 사람 주석자와 프롬프트 기반 모델 모두 신뢰할 수 없는 윤곽선을 만들어낼 수 있다. 윤곽선 근처의 높은 예측 손실이 반드시 주석 오류를 의미하는 것은 아니며, 유효한 경계도 불확실할 수 있다. 대상과 주변 사이의 전이를 부드럽게 하는 레오나르도 다 빈치의 \emph{스푸마토}에서 영감을 받아, 본 논문은 \textbf{\texttt{CB-LNL} (Copula-Boundary Learning with Noisy Labels)}를 제안한다. CB-LNL은 각 윤곽선 픽셀을 개별적으로 판단하는 대신, 마스크 내부의 전경 증거와 외부의 배경 증거를 결합하여 국소 지도와 주석 수정을 유도한다. 우리는 짝지어진 COCO와 LVIS 주석에 대한 감사(audit)에 이 접근법의 근거를 두고, 사람 주석, 약한 프롬프트의 SAM2 마스크, 자연 및 주행 장면에서의 통제된 오염을 포괄하는 벤치마크를 도입한다. 통제된 비교 결과, 절차적으로 생성된 윤곽선 잡음에 대한 학습이 개선되었으며 교사 마스크를 직접 대체하는 방식보다 해로운 수정이 적었다. 짝지은 시드 평가와 고정 예측 평가는 이러한 이점이 주석 출처에 따라 어떻게 달라지는지를 보여 주며, 범주 신뢰도와 윤곽선 신뢰도를 분리하여 평가해야 함을 뒷받침한다.
많은 의료 데이터셋에서 우수한 성능을 보이는 의미론적 분할 방법이 다수 존재하지만, 이들은 임상 현장에서 직접 사용하도록 설계되지 않은 경우가 많다. 주된 문제는 두 가지로, 다른 스캐너로 획득한 영상처럼 시각적 외형이 다른 미지의 데이터에 대한 일반화, 그리고 계산 시간과 필요한 그래픽 처리 장치(GPU) 메모리 측면의 효율성이다. 본 연구에서는 SpatialConfiguration-Net(SCN)을 기반으로 한 다중 장기 분할 모델을 사용하며, 이 모델은 레이블이 지정된 장기 간 공간적 배치에 대한 사전 지식을 통합하여 네트워크 출력의 허위 반응을 해소한다. 또한 예측 품질에 큰 영향을 주지 않는 범위에서 메모리 사용량을 최대한 줄이도록 분할 모델의 구조를 수정하였다. 마지막으로 실행 시간과 필요한 GPU 메모리를 모두 최적화한 최소한의 추론 스크립트를 구현하였다.
세상을 관찰하는 능력은 추론과 환경과의 상호작용에 관한 합리적 의사결정의 기본이다. 그러나 광학적 인지는 가림 현상과 같은 흔한 상황으로 인해 방해받기 쉬우며, 이는 기존 비전 시스템에 어려움을 초래할 수 있다. 본 논문은 UR5 로봇 팔, 서로 다른 주파수에서 동작하는 두 개의 밀리미터파 레이더, RGB-D 카메라를 사용하여 수집한 다양한 일상 물체의 최초 밀리미터파(mmWave) 데이터셋인 MITO를 제시한다. 가시광선과 달리 mmWave 신호는 골판지 상자, 직물, 플라스틱 같은 흔한 가림물을 투과할 수 있다. MITO는 2,400만 개가 넘는 mmWave 프레임을 수집하고, 이를 이용해 76개의 서로 다른 물체에 대해 가시선 및 비가시선(NLOS) 환경의 고해상도 mmWave 이미지 550장과 RGB-D 이미지, 분할 마스크, 원시 mmWave 신호를 생성한다. 또한 임의의 3D 삼각형 메시에 대해 합성 mmWave 이미지를 생성할 수 있는 오픈 소스 시뮬레이션 도구를 개발하였다. 마지막으로, 더 폭넓은 NLOS 인지를 가능하게 하는 본 데이터셋과 시뮬레이터의 유용성을 보이기 위해 NLOS 분할 및 분류 벤치마크를 구축한다.
농경지 경계를 정확히 구획하는 것은 효과적인 작물 모니터링과 자원 관리에 필수적이다. 그러나 경쟁 방법론들은 종종 구름 없는 데이터 큐레이션에 대한 광범위한 수작업 의존과 다양한 전 세계 조건에 대한 제한된 적응성 등 상당한 어려움에 직면한다. 본 논문에서는 Sentinel-1(S1) 또는 Sentinel-2(S2) 위성 영상의 3차원 시계열을 처리하도록 특별히 설계된 심층 학습 아키텍처 PTAViT3D를 제안한다. 또한 S1과 S2 데이터셋을 융합하기 위해 교차 어텐션(cross-attention) 메커니즘을 통합한 PTAViT3D의 확장인 PTAViT3D-CA를 제시하여, 구름 오염이 있는 상황에서의 강건성을 높인다. 제안 방법은 메모리 효율적인 3D Vision Transformer 아키텍처를 통해 시공간 상관을 활용하여, 전처리된 구름 영향 영상으로부터 직접 정확한 경계 구획을 가능하게 한다. 우리는 호주의 ePaddocks—호주 작물 재배 지역을 아우르는 CSIRO의 전국·대륙 규모 농경지 경계 제품—를 비롯해 공개 벤치마크 Fields-of-the-World, PASTIS, AI4SmallFarms 등 다양한 데이터셋에서 광범위한 실험을 통해 모델을 종합적으로 검증했다. 결과는 일관되게 최신 최고(state-of-the-art) 성능을 보여 주며, 뛰어난 전 세계 전이 가능성과 강건성을 부각한다. 특히 본 접근법은 구름 영향 영상을 안정적으로 처리함으로써 데이터 준비 워크플로를 크게 단순화하고, 이에 따라 다양한 농업 환경에 걸친 강한 적응성을 제공한다. 코드와 모델은 https://github.com/feevos/tfcl 에서 공개되어 있다.
Explainable Convolutional Neural Networks for Retinal Fundus Classification and Cutting-Edge Segmentation Models for Retinal Blood Vessels from Fundus Images
당뇨망막병증, 녹내장, 연령 관련 황반변성과 같이 시력을 위협하는 질환의 조기 발견은 망막 안저 영상 분석에 달려 있으나, 수동 평가는 느리고 전문가 의존적이다. 자동화된 합성곱 신경망(CNN)은 안저 영상을 정확히 분류하지만 블랙박스처럼 동작하며, 기존 망막 혈관 분할 방법은 병리 상황에서 판별력을 잃고 어텐션(attention)이나 트랜스포머 백본을 거의 활용하지 않는다. FIVES 및 DRIVE 안저 데이터셋을 사용하여, 4클래스 질환 분류와 어텐션·트랜스포머 기반 혈관 분할을 결합한 2-파이프라인 프레임워크를 3단계로 구성했다. (1) FIVES 영상에 회전 및 수평·수직 뒤집기 증강을 적용하고, ImageNet 사전학습 CNN 8종—ResNet101, DenseNet169, Xception, InceptionV3, DenseNet121, InceptionResNetV2, ResNet50, EfficientNetB0—을 파인튜닝한다. (2) Grad-CAM, Grad-CAM++, Score-CAM, Faster Score-CAM, Layer-CAM 등 그래디언트 기반 설명 방법 5가지를 각 분류기의 최종 합성곱 층(block)에 대해 계산하고, 아키텍처 간 정성적으로 비교한다. (3) 혈관 분할을 위해 U-Net 변형 10종을 벤치마크한다: TransUNet(하이브리드 CNN–트랜스포머 인코더), Attention U-Net(게이트(skip) 연결), ResNet50V2·ResNet101V2·ResNet152V2 백본으로 평가하고, DenseNet 백본 Attention U-Net 구성 및 완전 트랜스포머 기반 Swin-UNet을 포함한다. 분류 정확도는 ResNet101이 최고로 94.17%(F1 0.942)이며 EfficientNetB0의 88.33%를 상회한다. 분할에서는 두 데이터셋 모두에서 아키텍처 순위가 일관된다: Attention U-Net > TransUNet > Swin-UNet. 최강 구성은 ResNet101V2 백본 Attention U-Net으로, FIVES IoU 0.722, Dice 0.838; DRIVE IoU 0.648, Dice 0.787이며, 기존 커스텀 U-Net 대비 DRIVE IoU를 60.80→64.83으로 끌어올린다.
사전분포 $p(\mathbf{x})$와 추가 정보 $\mathbf{y}$가 주어졌을 때 $x$에 대한 보조적 미분 가능 제약 $c(\mathbf{x},\mathbf{y})$로 구성된 모델에서 고차원 데이터 $\mathbf{x}$를 추론하는 문제를 고려한다. 본 논문에서는 사전분포를 독립적으로 학습한 denoising diffusion 생성 모델로 둔다. 보조 제약은 미분 가능한 형태일 것으로 기대되지만, 다양한 출처에서 올 수 있다. 이러한 추론의 가능성은 확산 모델을 플러그-앤-플레이 모듈로 바꾸며, 조건부 생성이나 이미지 분할과 같이 모델을 새로운 도메인과 태스크에 적응시키는 다양한 잠재적 응용을 가능하게 한다. 확산 모델의 구조 덕분에, 각 단계마다 서로 다른 양의 노이즈를 더한 고정 denoising 네트워크를 통해 미분을 반복하여 근사 추론을 수행할 수 있다. 적합도 평가 시 $\mathbf{x}$의 많은 노이즈 버전을 고려하는 것은 새로운 탐색 메커니즘이며, 조합 최적화 문제를 풀기 위한 새로운 알고리즘으로 이어질 수 있다.
윌리스 고리(Circle of Willis, CoW)는 뇌의 주요 순환을 연결하는 중요한 동맥 네트워크이다. 그 혈관 구조는 심각한 신경혈관 질환의 위험, 중증도, 예후에 영향을 미치는 것으로 알려져 있다. 그러나 변이가 큰 CoW 해부 구조를 특성화하는 일은 여전히 수동적이고 시간이 많이 걸리는 전문가 작업으로 남아 있다. CoW는 자기공명 혈관조영술(MRA)과 전산화단층 혈관조영술(CTA)이라는 두 가지 비침습적 혈관조영 영상 방식으로 일반적으로 촬영되지만, 주석이 달린 CoW 해부학을 포함한 데이터셋은 거의 없으며, CoW 분할 알고리즘을 비교하기 위한 확립된 벤치마크도 없었다. 우리는 동일 환자의 125쌍 MRA 및 CTA 스캔으로 구성된 주석 CoW 데이터셋을 공개하면서 TopCoW 벤치마크 챌린지를 조직했다. 13개 혈관 구성요소에 대한 복셀 수준 주석은 가상현실 기술을 사용하여 생성되었으며 임상 전문가에 의해 검증되었다. 참가자들은 CoW 분할 및 변이체 분류 알고리즘을 제출했으며, 이를 5개 이상 센터의 226개 스캔으로 구성된 내부 및 외부 테스트 세트에서 평가했다. 벤치마크에는 복셀 수준 분할, CoW 구성요소 검출, CoW 변이체 분류, 그리고 두 가지 임상 응용 과제가 포함된다. 6개 대륙의 250명 이상 참가자로부터 제출물을 받았다. 최고 성능 팀은 CoW 분할에서 90% 이상의 Dice 점수, 주요 혈관 구성요소 검출에서 80% 이상의 F1 점수, 거의 모든 테스트 세트에서 CoW 변이체 분류 시 70% 이상의 균형 정확도(balanced accuracy)를 달성했다. 최상의 알고리즘은 또한 태아형 후대뇌동맥을 정확히 분류하고 CoW 해부학과 관련하여 동맥류를 정위하는 방식으로 임상적으로 관련된 하위 과제를 지원했다. 이 벤치마크는 설명 가능성과 함께 일부 하위 임상 응용에서 CoW 분할 알고리즘의 유용성을 입증했다.
PotatoGANs: Utilizing Generative Adversarial Networks, Instance Segmentation, and Explainable AI for Enhanced Potato Disease Identification and Classification
심층 학습(deep learning) 기법을 이용한 농업 병해 분할의 자동화는 다양한 응용 사례를 낳았다. 그러나 이러한 응용들은 새로운 환경에 적용될 때 과적합(overfitting) 문제에 자주 직면하여 분할 성능이 저하되는 어려움을 겪는다. 감자 농업에서는 병해가 수확량에 큰 영향을 미치므로, 신속하고 정확한 병해 식별이 농업 경제에 매우 중요하다. 회전, 반전, 이동과 같은 전통적인 데이터 증강(data augmentation) 방법은 한계가 있으며 강력한 일반화 결과를 제공하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 본 연구에서는 PotatoGANs이라 명명한 새로운 접근 방식을 제안한다. 이 새로운 데이터 증강 방법에서는 두 가지 유형의 생성적 적대 신경망(GAN)을 활용하여 건강한 감자 이미지로부터 합성 감자 병해 이미지를 생성한다. 이 접근 방식은 데이터셋(dataset)을 확장할 뿐만 아니라 다양성을 추가함으로써 모델(model) 일반화 향상에 기여한다. Inception score를 측정 지표로 사용한 실험 결과, PotatoGANs이 생성한 이미지의 우수한 품질과 사실성이 입증되었으며, 실제 병해 이미지와 밀접하게 유사한 이미지를 생성하는 능력이 강조되었다. CycleGAN 모델은 Pix2Pix GAN 모델보다 이미지 품질 면에서 우수한 성능을 보였는데, black scurf와 common scab에 대해 각각 1.2001과 1.0900의 더 높은 Inception score(IS)를 달성한 것이 그 근거이다. 이러한 합성 데이터는 대규모 신경망의 학습(training)을 크게 향상시킬 수 있다. 또한 데이터 수집 비용을 줄이는 동시에 데이터 다양성과 일반화 능력을 향상시킨다. 본 연구는 감자 병해 분류(classification)를 위해 세 가지 그래디언트(gradient) 기반 설명 가능한 AI 알고리즘(GradCAM, GradCAM++, ScoreCAM)을 세 가지 서로 다른 CNN 아키텍처(DenseNet169, ResNet152 V2, InceptionResNet V2)와 결합함으로써 해석 가능성을 향상시킨다.