대규모 데이터셋으로 큰 신경망을 학습하려면 상당한 계산 자원이 필요하며, 특히 객체 검출과 같은 밀집 예측(dense prediction) 작업에서 그렇다. 데이터셋 증류(DD)는 더 큰 데이터셋으로부터 소형 데이터셋을 합성하여 이러한 부담을 줄이려는 방법으로 제안되었지만, 기존 연구의 대부분은 이미지 분류에만 집중하여 더 복잡한 검출 설정은 거의 다루지 않았다. 본 논문에서는 객체 검출을 위해 특별히 설계된 새로운 최적화 없는 데이터 증류 프레임워크인 OD3를 제안한다. 우리 접근법은 두 단계로 이루어진다. 첫째, 객체 인스턴스를 적합한 위치에 따라 합성 이미지에 반복적으로 배치하는 후보 선택 과정이고, 둘째, 사전학습된 observer 모델로 낮은 신뢰도 객체를 제거하는 후보 스크리닝 과정이다. MS COCO와 PASCAL VOC라는 두 대표적인 검출 데이터셋에서 압축률 0.25%부터 5%까지 데이터 합성 프레임워크를 적용하였다. 검출을 위한 기존 유일한 데이터셋 증류 방법 및 기존 코어셋 선택(core set selection) 방법과 비교했을 때, OD3는 더 높은 정확도를 보이며 새로운 최신(state-of-the-art) 결과를 달성하고, 압축률 1.0%에서 COCO mAP50 기준 이전 최고 방법보다 14% 이상 앞선다. 코드는 https://github.com/VILA-Lab/OD3 에서 제공된다.
신경-기호(Neural-Symbolic, NeSy) 시스템 분야는 빠르게 성장하고 있다. 제안된 접근법들은 신경망 방법과 기호 방법의 공생적 결합을 달성하는 데 큰 가능성을 보여준다. 그러나 일반적인 NeSy 모델링 패턴을 정리하고 범용 학습 접근법을 개발하기 위해서는 통합 프레임워크가 필요하다. 본 논문에서는 판별적(discriminative) 및 생성적(generative) NeSy 모델링을 위한 통합 수학적 프레임워크인 신경-기호 에너지 기반 모델(Neural-Symbolic Energy-Based Models, NeSy-EBMs)을 소개한다. 중요하게도, NeSy-EBMs는 주요 학습 손실(loss)의 그래디언트에 대한 일반적 표현식을 유도할 수 있게 해주며, 우리는 이중수준(bilevel) 최적화와 확률적 정책 최적화를 포함한 여러 분야의 방법을 활용하는 네 가지 학습 접근법 모음을 소개한다. 마지막으로, 확장성과 표현력을 갖추도록 설계된 오픈소스 NeSy-EBM 라이브러리인 신경 확률적 소프트 논리(Neural Probabilistic Soft Logic, NeuPSL)를 통해 NeSy-EBM 프레임워크를 구체화하여 NeSy 시스템의 실세계 적용을 용이하게 한다. 여러 데이터셋에 걸친 광범위한 경험적 분석을 통해, 우리는 이미지 분류, 그래프 노드 레이블링, 자율주행차 상황 인식, 질의응답을 포함한 과제들에서 NeuPSL을 통해 구체화된 NeSy-EBMs를 연구한다. 결과는 연구된 설정들에서 이러한 구체화의 실용적 유용성에 대한 증거를 제공한다.
Explainable Convolutional Neural Networks for Retinal Fundus Classification and Cutting-Edge Segmentation Models for Retinal Blood Vessels from Fundus Images
당뇨망막병증, 녹내장, 연령 관련 황반변성과 같이 시력을 위협하는 질환의 조기 발견은 망막 안저 영상 분석에 달려 있으나, 수동 평가는 느리고 전문가 의존적이다. 자동화된 합성곱 신경망(CNN)은 안저 영상을 정확히 분류하지만 블랙박스처럼 동작하며, 기존 망막 혈관 분할 방법은 병리 상황에서 판별력을 잃고 어텐션(attention)이나 트랜스포머 백본을 거의 활용하지 않는다. FIVES 및 DRIVE 안저 데이터셋을 사용하여, 4클래스 질환 분류와 어텐션·트랜스포머 기반 혈관 분할을 결합한 2-파이프라인 프레임워크를 3단계로 구성했다. (1) FIVES 영상에 회전 및 수평·수직 뒤집기 증강을 적용하고, ImageNet 사전학습 CNN 8종—ResNet101, DenseNet169, Xception, InceptionV3, DenseNet121, InceptionResNetV2, ResNet50, EfficientNetB0—을 파인튜닝한다. (2) Grad-CAM, Grad-CAM++, Score-CAM, Faster Score-CAM, Layer-CAM 등 그래디언트 기반 설명 방법 5가지를 각 분류기의 최종 합성곱 층(block)에 대해 계산하고, 아키텍처 간 정성적으로 비교한다. (3) 혈관 분할을 위해 U-Net 변형 10종을 벤치마크한다: TransUNet(하이브리드 CNN–트랜스포머 인코더), Attention U-Net(게이트(skip) 연결), ResNet50V2·ResNet101V2·ResNet152V2 백본으로 평가하고, DenseNet 백본 Attention U-Net 구성 및 완전 트랜스포머 기반 Swin-UNet을 포함한다. 분류 정확도는 ResNet101이 최고로 94.17%(F1 0.942)이며 EfficientNetB0의 88.33%를 상회한다. 분할에서는 두 데이터셋 모두에서 아키텍처 순위가 일관된다: Attention U-Net > TransUNet > Swin-UNet. 최강 구성은 ResNet101V2 백본 Attention U-Net으로, FIVES IoU 0.722, Dice 0.838; DRIVE IoU 0.648, Dice 0.787이며, 기존 커스텀 U-Net 대비 DRIVE IoU를 60.80→64.83으로 끌어올린다.
자기지도 학습(self-supervised learning)은 다양한 도메인에서 레이블 없는 데이터로부터 의미 있는 표현을 학습하는 강력한 접근법으로, 대규모 레이블 데이터셋에 대한 의존을 줄여 왔다. 자연어 처리(NLP)에서 깊은 양방향 문맥을 포착한 BERT의 성공에 영감을 받아, BEATs와 같은 모델이 벡터 양자화(VQ)를 사용해 오디오 신호에 양방향 학습 패러다임을 확장하는 등 유사한 프레임워크가 오디오 등 다른 모달리티에도 적용되었다. 그러나 이러한 프레임워크는 양자화에 단일 코드book에 의존한다는 점 등의 과제에 직면하며, 이는 신호의 복잡하고 다면적인 성격을 충분히 포착하지 못할 수 있다. 또한 codebook 활용의 비효율은 code vector가 저활용되는 결과를 낳는다. 이러한 한계를 해결하기 위해, 우리는 양방향 학습 과정에 잔차 양자화(RQ)를 통합하고 오디오·이미지·비디오 사전학습(pre-training)에 일반화된 자기지도 인코더 사전학습 프레임워크인 BRIDLE(Bidirectional Residual Quantization Interleaved Discrete Learning Encoder)를 제안한다. 다층 계층적 codebook을 사용하는 RQ는 잠재 공간에서 세밀한 이산화를 가능하게 하여 표현 품질을 향상시킨다. BRIDLE는 인코더와 tokenizer 사이의 교차(interleaved) 학습 절차를 포함한다. 우리는 분류 벤치마크를 사용한 오디오 이해 과제에서 BRIDLE를 평가하여 최신(state-of-the-art) 결과를 달성했으며, 이미지 분류 및 비디오 분류 과제에서도 경쟁력 있는 성능을 보였고, 하류(downstream) 성능에서 기존 VQ 방식 대비 일관된 개선을 확인했다.
본 논문에서는 정확한 군중 밀도 추정을 위한 최초의 완전한 CLIP 기반 모델인 CLIP-EBC를 제안합니다. CLIP 모델은 제로샷(zero-shot) 이미지 분류와 같은 인식 태스크에서 뛰어난 성과를 보여주었으나, 계수(counting)와 같은 회귀 문제를 인식 태스크로 변환하는 데 따르는 본질적인 어려움으로 인해 계수 태스크에서의 잠재력은 거의 탐색되지 않았습니다. 본 연구에서는 이미지로부터 군중 규모를 추정하는 태스크에 특히 초점을 맞추어 CLIP의 계수 능력을 탐구하고 개선합니다. 기존의 분류 기반 군중 계수 프레임워크는 계수 값을 인접한 실수형 빈(bin)으로 양자화하고 분류 오차에만 집중하는 등 심각한 한계를 가집니다. 이러한 방식은 인접 경계 근처에서의 레이블 모호성과 부정확한 계수 값 예측을 초래합니다. 따라서 기존 프레임워크에 CLIP을 직접 적용하면 차선의 성능을 보일 수 있습니다. 이러한 문제를 해결하기 위해, 먼저 개선된 블록별 분류(EBC, Enhanced Blockwise Classification) 프레임워크를 제안합니다. 이전 방법들과 달리 EBC는 정수형 빈을 사용하여 빈 경계 근처의 모호성을 효과적으로 줄입니다. 또한 밀도 맵(density map) 기반의 회귀 손실을 도입하여 계수 값 예측 정확도를 향상합니다. 백본에 구애받지 않는(backbone-agnostic) EBC 프레임워크 내에서, 해당 태스크에 CLIP의 인식 기능을 완전히 활용하는 CLIP-EBC를 소개합니다. 광범위한 실험을 통해 EBC의 효과와 CLIP-EBC의 경쟁력 있는 성능을 입증합니다. 구체적으로, 제안하는 EBC 프레임워크는 UCF-QNRF 데이터셋에서 기존 분류 기반 방법들의 성능을 최대 44.5% 향상하며, CLIP-EBC는 NWPU-Crowd 테스트 세트에서 MAE 58.2, RMSE 268.5를 기록하여 이전 최고 성능 방법인 STEERER 대비 각각 8.6% 및 13.3% 향상된 SOTA(state-of-the-art) 성능을 달성합니다. 코드와 가중치는 https://github.com/Yiming-M/CLIP-EBC 에서 확인할 수 있습니다.
탈중앙화 연합학습(DFL)에서 중앙 서버 전제의 비잔틴-강건 집계 기법이 보안에 취약한 문제를 해결하기 위해, 다중 필터로 비잔틴 공격을 식별·완화하고 동적 탈중앙 토폴로지의 강건성을 높이는 WFAgg 집계 알고리즘을 제안한다. IID 이미지 분류 실험에서 다양한 비잔틴 공격 하에서도 모델 정확도와 수렴을 유지하며 Multi-Krum·Clustering 등 중앙화 기반 최신 기법을 능가했다.
DP-SGD와 같은 머신러닝(ML) 알고리즘에 대한 차분 프라이버시(DP) 보장을 보고하는 현재의 관행은 불완전하고 잠재적으로 오해를 초래할 수 있는 그림을 제시합니다. 예를 들어, 어떤 메커니즘에 대해 단일 $(\varepsilon, \delta)$만 알려진 경우, 표준 분석은 학습 데이터 레코드에 대한 매우 정확한 추론 공격이 존재할 수 있음을 보여주지만, 보다 신중한 분석을 통해 살펴보면 대부분의 실용적인 메커니즘에서는 그러한 정확한 공격이 존재하지 않습니다. 이 포지션 페이퍼에서 우리는 ML에서 DP 보장을 전달하는 주요 수단으로 _비점근적_ 가우시안 차분 프라이버시(GDP)를 사용하는 것이 이러한 잠재적 단점을 피할 수 있다고 주장합니다. DP 문헌의 두 가지 최근 발전, 즉 (i) DP-SGD의 프라이버시 프로파일과 $f$-DP 곡선을 임의의 정확도로 계산할 수 있는 오픈소스 수치 어카운턴트, (ii) DP 표현에 대한 의사결정 이론적 메트릭을 활용하여, 우리는 수치 어카운턴트를 사용해 GDP에 대한 비점근적 경계를 제공하는 방법을 보이고, GDP가 해당 메트릭으로 정량화된 오차를 거의 없이 DP-SGD 및 관련 알고리즘의 전체 프라이버시 프로파일을 포착할 수 있음을 보여줍니다. 우리의 주장을 뒷받침하기 위해, 최신 DP 대규모 이미지 분류와 미국 10년 인구조사를 위한 TopDown 알고리즘의 프라이버시 프로파일을 조사하였으며, 모든 경우에서 GDP가 해당 프로파일에 현저히 잘 맞음을 관찰하였습니다. 마지막으로 이 접근 방식의 강점과 약점에 대해 논의하고, GDP로부터 이점을 얻을 수 있는 다른 프라이버시 메커니즘에 대해 논의합니다.