약 지도 시맨틱 분할(WSSS)은 바운딩 박스, 스크리블(scribbles), 또는 이미지 수준 태그와 같은 불완전하거나 거친 주석으로부터 밀집 픽셀 수준 분할 모델을 학습합니다. 최근 연구는 Segment Anything Model(SAM)과 같은 파운데이션 모델을 활용하여 의사 라벨을 생성하지만, 이러한 접근 방식은 일반적으로 휴리스틱 프롬프트 선택에 의존하며 사전 지식이나 이질적인 라벨을 통합할 수 있는 방법이 제한적입니다. 우리는 뉴로심볼릭(neurosymbolic) 관점을 취하여 이러한 격차를 해결합니다: 미분 가능한 퍼지 논리를 딥러닝 분할 모델과 통합합니다. 약한 주석과 도메인 특화 사전 지식은 연속적 논리 제약 조건으로 통합되어, 약한 지도 하에서 SAM을 미세조정합니다. 이후 개선된 파운데이션 모델은 향상된 의사 라벨을 생성하며, 우리는 이를 통해 2단계 프롬프트 프리(prompt-free) 분할 모델을 학습합니다. Pascal VOC 2012 및 REFUGE2 시신경 유두/컵 분할 데이터셋에 대한 실험 결과, 우리의 논리 기반 미세조정이 더 고품질의 의사 라벨을 생성함을 보여주며, 이는 종종 밀집 지도 기준 모델을 초과하는 최첨단 분할 정확도로 이어집니다.
신뢰할 수 있는 농업 수확량 통계는 일반적으로 거친 행정 구역 단위로 보고되지만, 현대 지리공간 기계학습 방법은 공간적으로 명시적인 픽셀 수준 지도가 필요하다. 이러한 불일치는 멀티모달 지구 관측 데이터를 이용한 작물 수확량 학습을 위한 대규모 벤치마크 개발을 제한해 왔다. 공개된 미국 카운티 수준 작물 수확량 통계를 약지도 픽셀 수준 작물 시계열로 변환하기 위한 재현 가능한 벤치마크 AgroBench를 제시한다. 각 작물 픽셀 시계열은 직접 측정된 픽셀 수준 수확량 라벨 대신, 카운티 수준 수확량 값을 약한 지도 신호로 짝지어 사용한다. 지리공간 데이터 생성 파이프라인은 USDA 작물 수확량 통계를 작물별 토지 피복 마스크, Sentinel-2 다중분광 영상, Sentinel-1 합성 개구 레이더(SAR) 관측, 기후 변수, 지형 정보와 통합하여 생육기 동안 개별 작물 픽셀을 기술하는 시간 정렬 멀티모달 시퀀스를 생성한다. 결과 벤치마크는 미국 주요 5개 작물에 대해 8개 생육기(2017–2024)에 걸친 5,107개 카운티-연도 조합, 788,654개의 고유 작물 픽셀에서 1,300만 건 이상의 관측치를 포함한다. 표준화된 평가를 위해 Leave-One-Year-Out 평가 프로토콜을 사용한 작물 수확량 예측 벤치마크를 수립하고, 대표적인 기계학습 모델에 대한 기준선 결과를 제공한다. 데이터 생성 파이프라인, 벤치마크 데이터셋, 평가 프로토콜 전체를 공개함으로써 AgroBench는 약지도 학습, 멀티모달 원격 탐사, 시공간 모델링, 농업용 지리공간 파운데이션 모델에 관한 향후 연구를 위한 재현 가능한 토대를 제공한다.
소마 인스턴스 분할, 즉 개별 세포 소마를 서로 다른 인스턴스로 식별하고 경계를 구분하는 작업은 세포 분석과 커넥톰(connectome) 재구성에 필수적이다. 3차원 전자현미경(3D EM)은 나노미터 스케일 해상도로 세밀한 소마 형태를 포착할 수 있다. 그러나 밀집된 인스턴스 수준의 수동 주석은 비용이 지나치게 커서 완전 지도 방법의 확장성을 제한한다. 이 문제를 해결하기 위해, 부분 주석 제약 하에서 3D EM 소마 인스턴스 분할을 위한 약지도 프레임워크 SomaNet을 제안한다. SomaNet은 부분 레이블에 맞춘 교사-학생(teacher-student) 학습 패러다임을 채택한다. 교사는 부분적으로 주석된 데이터로 학습하여 의사 레이블(pseudo-label)을 생성하고, 학생은 부분 정답 주석과 생성된 의사 레이블로부터 공동 학습하여 점진적으로 밀집한 인스턴스 분할을 복원한다. 인스턴스 수가 다양한 제한적 감독 하에서 세포 소마를 정확히 구분하기 위해 SomaNet은 어피니티 학습(affinity learning)을 통합하여, 인스턴스 내부에서는 높은 유사도를, 인스턴스 경계를 넘어서는 경우에는 낮은 유사도를 유도한다. 의미 기반 어피니티 디코딩과 2D-to-3D 재구성을 통해 2D 백본의 넓은 수용 영역(receptive field)을 유지하면서 부피적으로 일관된 3D 소마 인스턴스를 생성한다. 이 프레임워크는 아키텍처에 유연하며 비전 트랜스포머(vision transformer)와 파운데이션 모델(foundation model)을 포함한 다양한 백본을 지원하여, 사전학습된 시각 표현을 부피 EM 분할로 직접 이전할 수 있게 한다. 3D EM 뇌 데이터셋에서의 실험은 SomaNet이 부분 주석 하에서 다양한 소마 형태를 가진 영역 전반에 걸쳐 정확하고 견고한 소마 인스턴스 분할을 달성함을 보여준다. 코드는 https://github.com/mkhateri/SomaNet 에서 이용할 수 있다.
전립선암 조직병리학에서 Gleason Score는 whole-slide image 내에서 가장 빈번한(Primary) Gleason 패턴과 두 번째로 빈번한(Secondary) Gleason 패턴으로 결정된다. 이러한 슬라이드 수준 레이블은 임상에서 일반적으로 이용 가능하지만, 인스턴스 수준 Gleason 주석은 거의 제공되지 않아 패치 수준 학습을 어렵게 만든다. 본 연구는 슬라이드 수준 Primary 및 Secondary 레이블로부터 인스턴스 수준 Gleason 패턴을 추정하는 다중 인스턴스 학습(MIL) 프레임워크를 제안한다. 제안 방법은 인스턴스 예측을 클래스 개수로 집계하고 Primary 패턴, Secondary 패턴 및 그 지배성을 명시적으로 모델링함으로써 Gleason Score의 임상적 정의에 따라 인스턴스 수준 학습을 공식화한다. 실험 결과, 제안 공식화가 효과적인 인스턴스 수준 학습을 가능하게 하며 SICAP-MIL 데이터셋에서 기존 MIL 접근법들을 능가함을 보여준다.
의료 영상을 위한 약지도(weakly supervised) 파이프라인은 수년에 걸쳐 점점 더 널리 사용되고 있다. 이러한 시스템은 재구성(reconstruction), 생성(generation), 국소화(localization) 등 여러 단계와 구성 요소를 포함하는 경우가 많지만, 표준 평가 지표는 각 단계에서 임상적으로 관련 있는 정보가 보존되는지에 대한 통찰을 제한적으로만 제공한다. 우리는 진단 격차(diagnostic gap) 프레임워크를 제안한다. 이는 측정된 재구성 충실도의 함수로서 의사결정 보존(decision preservation)과 설명 보존(explanation preservation)을 측정하는 실용적인 평가 도구이다. 재구성의 효과를 국소화로부터 분리하기 위해, 우리는 세 가지 클래스 조건부 재구성기—VQ-VAE-GAN, VAE-GAN, 확산(diffusion, SDEdit)—로 구성된 충실도 사다리(fidelity ladder)를 사용하여 큐레이션된 병변 ROI 크롭에서 평가한다. 이는 지각 거리(perceptual distance, LPIPS 0.029–0.584)에서 20배 범위에 걸친다. 오토인코더 수준의 충실도에서는 의사결정과 설명이 모두 보존된다: AUC 변화는 $\pm$0.005 이내에 머물고, 속성 유사도(attribution similarity, HiResCAM, Grad-CAM++)는 높게 유지된다. 확산 모델 수준의 충실도에서는 둘 다 붕괴한다: 풀링(pooled) AUC는 0.253 하락하고, mass-pathology AUC는 우연(chance) 수준 이하로 떨어진다. 따라서 진단 격차는 재구성의 고유한 비용(intrinsic cost)이라기보다 재구성 충실도의 측정 가능한 함수이며, 이 프레임워크는 다단계 파이프라인이 진단 신호를 잃는 시점과 위치를 식별하는 아키텍처 무관(architecture-agnostic) 도구를 제공한다.
우리는 희소 픽셀 수준 지도 하에서의 이미지 분할을 위한 통합 변분 프레임워크를 제안한다. 우리 방법은 매끄러운 둘레 정규화자를 갖는 단체(simplex) 제약 Potts 모델에 기반하며, 약지도 심층 학습 패러다임에서 학습 손실로 사용하거나 반복적 방법을 통해 효율적으로 최적화할 수 있는 볼록하고 매끄러운 에너지 함수(functional)를 산출한다. 희소 레이블은 재생 커널 힐베르트 공간(RKHS)에서의 함수 확장(function extension) 문제를 통해 퍼지 멤버십 함수(fuzzy membership function)를 구성함으로써 데이터 충실도(data fidelity) 항에 통합되며, 이는 비균질 강도 통계를 효과적으로 포착할 수 있다. 표준 네트워크 학습을 위해 도출된 이산 손실은 실험에서 비학습(non-training) 및 부분 교차 엔트로피(PCE) 기준선 대비 견고성과 일관된 성능 향상을 보이며, 정답(ground-truth) 분할 이미지 없이도 비교 가능한 성능을 달성한다.
생명에 제한을 주는 선천성 기형은 적절한 임상 의사결정을 위해 정확한 산전 진단이 필요하다. 산전 초음파(US) 검사는 여러 해부학적 단면을 포함하며, 진단은 해부학적 단면을 식별하고 각 이상에 대해 진단적으로 관련 있는 단면을 선택하는 데 달려 있다. 기존 자동화 방법들은 단면 수준 주석에 의존하거나, 이러한 진단 능력을 명시적으로 모델링하지 않은 채 이질적인 영상을 집계한다. 우리는 사례 수준 감독만을 사용하는 산전 US 이상 진단을 위한 프로토타입 기반 프레임워크인 AnomExpert를 제안한다. AnomExpert는 단면 주석 없이도 순서 없는 영상을 해부학적 단면에 대응하는 잠재 표현으로 조직하기 위해 학습 가능한 단면 프로토타입을 도입한다. 질병 인식 희소 선택 메커니즘은 각 이상에 대해 진단적으로 관련 있는 단면을 추가로 선택한다. 3,654건의 다기관 데이터셋에서의 실험 결과, AnomExpert는 9개의 대표적인 다중 인스턴스 학습(multi-instance learning) 방법을 일관되게 능가한다. ViT-small 백본을 사용하여 86.9% 정확도와 84.2% F1-score를 달성하면서 매개변수 효율성을 유지한다. 이러한 결과는 해부학적 단면 식별과 질병 특이적 단면 선택을 모델링하면 약지도 다중 단면 산전 US 이상 분류가 개선됨을 시사한다. 코드는 https://github.com/TIanCat/AnomExpert 에서 제공된다.
위성 영상으로부터 농장 부지를 발견하는 문제는 목초지, 경작지 경계, 도로, 건물, 계절적 식생 패턴에 걸친 농장 증거가 분산되어 있기 때문에 시공간 후보 순위 문제이다. 농장 라벨이 종종 불완전하여 완전 지도 검출이 어렵다. 본 논문은 계절 Sentinel 영상과 공개 지도 사전 정보를 이용해 낙농장 후보 군집을 순위화하는 약지도 파이프라인을 제안한다. 이 방법은 아일랜드 코크 주의 봄, 여름, 가을에 정렬된 영상 타일을 사용하며, 스펙트럼 밴드, 식생 지수, 건축 지역 지수, 목초지 채널을 포함한다. Barlow Twins 인코더는 농장 라벨 없이 다계절 타일 임베딩을 학습한다. 병렬로, 약한 OpenStreetMap 농장 사전 정보를 사전 정보와 보류 평가셋으로 분할한다. 사전 정보 특징은 농장 근접성, 계절적 목초지 증거, 여름 녹색도를 결합한 규칙 기반 타일 점수를 지원하며, 보류 평가셋 특징은 프록시 평가에만 사용된다. 규칙 점수는 지리적 근접성과 임베딩 유사도를 이용한 공간 표현 그래프에서 평활화되며, 고득점 타일이 순위화된 후보 군집으로 그룹화된다. 26,722개의 유효 타일 중 주 실행은 535개의 고신뢰도 타일을 선별하여 71개의 후보 군집을 형성한다. 상위 5개 군집은 보류 OpenStreetMap 농장 특징으로부터 500m 이내에서 0.60의 정밀도, 1000m 이내에서 0.80의 정밀도를 달성한다. 상위 10개 군집은 500m 이내에서 0.40의 정밀도, 1000m 이내에서 0.80의 정밀도를 달성한다. 결과는 계절 표현 학습과 약한 지리적 사전 정보가 대규모 위성 영상 컬렉션을 인간 검토를 위한 소형 후보 집합으로 축소할 수 있음을 보여준다.
전체 슬라이드 이미지(WSI)는 조직 수준 및 세포 수준의 풍부한 정보를 제공하지만, 고배율 병리 데이터를 저장하고 전송하는 것은 자원 집약적이다. 또한 WSI에 픽셀 단위 주석을 다는 작업은 노동 집약적이고 시간이 많이 소요된다. 따라서 제한된 주석(즉, 픽셀 수준 레이블 대신 이미지 수준 레이블)을 가진 저배율 병리 이미지가 고배율 이미지와 비교 가능한 성능을 달성할 수 있는지 연구하는 것이 중요하다. 본 논문은 다양한 저해상도 저장 설정 하에서 약지도 조직병리학적 이미지 분할에 관한 체계적인 벤치마크 연구를 제시한다. 고해상도 이미지 패치에서 출발하여 저배율 입력을 시뮬레이션하고, 약지도 분할 파이프라인을 적용하기 전에 보간법과 심층 학습 기반 복원 방법을 사용하여 원래 크기로 재구성한다. 이 프레임워크는 약지도 방법이 다양한 수준의 해상도 저하에 어떻게 반응하는지를 정량적으로 평가할 수 있게 한다. 실험 결과, 복원 품질 지표만으로는 다운스트림 이미지 분할 성능을 예측하기에 불충분함을 보인다. 특히, 본 연구는 소규모 구조물의 위치 파악 능력이 급격히 저하되는 임계 열화 지점을 식별한다. 이러한 발견은 신뢰할 수 있는 자동화 분석을 유지하면서 효율적인 디지털 병리 저장 시스템을 설계하기 위한 실용적인 지침을 제공한다. 코드는 https://github.com/Dung-Dx/LowMagWSS 에서 확인할 수 있다.
약지도(weakly supervised) 비디오 이상 탐지는 학습 시 비디오 수준의 레이블만을 활용하기 때문에, 복잡한 장면에서 이상 이벤트를 정확히 국소화하기 어렵다. 실제 비디오에서 이상 행동은 외관과 시간적 지속 시간 측면에서 큰 변동성을 보이며, 장면 외관과 행동 역학이 긴밀하게 얽혀 있는 경우가 많다. 그 결과, 기존 모델들은 실제 행동적 이탈보다 장면 관련 통계적 단서에 의존하는 경향이 있어 불안정한 탐지 성능을 초래한다. 이러한 문제를 해결하기 위해, 우리는 이상 탐지를 클립 수준의 시각적 증거에 대한 구조적 추론 과정으로 재정식화하는 구조적 증거 선택 프레임워크(SESAD)를 제안한다. SESAD는 집계된 특징을 이상 점수에 직접 매핑하는 대신, 클립 표현을 의미적으로 구조화된 후보 증거로 재편성하고 장면 및 행동 제약 하에서 컨텍스트 조건부 선택을 수행한다. 이 메커니즘은 이상과 관련된 의미론을 적응적으로 강조하는 동시에 장면 간섭을 억제함으로써, 약지도 환경에서의 의미론적 얽힘을 완화한다. 또한, 임베딩 공간에서 이중 프로토타입 구조를 구성하는 경량 기하학적 판별 모듈을 도입하여 상대적 기하학적 관계를 통해 이상 여부를 결정할 수 있도록 한다. UBnormal, ShanghaiTech, UCF-Crime에 대한 광범위한 실험에서 SESAD는 각각 67.92, 97.99, 88.46 AUC를 달성하며, 높은 계산 효율성과 전반적으로 일관되게 안정적인 이상 판별 성능을 유지함을 보인다.
대규모 약지도(weakly supervised) 데이터셋을 활용하는 것은 강건한 종단 간(end-to-end) 자동 음성 인식(ASR) 모델 학습에 필수적이다. 그러나 이러한 데이터셋은 노이즈가 포함된 레이블을 갖는 경우가 많고 도메인 특이성이 부족하여 활용 효과가 제한된다. 이러한 문제를 해결하고 약지도 데이터셋을 보다 효과적으로 활용하기 위해, 본 논문에서는 데이터 필터링과 선택을 결합한 새로운 학습 방법을 제안한다. 제안 방법은 세 단계로 구성된다: 전체 데이터셋에 대한 사전학습, 문자 오류율(CER)을 기준으로 필터링된 부분 집합에 대한 추가 사전학습, 그리고 필터링된 부분 집합에서 목표 도메인과 음향적으로 유사한 소수의 샘플을 선택하여 수행하는 미세조정. 9만 시간 규모의 약지도 일본어 데이터셋을 이용한 실험에서, 제안된 필터링 및 선택 방법은 첫 번째 사전학습 단계에서 이미 사용된 학습 샘플을 재사용함에도 불구하고 CER을 각각 최대 6.4%와 4.0% 시너지적으로 감소시켰다.
개방 어휘 시나리오에서의 의미 분할은 의미 카테고리의 넓은 범위와 세분성으로 인해 상당한 도전 과제를 제시한다. 기존 약지도 방법은 종종 카테고리별 지도와 대비 학습에 부적합한 특징 구축 방법에 의존하여, 의미적 불일치와 낮은 성능을 초래한다. 본 연구에서는 이러한 과제를 해결하기 위해 SynSeg라는 새로운 약지도 접근법을 제안한다. SynSeg는 Multi-Category Contrastive Learning(MCCL, 다중 카테고리 대비 학습)을 더 강한 학습 신호로 수행하여, 학습 과정 동안 카테고리 내 및 카테고리 간 지식을 견고하게 주입한다. 또한 Feature Synergy Structure(FSS, 특징 시너지 구조)라는 새로운 특징 재구성 프레임워크를 제안한다. FSS는 사전 융합과 의미 활성화 맵(semantic-activation-map) 강화를 통해 대비 학습을 위한 변별적 특징을 재구성하며, 시각 인코더가 도입하는 전경 바이어스(foreground bias)를 효과적으로 회피한다. 또한 SynSeg는 실시간 추론이 가능한 경량의 종단 간 솔루션이다. 전반적으로 SynSeg는 약한 지도 하에서 의미적 위치 특정과 변별 능력을 효율적인 방식으로 효과적으로 향상시킨다. 벤치마크에 대한 광범위한 실험은 본 방법이 최신(SOTA) 성능을 능가하며, 보고된 모든 벤치마크에서 mIoU 점수가 0.6%에서 8.9%까지 향상됨을 보여준다.
약한 지도 분할(weakly supervised segmentation)은 평면 수준(plane-level) 라벨로부터 모델 학습을 가능하게 합니다. 기존 방법들은 종종 2D 인코더에 의존하여 의료 데이터의 볼륨 특성을 간과합니다. 우리는 단면 간(cross-plane) 모델링을 통해 3D 문맥을 포착하도록 설계된 하이브리드 트랜스포머-맘바(Transformer-Mamba) 아키텍처인 TranSamba를 제안합니다. TranSamba는 Vision Transformer 백본에 Cross-Plane Mamba 블록을 추가하여, 인접한 평면 간의 효율적인 정보 교환을 위해 선형 시간(linear-time) 모델링을 활용합니다. 이러한 교환은 객체 위치 지정을 위한 평면 내(in-plane) 셀프 어텐션(self-attention)과 후속 어텐션 맵을 개선합니다. TranSamba는 입력 볼륨 깊이에 대해 선형 시간 복잡도와 상수 공간 복잡도를 유지합니다. 다양한 모달리티와 병리를 포괄하는 세 가지 데이터셋에 대한 광범위한 실험을 통해, TranSamba는 최첨단(state-of-the-art) 성능을 달성하여 단면 간 모델링의 일반화 가능한 효율성을 입증했습니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/YihengLyu/TranSamba.
기존의 계산 병리학(computational pathology) 방법들은 주로 전체 슬라이드 이미지(WSI) 수준의 다중 인스턴스 학습(MIL) 패러다임 내에서 동작하며, 환자 수준 모델링은 아직 충분히 탐구되지 않은 영역으로 남아 있다. 그러나 실제 병리 진단 과정에서 병리학자들은 단일 슬라이드에 의존하는 것이 아니라, 여러 WSI에 걸쳐 증거를 통합하여 진단 및 예후 결론을 도출한다. 이러한 불일치는 기존 MIL 프레임워크에 환자 수준의 지도(supervision)를 직접 적용할 때 근본적인 정렬 불일치를 야기하며, 종종 불안정한 최적화와 예측 신뢰성 저하로 이어진다. 이 문제를 해결하기 위해, 우리는 환자 수준 예측을 위한 약지도(weakly supervised) 프레임워크인 앵커 기반 증거 MIL(AGE-MIL)을 제안한다. AGE-MIL은 슬라이드 표현으로부터 환자 수준 앵커를 구성하여 전반적인 병리학적 맥락을 포착하고, 진단적으로 관련된 로컬 패치의 검색 및 통합을 안내함으로써 강건한 환자 수준 모델링을 가능하게 한다. 환자 수준 위험은 약지도 하에서 안정적인 최적화를 촉진하는 증거 누적(evidence accumulation) 과정으로 추가 모델링된다. AGE-MIL은 두 개의 독립적인 코호트에서 도출된 6가지 임상적으로 유관한 환자 수준 예측 과제에 대해 평가된다. 실험 결과, 제안된 프레임워크는 8가지 최신 MIL 방법들을 일관되게 능가하는 것으로 나타났다. 코드는 https://github.com/wodeniua/AGE-MIL 에서 확인할 수 있다.