스펙트럼 할당 학습: 적응형 볼륨 분할을 위한 분수계 확산 프레임워크
Learning Spectral Allocation: A Fractional Diffusion Framework for Adaptive Volumetric Segmentation
한국어 초록
본 논문에서는 3D 의료 이미지 분할(image segmentation)에서의 적응형 연산 문제를 다룹니다. 새로운 백본을 설계하는 대신, 각 네트워크 단계에 얼만큼의 스펙트럼 혼합이 필요한지 묻고 최적화(optimization)를 통해 그 해답을 찾도록 합니다. 저자들은 분수계 열 방정식(fractional heat equation)의 이산 코사인 변환(DCT) 해로부터 2-매개변수 연산자 군인 FHEAT를 유도합니다. 분수 차수 alpha와 확산 강도 D가 이 연산자를 제어하며, D=0일 때 정확히 항등(identity) 연산자가 됩니다. 반군 시간 tau = D*alpha로 재매개변수화하면 동일 해상도 인스턴스들이 정확히 합성되므로, 동일 해상도 단계에 걸친 임의의 확산 분포는 학습된 강도를 갖는 단일 소볼레프(Sobolev) 형태의 정규화기로 귀결됩니다. 이러한 항등 극한을 통해 설계자가 아닌 각 층(layer)의 옵티마이저(optimizer)가 전역 혼합이 필요한지, 그리고 그 혼합이 얼마나 급격해야 하는지를 결정할 수 있게 됩니다. 저자들은 적응형 유리 함수 활성화가 적용된 콜모고로프-아놀드 믹서(KAN3D)와 결합된 경량 U자형 아키텍처(Light-UNETR)에 FHEAT를 구현하여 FHEAT-Seg를 제안합니다. 세 가지 공개 벤치마크에서 5%~20%의 레이블 비율로 진행된 학습(training) 결과, 그래디언트(gradient) 기반의 스펙트럼 희소화가 나타났습니다. 8개의 단계별 연산자 중 7개가 D를 0으로 유도했으며, 살아남은 연산자는 준지도 어텐션(attention) 맵을 공급하는 디코더 층에서 가장 급격한 저역 통과(alpha ~ 0.9)로 수렴했습니다. 배제된 층들은 추론(inference) 시 정확한 항등 숏컷이 되어, 0.975M개의 매개변수(parameter) 환경에서 FLOPs를 4.29G에서 0.90G로 79% 절감합니다. 표준 준지도 프로토콜에서 FHEAT-Seg는 90.47%(좌심방), 78.79%(Pancreas-CT), 81.90%(BraTS 2019)의 Dice 점수를 기록하여 5가지 준지도 방법론과 Light-UNETR 기준선(baseline)을 능가했습니다. 또한 대형 변형 모델은 완전 지도 환경에서도 2.851M 매개변수와 55.75G FLOPs로 Light-UNETR-L을 능가했습니다(Dice 93.09%, 85.11%, 87.19%). 이러한 결과는 스펙트럼 연산의 할당이 수동 설계로 결정해야 하는 요소가 아니라 최적화 역학의 학습 가능한 속성임을 시사합니다.
원문 초록
We address adaptive computation in 3D medical image segmentation: instead of designing another backbone, we ask how much spectral mixing each network stage needs and let optimization answer. We derive FHEAT, a two-parameter operator family, from the discrete cosine transform (DCT) solution of a fractional heat equation. A fractional order alpha and a diffusion strength D govern the operator, and at D=0 it is exactly the identity. Reparametrized by the semigroup time tau = D*alpha, same-resolution instances compose exactly, so any distribution of diffusion across same-resolution stages amounts to a single Sobolev-type regularizer of learned strength. This identity limit lets the optimizer of each layer, not the designer, decide whether global mixing is needed and how sharp it should be. We instantiate FHEAT in a lightweight U-shaped architecture (Light-UNETR) paired with a Kolmogorov-Arnold mixer (KAN3D) with adaptive rational activations, yielding FHEAT-Seg. At 5% to 20% label rates on three public benchmarks, training produces gradient-driven spectral sparsification: seven of the eight stage-level operators drive D to zero, and the survivor saturates at the sharpest low-pass (alpha ~ 0.9) in the decoder layer feeding the semi-supervised attention map. The retired layers become exact identity shortcuts at inference, cutting FLOPs from 4.29G to 0.90G (a 79% drop) at 0.975M parameters. Under a standard semi-supervised protocol, FHEAT-Seg reaches Dice scores of 90.47% (left atrium), 78.79% (Pancreas-CT), and 81.90% (BraTS 2019), ahead of five semi-supervised methods and the Light-UNETR baseline. The large variant also surpasses Light-UNETR-L under full supervision (Dice 93.09%, 85.11%, and 87.19%) with 2.851M parameters and 55.75G FLOPs. These results suggest that the allocation of spectral computation is a learnable property of optimization dynamics, not a manual design commitment.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27217v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FedMust: 다중 장기 CT 분할을 위한 준지도 멀티태스크 학생-교사 연합 학습
FedMust: Semi-supervised Multi-task Student-Teacher Federated Learning for Multi-organ CT Segmentation
심층 학습(deep learning)을 이용한 다중 장기 분할(multi-organ segmentation)은 주석(annotation)이 달린 대량의 환자 데이터를 필요로 하지만, 각 기관에는 충분히 크고 다양한 주석 데이터셋(dataset)이 부족한 경우가 많습니다. 또한 개인정보 보호 제약으로 인해 이러한 한계를 극복하기 위해 기관 간에 환자 데이터를 공유하는 것도 불가능합니다. 더욱이 주석 작업의 노동 집약적인 특성과 다양한 전문성의 부족으로 인해, 기관들은 일반적으로 로컬 데이터의 극히 일부에 대해서만 레이블을 보유하고 있어 레이블이 없는 더 많은 양의 데이터는 활용되지 못한 채 남겨집니다. 본 연구에서는 참여 사이트 전반에서 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 활용하여 다중 장기 분할 성능을 개선하기 위해 연합 학습(FL)을 활용하는 유연한 준지도 연합 멀티태스크 학생-교사 프레임워크를 제안합니다. 제안된 프레임워크는 각 통신 라운드마다 로컬 학습(training)을 시작하며, 동일한 태스크에 대한 레이블을 보유한 클라이언트들이 연합을 구성하여 집합된 교사 모델(teacher model)을 생성합니다. 이렇게 생성된 교사 모델은 각 클라이언트의 모든 데이터에 대해 태스크별 특징(feature)을 생성합니다. 이어서 모든 클라이언트는 두 번째 연합을 구성하여 공유 인코더와 모든 분할 태스크에 걸쳐 교사가 생성한 특징을 복제하는 태스크별 디코더를 갖춘 멀티태스크 학생 모델(student model)을 학습시킵니다. 이후 집합된 학생 모델은 로컬 교사 모델을 업데이트하고 다음 학습 라운드를 시작하는 데 사용됩니다. 광범위한 실험을 통해 제안된 방법이 로컬 및 연합 단일 장기 모델 대비 효과적임을 입증하였으며, 클라이언트 전반에 걸쳐 평균 13%의 성능 향상을 달성했습니다. 또한 실험을 통해 멀티태스크 학습과 레이블이 지정되지 않은 데이터의 영향력, 그리고 클라이언트 참여를 위한 레이블 데이터 요구 조건을 완화하는 데 본 프레임워크를 적용할 수 있음을 입증했습니다. 코드는 https://github.com/AshknMrd/FedMust 에서 확인할 수 있습니다.
ESRVS: 단일 주석 이미지를 이용한 극한 반지도 망막 혈관 분할
ESRVS: Extreme Semi-Supervised Retinal Vessel Segmentation with a Single Annotated Image
의료 영상 분석에서 최소한의 인간 감독으로 학습하는 것은 오랜 목표이며, 밀집된 전문가 주석은 비용이 큽니다. 본 연구는 주석이 달린 이미지 하나와 레이블 없는 이미지 풀을 사용하는 극한 반지도(semi-supervised) 설정에서 망막 혈관 분할을 다룹니다. 우리는 수동 주석을 위해 대표적인 기준 이미지를 선택하고, 대상 도메인에 적응된 DINOv3 특징을 사용하여 혈관 단서를 전이하는 ESRVS를 제안합니다. ESRVS는 다중 세분화 혈관 프로토타입을 구성하고, 프로토타입 유사도 맵과 물리학에서 영감을 받은 사전(prior)을 결합하여 초기 의사 레이블(pseudo-label)을 생성하며, 가중 의사 레이블 학습과 적대적(adversarial) 정제를 통해 전이된 감독을 정제합니다. 8개의 공개 데이터셋에서 ESRVS는 비교된 반지도 방법들이 10~20%의 레이블 데이터를 사용함에도 불구하고, 6개 데이터셋에서 최고의 Dice와 clDice를, 8개 데이터셋 모두에서 최고의 HD95를 달성합니다. Mask2Former와 함께 ESRVS는 평균적으로 완전 감독 Dice의 93.7%와 완전 감독 clDice의 95.1%를 유지합니다. 이러한 결과는 고도로 레이블 효율적인 망막 혈관 분할을 위한 파운데이션 모델(foundation model) 레이블 전파의 잠재력을 보여줍니다. 코드는 https://github.com/IAANNH/ESRVS 에서 이용할 수 있습니다.
반지도 태아 초음파 분할을 위한 이중 합의 일관성 학습
Dual Agreement Consistency Learning for Semi-Supervised Fetal Ultrasound Segmentation
모체-태아 초음파(US)는 태아 발달 모니터링의 주요 영상 모달리티이지만, 픽셀 수준 어노테이션의 부족으로 인해 정확한 자동 이미지 분할이 여전히 어렵다. 이 문제를 해결하기 위해 우리는 강건한 태아 US 이미지 분할을 위한 반지도(semi-supervised) 프레임워크인 DACL을 제안한다. DACL은 배포 지향 경량 컨볼루션 네트워크(1.47M 파라미터)와 트랜스포머 기반 네트워크를 공동 학습하며, 레이블된 데이터는 지도 학습에, 레이블되지 않은 데이터는 CPS를 통해 활용한다. 예측 안정성을 높이기 위해, 픽셀 단위 확률적 발산과 엔트로피 기반 신뢰도 정렬을 결합한 이중 합의 일관성 손실을 도입한다. 예측 수준에서만 합의를 강제하는 기존 CPS 방법과 달리, DACL은 분포 정렬과 불확실성 모두를 명시적으로 정규화함으로써 신뢰할 수 없는 의사 레이블을 억제하고, 극도의 어노테이션 부족 환경에서도 안정적인 크로스 아키텍처 의사 레이블 학습을 가능하게 한다. 또한 미믹스업(mixup) 기반 보간 일관성 전략을 레이블되지 않은 샘플에 적용하여 강건성을 향상시킨다. 레이블 데이터 5% 조건에서 DACL은 최신 반지도 방법 대비 Dice를 최대 2.77% 향상시키고 HD95를 최대 14.69 mm 감소시키며, 태아 두부 및 복부 데이터셋 모두에서 경계 정확도의 유의미한 개선을 보여준다. 이러한 결과는 어노테이션 효율적인 태아 US 분할을 위한 합의 기반 일관성 학습의 효과를 입증한다. 코드는 GitHub에 공개되어 있다.
μMatch: EM에서 준지도 학습 및 도메인 적응을 위한 파운데이션 모델
$μ$Match: Foundation Models for Semi-supervised Learning and Domain Adaptation in EM
비전 파운데이션 모델은 컴퓨터 비전(CV)을 크게 발전시켜, 제로샷 및 퓨샷 설정에서 최첨단 성능을 가능하게 했다. 이들은 컴퓨터 단층촬영(CT)에서의 장기 분할부터 광학 현미경에서의 세포 분할에 이르기까지 다양한 생의학 영상 과제에 성공적으로 적용되어 왔다. 전자현미경(Electron Microscopy, EM)은 나노미터 스케일의 해상도로 인해 세포 초미구조 분석의 핵심 영상 기법이다. 그러나 EM에서 파운데이션 모델의 적용은 지금까지 미토콘드리아와 같은 특정 세포소기관에 제한되어 왔으며, 이는 주로 분할 과제의 다양성과 포괄적으로 주석된 데이터의 부족 때문이다. 그 결과 EM 분할은 여전히 지도 학습에 주로 의존하며, 광범위한 수동 주석을 필요로 하고 초미구조 분석을 제한하고 있다. 이 공백을 해소하기 위해, 우리는 파운데이션 모델을 활용하는 준지도 학습 및 도메인 적응을 위한 프레임워크인 μMatch를 제안한다. 우리는 최첨단 학생-교사(student-teacher) 기반 방법을 구현하고, 미토콘드리아, 핵, 신경돌기(neurite) 분할을 포함한 도전적인 EM 과제에서 여러 파운데이션 모델(SAM, SAM2, μSAM, DINOv2/v3)을 평가한다. 우리 결과는 강력한 기준선 대비 일관된 성능 향상을 보여주며, EM에서 주석 작업 노력을 크게 줄이는 방향을 제시한다.
ARTEMIS: 불완전 지도 비디오 용종 분할을 위한 에이전트 안내 신뢰도 인식 시간적 마스크 진화
ARTEMIS: Agent-guided Reliability-aware Temporal Mask Evolution for Imperfectly Supervised Video Polyp Segmentation
불완전 지도 비디오 용종 분할(VPS)은 약한 어노테이션(점, 스크리블)과 소수의 밀집 라벨이 있는 프레임을 이용한 반지도 학습을 포함하여 저렴한 지도로부터 밀집하고 시간적으로 일관된 마스크를 학습하는 것을 목표로 합니다. 이 설정은 낮은 대비, 모호한 경계, 모션 블러, 반사 하이라이트로 인해 임상적으로 가치가 있지만 도전적이며, 희소한 픽셀 수준의 지도로 인해 더욱 복잡해집니다. SAM2는 희소한 입력으로부터 밀집 마스크를 생성할 수 있지만, 직접적인 의사 라벨링은 종종 경계 누출이 있는 기하학적 품질이 저하된 마스크를 생성하며, 시간적 일관성을 충분히 활용하지 못하고 신뢰도를 무시합니다. 이러한 문제를 해결하기 위해, 우리는 에이전트 안내 신뢰도 인식 시간적 마스크 진화에 의해 구동되는 불완전 지도 VPS를 위한 통합 프레임워크인 ARTEMIS를 제안합니다. ARTEMIS는 사용 가능한 지도로부터 거친 마스크를 초기화합니다: SAM2는 점/스크리블을 변환하고, 밀집 라벨은 신뢰할 수 있는 앵커로 사용됩니다. 토론-판단 비전-언어 에이전트(debate-and-judge vision-language agent)는 약한 지도 하에서 신뢰할 수 있는 시간적 앵커를 선택하며, 이는 신뢰할 수 없거나 라벨이 없는 프레임을 정제하기 위해 SAM2와 함께 양방향으로 전파됩니다. 마지막으로, ARTEMIS는 신뢰도 안내 참조 선택, 참조 프로토타입 전송 모듈(Reference Prototype Transport Module), 신뢰도 인식 강건 손실(reliability-aware robust loss)을 통합한 시간적 신뢰도 인식 강건 학습을 사용하여 분할기를 학습시킵니다. 이러한 구성 요소는 마스크 신뢰도를 평가하고, 시간이 지남에 따라 앵커를 진화시키며, 프레임 간에 타겟 정체성을 전송하고, 어려운 샘플을 제거하는 대신 노이즈가 있는 지도의 가중치를 낮춥니다. 스크리블, 점, 제한된 라벨 설정 하에서 SUN-SEG 및 CVC-ClinicDB-612에 대한 실험은 ARTEMIS가 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다. 코드는 https://github.com/wangtong627/ARTEMIS에서 공개될 예정입니다.
시각적 단서를 넘어: 반지도 의료 영상 분할을 위한 CoT 강화 추론
Beyond Visual Cues: CoT-Enhanced Reasoning for Semi-supervised Medical Image Segmentation
반지도 의료 영상 분할은 의료 영상 분석에서 주요 연구 문제로 부상했으며, 레이블이 없는 데이터에 대한 일관성 정규화를 활용하여 주석 부족 문제를 완화합니다. 그러나 기존 접근 방식은 주로 시각적 패턴 매칭을 통해 작동하며, 픽셀 수준의 유사도에 과도하게 의존합니다. 이러한 시각 중심의 의존성은 시각적으로 유사한 병변이 서로 다른 진단적 결론을 요구하는 시각-의미 불일치가 특징인 임상 시나리오에서 종종 실패하며, 이는 전문가가 사용하는 근본적인 진단 논리를 포착하지 못하게 합니다. 이를 해결하기 위해 우리는 시각적 단서를 넘어 CERS(CoT-Enhanced Reasoning Segmentation)를 제안합니다. 이 프레임워크는 병리학적으로 구별되는 사례를 식별하기 위해 사고의 연쇄(Chain-of-Thought, CoT) 추론을 통합합니다. 구체적으로, 우리는 대규모 언어 모델(LLM)이 생성한 언어적 추론 설명으로 풍부해진 지식 풀을 구축합니다. 과거 증거를 식별하기 위해 의미 인식 참조 선택 전략을 도입하여, 먼저 형태학적으로 후보를 필터링한 다음 CoT 일관성을 통해 이를 정제하여 하드 네거티브를 제거합니다. 또한, 추론에서 파생된 컨텍스트를 디코딩 과정에 효과적으로 융합하기 위해 다중 스케일 좌표 어텐션 모듈(MCAM)을 설계했습니다. 광범위한 실험을 통해 CERS가 최신 방법론 대비 우수함을 입증했으며, 특히 경계 모호성과 의미적 불일치를 해결하는 데 효과적임을 보여줍니다. 코드는 https://github.com/cymasuna/CERS에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.