약물 내성 간질에서 절제 수술 후 발작 없음(seizure freedom)을 달성하려면 발작성 영역(epileptogenic zone, EZ)을 정확히 식별하는 것이 필수적이지만, 발작 없음 비율은 여전히 50% 미만이다. 우리는 입체 뇌전두(stereo-electroencephalography, sEEG)를 이용한 EZ 식별을 위한 이중 파운데이션 모델 시스템 EpiiSLM을 개발했으며, Montreal Neurological Institute & Hospital의 sEEG 기록 104,990분으로 신호 파운데이션 모델을 학습하고, 수술 결과와 관계없이 모든 기록을 활용하며 비발작성 신호를 기준으로 EZ 바이오마커 추출을 수행했다. 언어 파운데이션 모델은 sEEG에서 파생된 출력을 다중양식 임상 정보와 통합하여 해석 가능한 예측을 생성한다. 환자 1명 제외(leave-one-patient-out) 평가에서 EpiiSLM은 접점(contact) 수준 양성 예측도(positive predictive value, PPV) 0.978을 달성했으며, 발작 개시 영역(seizure onset zone, SOZ)-as-EZ 기준선을 15.1% (p < 0.05) 능가했고 영역(region) 수준 정확도 100%를 기록했다. 외부 데이터셋에서는 접점 수준 PPV 0.857을 달성했다. EpiiSLM은 발작 간(interictal) 수면 데이터 하룻밤만 필요하므로, 침습적 sEEG 모니터링 기간 단축과 수술 결과 개선의 잠재력을 시사한다.
강화학습에서의 엔트로피 튜닝부터 생성적 적대 신경망의 평형화까지, 많은 핵심 기계학습 작업은 근본적으로 손실 최소화가 아니라 확률적 근 탐색 문제입니다. 하지만 이러한 문제가 종종 제곱 잔차를 통해 최소화 프레임워크로 강제되어, 우리가 분산 trap(Variance Trap)으로 식별한 치명적 결함이 도입됩니다. 표준 이중레벨 최소화 알고리즘은 암시적 야코비안을 포함하는 하이퍼그래디언트를 추정해야 하며, 확률적 설정에서는 이러한 항이 노이즈 증폭기로 작용하여 수렴을 불안정하게 만듭니다. 우리는 Root-Finding Bilevel Optimization(RF-BO)을 이 병리를 우회하는 독립적인 문제 클래스로 공식화합니다. 근 오차를 따라 직접 업데이트하여 분산 증폭을 구조적으로 회피하는 Two-Time-Scale Stochastic Approximation(TTSA)을 사용한 야코비안-자유 해법을 제안합니다. 마르코프 노이즈 하에서 이 설정에서 TTSA에 대한 최초의 비점근적 수렴 보장을 제공합니다. 광범위한 실험은 이 패러다임의 결정적 이점을 보여줍니다. 제곱 잔차 및 암시적 그래디언트 기준선과 비교하여, 우리 프레임워크는 SimCLR에서 top-1 정확도 2.6% 향상, 기준선이 실패하는 비선형 ODE 제어에서 17배 빠른 수렴, 강화학습에서 크게 개선된 엔트로피 안정성, 생성 모델링에서 11.1% 품질 향상을 달성합니다.
EEG, ECG, PPG와 같은 생리 신호는 임상 모니터링에 널리 활용된다. 최근 자기지도 학습(SSL) 방법은 레이블 없는 기록을 활용하는 매력적인 방안을 제시하지만, 실제 환경에서는 여전히 한계가 있다. 특히 현재 SSL 방법들은 이질적인 데이터셋에 걸쳐 적용 시 어려움을 겪으며, 임상적으로 의미 있는 구조를 왜곡하거나 시간적·채널 간 중복성으로부터 지름길(shortcut)을 학습하는 경우가 많다. 그 결과, 기존 SSL 방법들은 실제 의료 환경에 더 적합한 경량 적응 설정인 선형 프로빙(linear probing)에서 제한적인 성능을 보이는 경우가 많다. 또한 대부분의 트랜스포머 기반 SSL 모델은 평탄화된 시공간 토큰 시퀀스를 인코딩하여 높은 연산량과 메모리 비용을 초래하며, 일반적으로 단일 모달리티 내에서만 개발된다. 이러한 한계를 해결하기 위해, 우리는 생리 신호를 위한 단일 토큰 전역 병목(global bottleneck)을 도입하는 압축-재구성 사전학습 프레임워크인 SPOTR(Spatio-temporal Pooling One-Token Reconstruction)를 제안한다. SPOTR는 각 파형을 단일 토큰 표현으로 압축하고, 오직 이 표현에만 조건화하여 신호를 재구성한다. 아울러 SPOTR는 연산량과 메모리 비용을 줄이기 위한 효율적인 시공간 압축 모듈을 도입한다. EEG, iEEG, ECG, PPG를 아우르는 20개 데이터셋에서 사전학습된 SPOTR는 선형 프로빙 하에서 가장 강력한 기준선 대비 일관되게 우수한 성능을 보이며, 평균 AUC를 각각 18.49%, 21.71%, 17.86%, 4.64% 향상시킨다. 대표적인 범용 시계열 파운데이션 모델과 비교했을 때, SPOTR는 평균적으로 약 78% 낮은 지연 시간과 52% 낮은 피크 GPU 메모리를 달성한다. 코드는 https://github.com/5GYYYYY/SPOTR 에서 확인할 수 있다.
지도 학습은 대량의 레이블 데이터를 요구하며, 이는 비용이 크고 도메인별 전문 지식에 의존하는 병목이다. 자기지도 학습(self-supervised learning), 특히 대조 학습(contrastive learning)은 레이블 없는 데이터로부터 직접 풍부한 표현 학습(representation learning)을 가능하게 하는 매력적인 대안으로 등장했다. 그러나 그 성공은 긍정(positive) 및 부정(negative) 샘플 쌍 설계에 결정적으로 달려 있다. 시계열을 위한 기존 접근법은 강한 도메인 가정을 내재하는 수작업 증강(augmentation)과 마스킹 휴리스틱에 의존하여, 다양한 시간적 패턴에 걸친 일반화를 종종 제한하고 잠재적으로 허위 상관(spurious correlations)을 도입할 수 있다. 본 연구에서는 단순하고 결정적인(deterministic) 뷰 구성을 통해 시간적 시프트 불변성(temporal shift invariance)을 명시적으로 인코딩하는 것만으로도 시계열 분류를 위한 강력한 표현을 학습하기에 충분함을 보임으로써 이러한 패러다임에 도전한다. 시간적 구조를 활용하여, 우리 방법인 Shift Invariant Feature Training(ShiFT)은 UCR 및 UEA 아카이브뿐만 아니라 여섯 개의 다양한 실세계 시계열 벤치마크 데이터셋에서 최고 수준의 성능을 달성하면서 학습 시간을 단축한다. 실증적 성능을 넘어, 시계열 환경에서 대조 학습 역학을 체계적으로 분석하고, 배치 크기와 부정 샘플 수가 하류(downstream) 성능에 미치는 영향을 조사한다. 우리의 발견은 시계열 표현 학습을 위한 효율적인 대조 학습 프레임워크 설계에 실용적인 통찰을 제공한다. 소스 코드는 https://github.com/sfi-norwai/ShiFT 에서 공개적으로 이용 가능하다.
파운더션 모델은 의료 질의응답, 의료 영상, 전자 건강 기록(EHR) 과제 전반에서 뛰어난 성능을 달성했지만, 해석 가능성의 제한, 분포 이동(distribution shift)에 대한 취약성, 임상의 추론과의 약한 정렬(alignment)로 인해 신뢰할 수 있는 임상 배포는 여전히 어렵다. 우리는 이러한 한계가 기존 접근법이 표현 학습(representation learning)을 우선시하는 동시에 환자 비교를 임상적 증거의 핵심 원천이 아니라 창발적(emergent) 속성으로 취급하기에서 비롯된다고 주장한다. 이 공백을 해소하기 위해, 우리는 학습 파이프라인 전반에서 환자 코호트를 일급(first-class) 객체로 격상하는 코호트-고정 파운더션 모델(Cohort-Anchored Foundation Model, CAFM) 프레임워크를 제안한다. 이 프레임워크는 네 단계로 구성된다: 편차 인식(deviation-aware) 데이터 큐레이션, 코호트 조건 사전학습(cohort-conditioned pretraining), 멀티모달 코호트 정렬(multimodal cohort alignment), 임상의 참여(clinician-in-the-loop) 정제. 이 단계들은 함께 데이터 품질을 향상시키고, 표현을 임상적으로 의미 있는 코호트 구조를 중심으로 조직하며, 모달리티별 관계를 보존하고, 감사 가능한(auditable) 임상 의사결정을 지원한다. 이 프레임워크는 구성적(compositional)이며, 기존 EHR 파운더션 모델의 기반 인코더를 수정하지 않고 확장할 수 있다. 우리는 급성 신장 손상 예측, 심전도(electrocardiogram) 기반 심혈관 위험 계층화, 안와(orbital) 영상 기반 시신경(optic neuropathy) 분류, 전자안전막(electroretinogram) 기반 보고서 생성에 이르는 네 가지 임상 사례 연구를 통해 CAFM을 설명한다. 또한 다섯 가지 경험적으로 검증 가능한 가설을 제시하고, 데이터 품질, 불규칙적 시간성, 멀티모달 학습, 분포 이동, 예측 정확도를 넘어선 평가에서의 열린 과제를 식별한다. 우리는 파운더션 모델을 환자 코호트에 명시적으로 고정하는 것이 신뢰할 수 있는 임상 AI로 가는 원칙적 경로를 제공한다고 주장한다.
Zhang et al. (2024)의 Categorical Jacobian(CJ)은 언어 모델에서 모든 잔기를 다른 아미노산으로 교란하여 단백질 접촉을 읽어내며, 이에 약 19L회의 순전파가 필요하다. 우리는 CJ가 재구성하는 신호가 이미 소수의 어텐션 헤드에 집중되어 있음을 보인다. 접촉 관련 상위 K개 헤드를 평균하면—레이블이 붙은 단백질 10개만으로도 선택 가능—단일 순전파로 접촉을 복원할 수 있으며, CJ가 정의되는 모든 양방향 모델에서 leakage-clean 데이터상 CJ를 능가하고, in-distribution에서는 동등하거나 CJ를 능가한다(예외는 가장 작은 8M 모델과 ESM Cambrian에서의 통계적 동률). 소거 실험은 이득이 평균화가 아니라 레이블 기반 헤드 선택에 기인함을 보여준다. 동일한 레이블 예산에서 가중치 없는 평균은 동일 헤드에 대한 지도 L1 로지스틱 회귀와 동률이므로, 매개변수 없는 평균은 선택의 최소 형태일 뿐 우위의 원천이 아니다. 주 평가는 leakage-clean이다. 선택과 평가 모두 모델이 암기했을 가능성이 있는 데이터에 접촉하지 않는 CAMEO 분할에서, 헤드 readout은 ESM-2-650M에서 CJ보다 +9%p(N=29, p<0.001) 우수하며, 사전학습 인식(pretraining-aware)이 더 넓은 설정에서 모델 내 마진이 아키텍처 전반에 재현된다. 두 방법 모두 in-distribution Zhang 수치에서 leakage-clean 수치까지 30–36%p 하락하며, 이는 상당한 사전학습 중복이 기존 수치를 부풀렸다는 것과 일치한다(CAMEO 대 Zhang 난이도 차이도 기여하므로, leakage 성분에 대한 상한으로 해석한다). 추가로 마스크드 LM 헤드가 없는 아키텍처를 위한 야코비안의 은닉 상태 일반화인 representation-CJ를 제안하고, 최적 K가 모델이 접촉 헤드를 얼마나 분산 배치하는지를 반영함을 보이며, 테스트한 두 인과적 언어 모델(ProGen2) 모두에서 두 방법이 접촉 신호를 잃음을 확인하였다. 이는 어텐션에 인코딩된 쌍(pair) 구조가 양방향 사전학습에 의존할 수 있음을 시사한다.
텐서 분해(TF)는 고차원 희소 데이터 완성 과제에 널리 활용되어 왔다. 상당한 진전에도 불구하고, 신경망 기반 TF 방법들은 복잡한 모드 간 상호작용을 포착하는 데 어려움을 겪으며, (극단적인) 데이터 희소성에 취약한 상태로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 그룹 수준 대조 학습을 결합한 이중 어텐션 합성곱 전문가 네트워크(DCGC)라는 새로운 신경망 기반 텐서 분해 방법을 제안한다. 첫 번째 문제에 대해, DCGC는 다중 채널 합성곱 네트워크를 통해 잠재 요인의 다양한 비선형 정렬 패턴을 생성하고, 게이팅된 이중 어텐션 메커니즘을 활용하여 모델이 더 중요한 출력 채널(즉, 합성곱 전문가)과 정렬된 특징에 집중하도록 유도한다. 또한, DCGC는 동일한 피드백 수준의 긍정 샘플을 집계하면서 서로 다른 수준의 부정 샘플을 분리하는 그룹 수준 대조 학습 전략을 도입한다. 이 전략은 고품질의 자기 지도 신호를 주입하여 데이터 희소성을 완화한다. 다섯 개의 데이터셋에서 수행된 광범위한 실험을 통해, DCGC가 교통 및 추천 애플리케이션에 대한 희소 텐서 완성에서 최신 기법들을 능가함을 입증한다. 논문의 실험 결과를 재현하기 위한 코드는 https://github.com/ku1z/DCGC 에서 확인할 수 있다.
많은 머신러닝 응용 프로그램은 예측을 위해 이종 이벤트 스트림에 의존하는데, 이벤트가 도착하는 시점에 인과적으로 처리하거나 완전한 시퀀스에 대해 양방향으로 처리한다. 우리는 이벤트 유형별 테이블형 인코더와 시간 및 유형 임베딩을 결합하고, 인과적 또는 양방향 트랜스포머로 처리하는 계층적 아키텍처인 SOHET(Sequence Of Heterogeneous Events Transformer)를 제안한다. 인과적 설정을 위한 세 가지 자기지도 사전학습 목표를 도입한다. 17가지 이벤트 유형을 포함하는 Booking.com의 대규모 실세계 사기 탐지 과제에서 SOHET은 FlexTPP, NAPPT, CIPPT보다 5.8% 높은 성능을 보인다. 사전학습은 추가로 2.6%의 성능 향상과 2.4% 빠른 수렴을 달성한다. EBES 벤치마크에서 양방향 SOHET은 8개 과제 중 6개에서 기존 공개된 최고 성능과 동등하거나 이를 초과한다.
뇌전도(EEG)와 심전도(ECG)와 같은 의료 시계열(MedTS) 신호는 많은 임상 응용을 지원한다. 그러나 상당한 피험자 수준의 이질성은 종종 피험자 수준의 분포 이동을 유발하여, 고정된 매개변수 집합이 보지 못한 개인에게 일반화를 잘 하지 못하게 한다. 추가 적응 구성요소나 타깃 배치 통계에 의존하는 도메인 적응(domain adaptation) 방법과 비교하면, 테스트 타임 학습(TTT)은 라벨 없는 테스트 샘플로부터 온라인 적응을 가능하게 함으로써 순차 임상 데이터에 더 실용적인 해결책을 제공한다. 그러나 많은 대표적인 TTT 방법은 반복적인 내부 루프 최적화를 요구하여 테스트 시간 오버헤드를 증가시킨다. 본 논문에서는 의료 시계열 모델링을 위한 테스트 타임 학습 프레임워크인 MedTS-TTT를 제안한다. MedTS-TTT는 폐루프 자기 정렬 테스트 타임 학습(CLSA-TTT)과 게이티드 합성곱 백본(GCB) 위에 구축된다. CLSA-TTT는 토큰 수준의 자기지도 학습 목표를 구성하고, 층 내 폐루프 정렬을 위해 단일 단계 빠른 가중치 업데이트를 수행하여, 반복적인 내부 루프 최적화 없이 빠른 샘플별 적응을 가능하게 한다. GCB는 국소 동적 모델링과 정보 흐름 제어의 균형을 맞추기 위해, 게이티드 합성곱 분기와 CLSA-TTT 기반의 빠른 적응 및 토큰 수준 융합을 결합한다. 피험자 독립 분할을 적용한 4개의 공개 데이터셋(EEG 2개, ECG 2개)에서 MedTS-TTT는 9개 베이스라인과 3개 지표에 걸친 12회 평가 중 11회 1위를 달성한다. 코드는 https://github.com/mingzhi-c/MedTS-TTT 에서 공개적으로 이용할 수 있다.
무선 파운데이션 모델은 6세대(6G) 시스템을 위한 재사용 가능한 채널 상태 정보(CSI) 인텔리전스로 나아가는 경로를 제공한다. 그러나 기존의 일반적인 백본 적응 및 CSI 사전학습 방법들은 CSI를 전파 조건부 채널 응답이 아닌 태스크 텐서로 처리하는 경우가 많아, 무선 환경의 본질적인 시간-주파수-공간 기하학적 특성을 포착하지 못한다. 본 논문은 CSI 네이티브 파운데이션 모델을 향한 채널 적응형 로드맵을 제시하며, 사전학습, 위치 모델링, 어텐션 제어를 세 가지 채널 요구사항인 스케일 인식 이기종 노출, 물리적 시간-주파수-안테나 좌표, 상관관계 경계 토큰 상호작용과 정렬하는 통합 프레임워크를 제안한다. 광범위한 실험을 통해 제안된 프레임워크가 세 가지 차원에서 우수성을 입증한다: 제로샷 일반화의 경우 공간-시간-주파수 태스크에서 NMSE를 4 dB 이상 감소시키고; 스케일 외삽의 경우 8배 미확인 안테나 스케일링에서 최대 5.4 dB의 이득을 제공하며; 추론 효율성의 경우 이동성 인식 처리를 최대 18.8% 가속화한다. Sionna SYS를 이용한 시스템 수준 평가에서는 제안된 프레임워크가 밀집 파일럿 오버헤드의 7.01%만 사용하고, 평균 NMSE -18.64 dB에 도달하며, 밀집 LMMSE 대비 평균 순 스펙트럼 효율을 36.6%, WiFo 대비 15.5% 향상시킴으로써, CSI 네이티브 표현 학습이 파일럿 효율적인 무선 접속을 지원할 수 있음을 나타낸다.
기존 무선 네트워크는 순간 채널 상태 정보(CSI)에 의존하며 물리적 환경을 명시적으로 모델링하지 않고 채널 변동에 반응하기 때문에, 동적 배치에서 차단(blockage), 이동성(mobility), 간섭(interference)을 처리하는 능력이 제한된다. 통합 감지 및 통신(Integrated Sensing and Communication, ISAC)과 같은 패러다임은 감지(sensing) 기능을 추가하지만 명시적인 환경 모델링과 의사결정이 부족하다. 본 논문에서는 Physical-AI를 제안한다. 이는 데이터 전송 외에도 무선 신호가 환경에 대한 감지, 모델링, 상호작용을 가능하게 하는 환경 인지 무선 네트워킹을 위한 새로운 아키텍처이다. 이 프레임워크는 분산 무선 관측을 공유 잠재 환경 표현으로 변환하기 위한 자기지도 학습(self-supervised) 시공간(spatiotemporal) 무선 파운데이션 모델을 제안한다. 다수의 추론 헤드(inference head)가 이 표현 위에서 동작하여 차단, 사용자 분포, 이동성 역학, 간섭 구조 등 핵심 환경 특성을 추정한다. 과제별(task-specific) 신경망 의사결정 층이 이 표현을 선제적이고 컨텍스트 인지(context-aware) 제어 동작으로 매핑한다. 지각(perception), 세계 모델링(world modeling), 의사결정을 폐루프(closed loop)로 통합함으로써, 제안 프레임워크는 ISAC을 넘어 Physical-AI를 지능형 6G 시스템을 위한 유망한 아키텍처로 자리매김한다. 시뮬레이션 결과는 제안된 예측 프레임워크가 특히 빔 전환(beam-switching) 지연이 증가할수록 서비스 중단(outage) 확률과 차단 대응 지연시간을 감소시킴을 보여준다.
의료 영상 분석에서 이상 탐지는 필수적이며, 병리학적 영역은 종종 정상 해부학적 구조로부터 드문 편차로 나타난다. 학습 기반 방법은 유망한 성능을 달성했지만, 과제별 최적화와 광범위한 정상 데이터를 요구하여 모달리티와 기관 간 확장성을 제한한다. 학습 불필요 접근법은 사전학습된 시각 표현을 활용하여 더 큰 유연성을 제공하지만, 기존 방법은 일반적으로 단순한 최근접 이웃 검색과 단순한 집계 전략에 의존하여 계층적 의미를 포착하지 못하고 다중 이상 반응의 신뢰성을 무시할 수 있다. 본 연구에서는 학습 불필요 의료 이상 탐지를 위한 DINOv3 기반 계층적 매칭 프레임워크인 HiMatch-AD를 제안한다. 우리 방법은 먼저 전역 CLS 토큰 유사성과 패치 수준 표현을 함께 고려하는 이중 분기 매칭을 통해 의미적으로 관련된 정상 참조를 검색한다. 그다음 클러스터링된 정상 특징과 쿼리 표현을 비교하여 여러 트란스포머 단계에 걸쳐 계층적 이상 맵을 생성한다. 이상 반응을 견고하게 집계하기 위해, 신뢰성에 따라 맵에 적응적으로 가중치를 부여하는 통합 불확실성 기반 융합 메커니즘을 도입한다. 전체 프레임워크는 어떠한 과제별 학습도 없이 동작한다. 뇌 MRI, 간 CT, 망막 OCT 데이터셋을 포함한 BMAD 벤치마크에 대한 광범위한 실험은 HiMatch-AD가 학습 기반 및 DINO 기반 최신(state-of-the-art) 방법 모두를 일관되게 능가함을 보여주며, 이는 확장 가능한 의료 이상 탐지를 위한 다수준 매칭과 불확실성 인식 융합의 효과를 강조한다.
태아 생체계측(fetal biometry)을 위한 자동화된 프레임 선택은 여전히 충분히 다루어지지 않으며, 대부분의 선행 연구는 일반적인 품질 평가 또는 적합한 프레임이 이미 사용 가능하다고 가정하는 하류 측정 파이프라인을 대상으로 한다. 본 연구는 FetSelect를 제안하는데, 이는 고정된 비전 파운데이션 백본과 하이브리드 다중 헤드 설계를 결합한 작업별 프레임워크이다: Task-Gated 분류 헤드와 Detection 기반 품질 헤드를 학습된 융합(learned fusion)으로 결합한다. Crown-Rump Length(CRL), Nuchal Translucency(NT), Nasal Bone(NB), Scalebar 네 가지 타깃에 걸쳐 전문가 라벨이 붙은 6,486개 프레임을 큐레이션하고, 19,019개의 비라벨 이미지에 BYOL 사전학습(pretraining)으로 백본을 적응시킨다. 보류 테스트 집합(974 프레임)에서 FetSelect는 전문가 품질 주석과 평균 AUROC 0.956, 평균 상관계수 0.818을 달성한다. 절제 실험(ablation)은 하이브리드 융합이 단일 헤드 변형을 능가함을, 초음파 특화 자기지도(self-supervision)가 일관된 향상을 가져옴을 확인한다. 외부 임상 동영상과 509장의 외부 CRL 이미지에 대한 평가는 작업별 변별력을 보여준다.
유방촬영 검사(screening mammograms)에서의 유방 동맥 석회화(BAC)는 새롭게 부상하는 심혈관 위험 바이오마커이지만, 정량적 활용에는 재현 가능한 분할이 필요하고 전문가의 픽셀 수준 라벨은 비용이 큽니다. 본 논문은 BAC-JEPA를 제시합니다. 이는 정확한 마스크와 함께 실제 유방촬영 배경에 절차적으로 생성된 동맥 석회화를 삽입한 데이터로 학습한 라벨 효율적 분할 프레임워크입니다. 후보 배경은 예측 BAC 반응이 낮은 모델 스크리닝 유방촬영 영상에서 선별되었으며, 생성기는 동맥 구조, 질병 부담, 방사선학적 소견, 비동맥성 석회화와 금속 물체를 포함한 hard-negative 방해 요소를 샘플링합니다. 합성 마스크는 유방촬영 자기지도 Vision Transformer 인코더와 고해상도 컨벌루션 디코더와 결합하여 전체 해상도 분할 맵을 생성합니다. 본 연구는 34,956명 환자의 75,472건 유방촬영 검사를 배경 선별 및 표현 학습에 사용하고, 10,000개 배경에서 생성한 합성 이미지로 학습하여, 1,000개 개발 배경으로 체크포인트를 선별했으며, 사람이 라벨링한 BacSeg 합성 2D 유방촬영 1,000건 전체에서 전이를 평가했습니다. 보류된 합성 검증 데이터에서 더 큰 백본은 IoU 0.5325, Dice 0.6357을 달성했습니다. BacSeg에서는 분할 확률 맵으로부터의 이미지 수준 분류가 AUROC 0.8719를 달성했고, 더 작은 백본은 0.8547을 기록했습니다. 4뷰 추론은 RTX 5090 GPU에서 110.68--213.63 ms가 소요되었고, severe-preset 합성 이미지 생성은 멀티코어 워크스테이션에서 이미지당 평균 2.7071 s였습니다. 이러한 결과는 BAC 특화 합성 감독이 인간의 픽셀 수준 학습 마스크 없이도 유용한 이미지 수준 전이를 달성할 수 있음을 보여주며, 전문가 검토 실제 유방촬영 분할은 임상 검증 및 보정을 위해 여전히 필요합니다.
비전 파운데이션 모델은 컴퓨터 비전(CV)을 크게 발전시켜, 제로샷 및 퓨샷 설정에서 최첨단 성능을 가능하게 했다. 이들은 컴퓨터 단층촬영(CT)에서의 장기 분할부터 광학 현미경에서의 세포 분할에 이르기까지 다양한 생의학 영상 과제에 성공적으로 적용되어 왔다. 전자현미경(Electron Microscopy, EM)은 나노미터 스케일의 해상도로 인해 세포 초미구조 분석의 핵심 영상 기법이다. 그러나 EM에서 파운데이션 모델의 적용은 지금까지 미토콘드리아와 같은 특정 세포소기관에 제한되어 왔으며, 이는 주로 분할 과제의 다양성과 포괄적으로 주석된 데이터의 부족 때문이다. 그 결과 EM 분할은 여전히 지도 학습에 주로 의존하며, 광범위한 수동 주석을 필요로 하고 초미구조 분석을 제한하고 있다. 이 공백을 해소하기 위해, 우리는 파운데이션 모델을 활용하는 준지도 학습 및 도메인 적응을 위한 프레임워크인 μMatch를 제안한다. 우리는 최첨단 학생-교사(student-teacher) 기반 방법을 구현하고, 미토콘드리아, 핵, 신경돌기(neurite) 분할을 포함한 도전적인 EM 과제에서 여러 파운데이션 모델(SAM, SAM2, μSAM, DINOv2/v3)을 평가한다. 우리 결과는 강력한 기준선 대비 일관된 성능 향상을 보여주며, EM에서 주석 작업 노력을 크게 줄이는 방향을 제시한다.
일반화 범주 발견(GCD)은 레이블 없는 데이터에서 기존 범주를 분류하고 새로운 범주를 발견하는 것을 목표로 한다. 최근 멀티모달 접근법들은 검색되거나 합성된 텍스트를 듀얼-브랜치 아키텍처에 도입하여 시각적 특징을 보완하는 의미적 단서를 제공한다. 그러나 기존 듀얼-브랜치 방법의 크로스모달 시너지는 여전히 거칠고 불완전하다. 두 모달리티는 독립적으로 인코딩되며, 인코딩 과정에서 도출된 텍스트의 바이어스와 노이즈가 해결되지 않은 채 남아 있고, 기존 상호 학습 전략은 전역적인 클래스 수준 앵커에서만 작동하여 세밀한 관계적 감독이 부족하다. 이러한 한계를 해결하기 위해, GET 및 TextGCD와 같은 기존 듀얼-브랜치 방법과 호환되는 플러그 앤 플레이(plug-and-play) 향상으로 작동하는 시너지적 듀얼-브랜치 적응(SDBA) 프레임워크를 제안한다. SDBA는 두 가지 구성 요소로 이루어진다. 크로스모달 시너지 어댑터는 두 분기 모두에 경량 어댑터를 삽입하고, 각 인코더 층에서 텍스트 어댑터에 시각 정보를 추가로 주입하여 인코딩 중 텍스트 특징 학습을 향상시킨다. 이웃 상호 학습 모듈은 양방향 KL 발산(KL divergence)을 통해 두 분기 간 일관된 지역 이웃 분포를 강제하여, 기존 및 새로운 클래스 모두에 세밀한 관계적 감독을 제공한다. 6개 벤치마크에 대한 광범위한 실험은 최신(state-of-the-art) 성능을 보여주며, 다양한 베이스라인에서의 일관된 개선은 제안 프레임워크의 광범한 확장성을 검증한다.
감독 비디오 사전학습은 하위 동작 인식 성능 향상을 위한 일반적인 전이학습 관행이다. 그러나 대규모 라벨이 있는 소스 데이터셋이 필요하며, 학습된 초기화의 효과는 소스와 타깃 도메인 간 유사성의 영향을 받는다. 서로 다른 타깃 도메인을 위한 이러한 라벨 있는 사전학습 데이터셋을 구축하는 것은 비용이 많이 들고 확장하기 어렵다. 이러한 한계를 해결하기 위해, 본 연구는 어노테이션 없는 비디오 사전학습과 타깃 라벨 집합 인식 미세조정을 결합한 라벨 효율적 비디오 학습 프레임워크를 제안한다. 사전학습 과정에서 비전-언어 모델(VLM)이 라벨 없는 비디오의 텍스트 설명을 생성하며, 이를 처리하여 해석 가능한 의미적 의사 라벨 공간을 구축한다. 그다음 고정된 비디오-언어 모델이 이 공간 위에서 제로샷 소프트 타깃 분포를 생성하여, 학생(student) 비디오 인코더가 수동 소스 어노테이션 없이 의미적으로 풍부한 표현을 학습할 수 있게 한다. 하위 적응 단계에서는 타깃 라벨 집합 인식 미세조정이 라벨 있는 타깃 비디오에 대한 감독 학습과 실제 타깃 라벨 집합에 대한 제로샷 증류를 결합하여, 사전학습된 인코더를 타깃 과제에 적응시키는 동시에 VLM에서 유래한 의미적 지침을 보존하도록 돕는다. UCF101과 HMDB51에서의 실험은 제안 프레임워크가 모든 평가된 제한 라벨 체제에서 비교된 준감독 비디오 동작 인식 방법들을 능가함을 보여준다. 또한 어노테이션 없는 사전학습 단계는 비교적 적당한 규모의 라벨 없는 사전학습 풀에 의존함에도 불구하고, 전체 데이터 미세조정을 위한 효과적인 초기화를 제공하는 전이 가능한 표현을 학습한다.
Casper3D는 노이즈가 있는 다중 시점(multi-view) 2D 파운데이션 모델 임베딩을 잠재 3D 의미 표현으로 변환하는 경량 확률적 프레임워크입니다. 시점 수준의 의미 특징을 근본 3D 의미 상태에 대한 노이즈 관측으로 모델링하고, 다중 시점 추론 중 상대 포즈(relative pose)를 통합하는 집합 기반 변분 모델(set-based variational model)로 이 상태를 추론합니다. Casper3D는 새로운 시점에서 보류된(hold-out) 의미 관측을 예측하는 방식으로 학습되며, 개방 어휘(open-vocabulary) 3D 이해를 위해 시각 및 텍스트 의미 공간과의 정렬을 유지합니다. 이 프레임워크는 백본에 독립적(backbone-agnostic)이며, 언어 정렬(language-aligned) 임베딩과 자기지도(self-supervised) 임베딩 모두에 적용됩니다. 실험 결과, Casper3D는 특히 모호하고 노이즈가 있는 환경에서 단순 다중 시점 풀링보다 더 안정적인 3D 의미를 생성함을 보여줍니다.
공간 전사체학(spatial transcriptomics, ST)의 높은 비용으로 인해 H&E 조직학 이미지로부터 유전자 발현을 직접 예측하는 연구가 광범위하게 진행되어 왔다. 그러나 이 예측 과제에는 조직 형태학만으로는 기저 유전자 발현을 완전히 규명하기에 정보가 불충분하다는 본질적인 한계가 있다. 이 한계를 해결하기 위해 최근 연구는 조직학 이미지와 함께 부분적인 유전자 발현을 예측 과정의 안내 신호로 활용한다. 이러한 패러다임을 기반으로, 우리는 예측 과제를 공간 대치(spatial imputation) 문제로 접근하며, 마스크드 오토인코더(MAE)를 사용하여 소량의 유전자 발현을 전체 슬라이드 유전자 발현 프로파일을 추론하기 위한 유전적 앵커(genetic anchors)로 활용한다. 구체적으로, 우리는 생물학적 현저성(bio-saliency) 점수와 순위 학습(learning-to-rank) 전략을 제안하여 조직 내에서 가장 정보가 풍부한 spot을 적응적으로 식별한다. 식별된 spot을 바탕으로, 우리 프레임워크는 실제 ST 프로파일링 하드웨어에 적합하도록 연속 영역을 유전적 앵커로 선택한다. 이러한 앵커를 효과적으로 활용하기 위해, 우리는 시각 및 유전 모달리티를 통합하는 교차 모달 공동 인코더를 설계한다. 대조 학습(contrastive learning)을 통해 선택된 앵커와 해당 시각 특징을 정렬함으로써, 인코더는 전체 슬라이드에 걸친 유전자 발현을 정확히 예측할 수 있는 견고한 공동 표현을 생성한다. 특히 우리 프레임워크는 조직학 전용 예측과 공간 대치 모두에서 기존 방법들을 일관되게 능가하며, 유전적 앵커 없이도 우수한 정확도를 달성하고 전사체학(transcriptomic) 커버리지가 10%에 불과한 경우에도 더욱 뛰어난 성능을 보인다. 코드는 https://github.com/Kyyle2114/CAMMST 에서 제공된다.
단일 샷 줄무늬 투영 윤곽법(FPP)은 실시간 측정, 동적 객체 재구성, 움직임에 민감한 환경을 위해 활발히 연구되었다. 복합 줄무늬 패턴은 단일 샷 FPP에서 유리한데, 하나의 패턴에 여러 주파수 성분을 인코딩할 수 있어 위상 모호성 해결이 가능하기 때문이다. 기존 접근법은 주로 푸리에 변환 기반 방법이나 지도 학습 심층 학습 방법에 의존한다. 하지만 푸리에 변환 기반 방법은 정확도가 제한되고 복잡한 영역에서 성능이 저하되는 경우가 많으며, 지도 학습 방법은 dense 위상 또는 깊이 라벨이 필요하고 이를 획득하는 비용이 크다. 본 연구에서는 위상 또는 깊이 라벨이 필요 없이 단일 샷 복합 줄무늬 패턴을 위한 자기지도 위상 정제 프레임워크를 제안한다. 제안 방법은 저주파수와 고주파수 위상 기울기 사이의 크기 및 방향 관계를 활용하여 위상 분리의 신뢰성을 높인다. 또한 객체 경계와 세밀한 기하 구조를 보존하기 위해 소프트 에지 일관성 손실을 도입한다. 실험 결과, 제안 방법은 MAE_z와 RMSE_z가 각각 0.367 mm와 1.804 mm를 달성하여, 0.402 mm와 2.785 mm를 얻는 최고 성능의 변환 기반 기준선을 능가했다. 제안 방법은 또한 유효 픽셀 비율을 84.75%에서 95.07%로 향상했다. 이 결과는 ground-truth 라벨 지도 없이도 신뢰할 수 있는 단일 샷 3D 재구성을 위해 자기지도 이중 주파수 위상 정제의 효과를 보여준다.