심혈관 질환의 진단과 치료는 심전도(electrocardiogram), 심초음파(echocardiography), 흉부 X선(chest X-rays)과 같이 심장 병태생리의 서로 다르지만 상호보완적인 측면을 포착하는 상호보완적 모달리티들의 통합에 기반합니다. 그러나 대부분의 의료 파운데이션 모델은 여전히 특정 모달리티에 국한되어 있으며, 파인튜닝(fine-tuning)이나 사후 학습(post-training) 단계에서만 모달리티들을 결합합니다. 이는 임상의들이 자연스럽게 통합하는 교차 모달 증거를 버리고 각 모달리티 내부의 구조를 무시합니다. 본 논문에서는 자기지도 사전학습(self-supervised pre-training) 과정에서 환자 수준의 표현을 공동으로 학습하는 다중모달(multimodal) 구조 인식 마스크 오토인코더인 Latent-Attention Masked Autoencoder(LAMAE)를 제안합니다. 사후에 모달리티를 융합하는 대신, LAMAE는 검사-뷰-개체(study-view-entity) 계층 구조에 걸쳐 작동하는 공유 잠재 어텐션(latent-attention) 모듈을 통해 잠재 공간에서 직접 정보를 교환함으로써 다양한 관찰 결과의 집계와 누락된 모달리티 처리를 가능하게 합니다. 50만 건 이상의 MIMIC-IV 입원 기록을 대상으로 사전학습된 LAMAE는 원내 사망률, ICD-10 및 DRG 코딩, 입원 기간과 같은 다중모달 입원 과제 전반에서 모달리티별 사전학습과 강력한 대조 학습 및 비전-언어 베이스라인을 능가하는 동시에, 단일 모달 과제에서도 경쟁력 있는 성능을 유지합니다. 이러한 구조를 모델링하는 것은 단일 모달리티 내에서도 효과를 발휘하여, 교차 모달 정보가 없더라도 잠재 어텐션 모듈은 모달리티별 사전학습 대비 표현력을 향상시킵니다.
신생아의 약 10%는 출생 시 호흡을 시작하기 위해 도움이 필요하며, 약 5%는 인공호흡 지원이 필요합니다. 태아 심박수(FHR) 모니터링은 산전 관리 중 태아의 건강 상태를 평가하는 데 중요한 역할을 하며, 이상 패턴을 감지하고 분만 중 태아 위험을 완화하기 위한 적시의 산과적 개입을 지원합니다. 다양한 결과를 수반하는 대규모 연속 FHR 모니터링 에피소드 데이터셋을 분석하기 위해 인공지능(AI) 기법을 적용하면, 호흡 지원 또는 개입이 필요할 위험을 예측하는 새로운 통찰을 제공할 수 있습니다. 최근 웨어러블 FHR 모니터의 발전으로 임산부의 이동성을 저해하지 않으면서도 지속적인 태아 모니터링이 가능해졌습니다. 그러나 산모의 움직임에 따른 센서 위치 이탈뿐만 아니라 태아 또는 산모의 자세 변화로 인해 신호 드롭아웃이 자주 발생하며, 이는 기록된 FHR 데이터의 결측으로 이어집니다. 이러한 결측 데이터는 유의미한 통찰 도출을 제한하고 자동화된(AI 기반) 분석을 복잡하게 만듭니다. 단순 보간 기법과 같은 결측 데이터 처리의 전통적인 접근법은 신호의 주파수 특성을 보존하지 못하는 경우가 많습니다. 본 논문에서는 데이터의 국소적 시간 및 주파수 성분을 모두 포착하여 결측된 FHR 신호를 재구성하는 마스크드 트랜스포머(masked transformer) 기반 오토인코더 접근법을 제안합니다. 제안된 방법은 다양한 결측 데이터 기간에 걸쳐 견고성을 입증하며 신호 인페인팅 및 예측에 사용될 수 있습니다. 제안된 접근법은 연구 데이터셋에 소급 적용되어 AI 기반 위험 알고리즘의 개발을 지원할 수 있습니다. 향후에는 제안된 방법을 웨어러블 FHR 모니터링 기기에 통합하여 더 조기에 보다 견고한 위험 감지를 달성할 수 있을 것입니다.
보행 분석은 보행 기능에 대한 객관적인 특성화를 제공하며, 신경계 및 정형외과적 질환 전반에 걸친 진단 및 재활 모니터링을 지원하는 데 널리 활용됩니다. 이 분야에 심층 학습(deep learning)의 적용이 점차 확대되고 있으나, 대부분의 접근법은 질환 라벨이 부착된 데이터로 학습된 지도 분류기에 의존하여 이질적인 병적 양상에 대한 일반화가 제한적입니다. 본 연구의 방법론적 목표는 마커리스 멀티 카메라 모션 캡처 시스템으로 획득한 성인 150명의 규범적 보행 시퀀스만으로 학습된 트랜스포머(Transformer) 마스크드 오토인코더를 기반으로, 관절 수준의 이상 탐지 및 운동학적 교정을 수행하는 무라벨(label-free) 프레임워크를 개발하는 것입니다. 추론(inference) 시에는 병적 상태일 가능성이 있는 입력 시퀀스에 2단계 절차가 적용됩니다. 먼저 개별 관절을 가리고 학습된 규범적 사전 확률(prior)로부터의 편차를 측정하여 관절 불일치 점수를 추정합니다. 그런 다음 플래그가 지정된 관절을 인코더 입력에서 제외하고 남아 있는 시공간적 컨텍스트로부터 전체 골격을 재구성하여, 플래그가 지정된 위치에서 교정된 운동학적 궤적을 산출합니다. 검증(validation) 목표는 이 프레임워크가 보지 못한 규범적 보행을 보존하고 시뮬레이션된 비정상 보행 패턴에서 각도 편차를 줄이는지 평가하는 것입니다. 개념 증명 평가에서 7가지 시뮬레이션 비정상 보행 패턴을 수행한 10명의 미공개(held-out) 규범적 참가자 데이터를 통해 큰 효과 크기(effect size)로 분석된 모든 관절에서 각도 편차의 유의미한 감소와 규범적 운동학 보존이 입증되었습니다. 제안된 접근법은 질환 라벨 없이도 학습된 규범적 보행 패턴과 일치하지 않는 관절을 해석 가능하고 대상자 맞춤형으로 국소화하며, 개인화된 규범적 재구성을 생성할 수 있도록 지원합니다. 비디오는 https://youtu.be/Rcm3jqR5pN4 에서 확인할 수 있습니다.
다기관 임상 연구와 생의학 연구 협력은 점점 더 여러 기관에 걸친 데이터를 활용해 단일 기관을 넘어 일반화되는 모델을 구축하려 한다. 이는 두 가지 뚜렷한 과제를 만든다. 데이터 보호 규제는 기관 간 원시 환자 데이터 공유를 제한할 수 있고, 기관마다 서로 다른 프로토콜 아래 부분적으로만 겹치는 특징 집합만 수집할 수 있다. 연합 학습(federated learning)은 원시 데이터를 중앙에 모으지 않고 협력적으로 모델 학습을 가능하게 한다. 그러나 기존 연합 대치(imputation) 방법은 일부 기관에서 전체 특징이 관측되지 않는 특징 수준 결측(feature-level missingness)을 거의 평가하지 않는다. 이 설정을 다루기 위해, 우리는 ReMasker 마스크드 오토인코더를 연합 학습에 맞게 확장한 Fed-ReMasker를 제안하여, 협력 기관들에서 학습한 지식을 활용해 로컬에서 한 번도 관측되지 않은 특징을 기관이 대치할 수 있게 한다. Fed-ReMasker는 선형·비선형 관계를 갖는 합성 데이터셋과 임상 데이터를 포함한 실제 표 형식 데이터셋에 걸친 벤치마크에서 평가한다. 이 벤치마크는 기관 수, 결측 비율, 클라이언트 이질성(heterogeneity)을 변화시킨다. Fed-ReMasker는 동질(homogeneous) 벤치마크에서 값 수준(value-level) 시나리오의 93.2%, 특징 수준 시나리오의 96.7%에서 최저 대치 오차를 달성한다. 단순 연합 평균(federated averaging)만으로도 클라이언트 이질성에 견고하며, 값 수준 36개 시나리오 전부에서 모든 기준선을 능가하고, 특징 수준 36개 시나리오 각각에서 최소 35개에서 각 기준선을 능가하며, 풀링(pooled) 데이터로 학습한 중앙집중식 모델 대비 평균 3.0% 이내에 머문다.
유사분열상(MF, mitotic figure) 분석은 종양 등급 판정과 예후 평가를 뒷받침하지만, 자동화 모델은 조직 유형과 영상 획득 방식의 차이에 여전히 민감하다. 본 논문은 의사 레이블(pseudo-label) 기반의 이미지 및 토큰 수준 대조 학습(contrastive learning)과 마스크드 복원(masked reconstruction)을 결합한 작업 특화 사전학습(pretraining) 프레임워크인 MiTHras를 제안한다. 우리는 11개 장기 부위에 걸친 14개 TCGA 코호트에서 추출한 세포 중심 이미지 180만 장으로 구성된 코퍼스인 TCGA-MF-Pseudo를 구축한다. MF 분류(classification), 검출(detection), 개수 기반 생존 예측, 아형 분류에 대한 포괄적 평가를 통해 MiTHras의 효과를 입증한다. MiTHras는 세 가지 MF 분류 벤치마크 전부와 두 가지 아형 벤치마크 모두에서 가장 높은 평균 F1을 달성한다. 또한 MiTHras는 전체 미세조정(fine-tuning) 상황보다 인코더를 고정한 선형 프로빙(linear probing) 상황에서 범용 및 병리 파운데이션 인코더 대비 더 큰 마진(margin)으로 우수한 성능을 보인다. 검출 성능 향상은 후보 검출 단계를 공유하는 구조로 인해 다소 제한적이지만, 절제 실험(ablation)을 통해 토큰 수준 지도(supervision)가 전형-비전형(typical-versus-atypical) 분류와 선형 프로빙을 향상시킨다는 것이 확인된다. 이러한 결과는 MiTHras가 자동화된 유사분열 활성 평가를 위한 견고하고 전이 가능한 표현을 산출한다는 것을 입증한다.
WiFi 채널 상태 정보(CSI)를 이용한 인간 행동 인식(Human Action Recognition)은 어디서나 사용 가능하다는 편재성, 장치에 구애받지 않는 특성, 그리고 내재적인 프라이버시 보호 능력 덕분에 비전 기반 방법의 매력적인 대안으로 부상했다. 그러나 수작업 주석(annotation)의 높은 비용과 공개적으로 이용 가능한 CSI 데이터셋의 제한된 규모는 지도 학습 기반 접근법의 성능을 제약한다. 자기지도 학습(Self-supervised learning, SSL)은 유망한 방향을 제시하지만, 기존의 대조 학습(contrastive) 패러다임은 무선 신호의 물리적 의미와 충돌하는 데이터 증강(data augmentation)에 의존하며 대규모 배치 학습을 요구하여 CSI에는 적합하지 않다. 이러한 문제를 극복하기 위해, 우리는 CIG-MAE -- 교차 모달 정보 기반 마스크드 오토인코더(Cross-modal Information-Guided Masked Autoencoder) -- 를 제안한다. 이는 높은 마스킹 비율을 가진 대칭적 이중 스트림(dual-stream) 아키텍처를 사용하여 CSI의 진폭(amplitude)과 위상(phase)을 모두 복원한다. 구체적으로, 우리는 학습 효율을 향상시키기 위해 정보 밀도가 높은 시간-주파수 영역에 어텐션을 동적으로 할당하는 적응형 정보 기반 마스킹(Adaptive Information-Guided Masking) 전략을 제안하고, 부정 샘플(negative sample) 없이 교차 모달 표현을 정렬하기 위해 Barlow Twins 정규화 항을 도입한다. 세 개의 공개 데이터셋에 대한 실험 결과, CIG-MAE는 최신(SOTA) 자기지도 학습 방법들을 일관되게 능가하며 완전 지도 학습 기준선마저 뛰어넘어, 우수한 데이터 효율성, 강건성, 그리고 표현 일반화 능력을 입증한다.
PANDA, CAMELYON17, BRACS 세 가지 다중 소스 조직병리 데이터셋으로 마스킹 오토인코더(MAE)를 사전학습하는 ProsMAE 프레임워크를 제안하여, 인코더가 다양한 조직 형태 및 스캐너 조건에 노출되도록 설계하였다. 동결된 인코더와 선형 분류 헤드로 구성된 ProsCLS를 통해 ISUP 전립선암 등급 분류에 전이 시, 단일 소스 vanilla MAE 대비 평균 검증 QWK가 0.4084에서 0.4736으로 향상되었다.
최근 결합 임베딩 예측 아키텍처(JEPA)는 자기지도 표현 학습을 위한 유망한 프레임워크로서 컴퓨터 비전 및 머신러닝 커뮤니티에서 큰 주목을 받고 있다. 픽셀을 재구성하는 마스크드 오토인코더와 달리, JEPA 모델은 마스킹된 영역의 잠재 임베딩을 예측함으로써 표현을 학습한다. I-JEPA, V-JEPA 등 기존 JEPA 기반 방법들은 학생 네트워크에 단일 인코더를 사용하는 것이 일반적이다. 반면, 학생 네트워크에 샴(Siamese) 인코더를 사용하는 방식은 뇌에서 영감을 받은 표현 학습 프레임워크와 더 자연스럽게 부합하지만, JEPA 모델에서 그 역할은 아직 충분히 탐구되지 않았다. 본 논문에서는 JEPA 기반 표현 학습에서 샴 학생 인코더의 효과를 규명한다. 이를 위해 지수 이동 평균(EMA) 교사 네트워크를 갖춘 마스크드 샴 학생 인코더로 구성된 SiamJEPA를 제안한다. SiamJEPA는 뇌에서 영감을 받은 표현 학습 모델인 PhiNet의 JEPA 공식화로도 해석될 수 있다. ImageNet 선형 프로빙에 대한 광범위한 실험을 통해, 샴 인코더가 JEPA 목적 함수에 효과적인 정규화기(regularizer)로 작용하여 표현 분리성을 향상시키고 학습 초기 단계에서 학습을 가속화함을 입증한다. 나아가, SiamJEPA는 제한된 학습 예산 하에서 비교 가능한 단일 인코더 JEPA 변형들을 일관되게 능가하며, 더 긴 학습을 필요로 하는 마스크드 오토인코더(MAE)보다 높은 선형 프로빙 정확도를 달성한다. 본 연구 결과는 샴 학생 인코더가 단순한 아키텍처적 선택이 아니라 예측적 표현 학습을 위한 중요한 귀납적 바이어스를 구성함을 밝힌다. 이러한 결과는 JEPA 기반 모델 설계에 대한 새로운 통찰을 제공하며, 샴 학생 아키텍처를 도입하는 것이 자기지도 표현 학습을 개선하기 위한 간단하면서도 효과적인 접근 방식임을 시사한다.
3차원(3D) 뇌 MRI는 임상 신경학 및 신경종양학의 핵심이며, 여기서 생성 모델은 대표성이 부족한 코호트를 보강하고, 질병 궤적을 시뮬레이션하며, 프라이버시 보존 데이터 공유를 지원할 수 있습니다. 잠재 확산(Latent diffusion)은 영상 데이터 모델링의 대표적인 해결책이었지만, 토크나이저에 두 가지 상충하는 요구 사항을 부과합니다. 즉, 인코더 임베딩은 다운스트림 작업에서 활용하는 임상 정보를 유지해야 하고, 디코더는 해부학적으로 충실한 볼륨을 재구성해야 합니다. 기존의 재구성 중심 토크나이저는 후자를 달성하기 위해 전자를 희생합니다. 이를 해결하기 위해 우리는 3D 뇌 MRI 잠재 확산을 위한 완전 볼륨 기반 마스크드 오토인코더(MAE) 기반 토크나이저를 도입하여 인코더와 디코더를 분리했습니다. 고정된 3D MAE 인코더는 임상적으로 유의미한 임베딩을 생성하고, 전용 CNN 디코더는 해당 임베딩의 선형 투영으로부터 복셀을 재구성합니다. 우리는 4가지 모달리티, 10가지 질병 범주, 200개 이상의 데이터 수집 사이트에 걸친 18개의 공개 코호트에서 총 35,309개의 볼륨으로 인코더를 사전학습(pre-training)했으며, 두 가지 설정에서 그 이중 유용성을 입증합니다. 첫째, 23개 작업으로 구성된 선형 프로빙(linear probing) 벤치마크에서 해당 인코더는 23개 작업 중 21개에서 최첨단(SOTA) 모델(즉, BrainIAC, BrainSegFounder, MedicalNet)보다 우수하거나 동등한 성능을 보였습니다. 둘째, 임상적으로 유의미한 임베딩으로 학습된 조건부 확산 트랜스포머(DiT)는 6개 변수에 걸친 조건부 생성과 환자별 종단 예측(longitudinal forecasting)을 모두 지원합니다. 종합적으로 이러한 결과는 다운스트림 임상 작업과 제어 가능한 생성을 모두 수행할 수 있는 단일 3D 뇌 MRI 임베딩 공간을 확립합니다.
임상 신경 보철(clinical neuroprosthetics)은 데이터 병목에 직면한다. 라벨이 붙은 지각 시행은 부족한 반면, 수 시간에 달하는 자발적 신경 활동은 대부분 활용되지 않는다. 본 연구에서는 자기지도 학습(self-supervised learning)이 이러한 비라벨 데이터셋을 활용해 지각 디코딩(perception decoding)을 개선할 수 있는지 검증한다. 시각장애 참가자의 V1에 삽입된 피질내 배열(intracortical array)에서 기록한 14.6시간 분의 자발적 다단위(multiunit) 활동으로 마스크드 오토인코더를 사전학습했다. 모델은 감독 없이 해석 가능한 뇌 구조를 포착했다. V1의 공간적 조직화와 지각 상태 분리가 모두 잠재 표현(latent representations)만으로 순수하게 나타났다. 이러한 특성을 검증하기 위해, 고정된 잠재 표현에 대한 로지스틱 회귀를 이용한 선형 프로빙(linear probing)으로 자극이 주어진 데이터에서의 성능을 측정했다. 일반 심리측정(psychometric) 과제에서 지각 디코딩 정확도는 84.1%에 달했다. 더 어려운 임계값 수준(threshold-level) 과제에서는 정확도가 64.0%에 달했다. 본 연구는 자발적 피질 활동이 노이즈가 아니며, 풍부한 과제 관련 구조를 담고 있음을 보여준다. 이 데이터에 대한 비지도 사전학습은 신경 디코딩을 개선하는 유망한 전략이다.
시계열 이상 탐지(TSAD)는 IoT 기반 서비스 시스템의 신뢰성과 보안을 유지하는 데 필수적이다. 기존 방법은 데이터셋마다 별도의 특정 모델을 학습해야 하며, 이는 서로 다른 대상 데이터셋에 대한 일반화 능력이 제한되어 학습 데이터가 부족한 다양한 시나리오에서 이상 탐지 성능을 저해한다. 이러한 한계를 해결하기 위해 파운데이션 모델(foundation model)이 유망한 방향으로 부상했다. 그러나 기존 접근법은 대규모 언어 모델(LLM)을 전용하거나 대규모 시계열 데이터셋을 구축하여 범용 이상 탐지 파운데이션 모델을 개발하는 방식을 취하고 있으며, 여전히 심각한 교차 모달리티 격차 또는 도메인 내 이질성(in-domain heterogeneity)으로 인한 과제에 직면한다. 본 논문에서는 TSAD에 대규모 비전 모델의 적용 가능성을 조사한다. 구체적으로, ImageNet에서 사전학습된 시각 Masked Autoencoder(MAE)를 TSAD 과제에 적용한다. 그러나 MAE를 TSAD에 직접 전이하면 과일반화(overgeneralization)와 제한된 국소 인식(limited local perception)이라는 두 가지 핵심 과제가 발생한다. 이러한 과제를 해결하기 위해 TSAD를 위한 새로운 MAE 기반 프레임워크인 VAN-AD를 제안한다. 과일반화 문제를 완화하기 위해, MAE 처리 전후의 재구성 결과를 통합된 통계 공간으로 매핑하여 이상 패턴으로 인한 불일치를 증폭하는 Adaptive Distribution Mapping Module(ADMM)을 설계한다. 국소 인식의 한계를 극복하기 위해, MAE와 normalizing flow를 결합하여 전역 분포 하에서 현재 윈도우의 확률 밀도를 추정하는 Normalizing Flow Module(NFM)을 추가로 개발한다. 9개의 실세계 데이터셋에 대한 광범위한 실험 결과, VAN-AD는 여러 평가 지표에서 기존 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다. 코드와 데이터셋은 https://github.com/PenyChen/VAN-AD 에서 제공한다.
강건하고 정확한 신경 디코더는 뇌-컴퓨터 인터페이스 및 폐루프(closed-loop) 실험과 같은 신경기술에 필수적이다. 최근 연구는 스파이크(spike) 수준에서 신경 데이터를 토큰화(tokenization)하면 다중 세션 사전학습(pre-training)을 용이하게 하고 최첨단 디코딩 성능을 달성함을 보여주었다. 그러나 현재 스파이크 기반 모델은 지도 학습(supervised learning, SL)에 국한되어, 행동 라벨이 쌍으로 제공된 데이터셋에서만 학습이 가능하다. 이 한계를 해결하기 위해, 우리는 마스크 오토인코더 기반 공동 학습(MOJO, Masked autOencoder-based JOint training)을 제안한다. 이는 마스크 오토인코딩을 통한 자기지도 학습(self-supervised learning, SSL)과 SL 목적 함수를 공동으로 활용하는 스파이크 토큰화 모델용 학습(training) 프레임워크이다. 우리는 도달 과제(reaching task) 중 원숭이 운동 피질과 시각 및 의사결정 과제 중 다중 영역 쥐 기록을 아우르는 세 개의 스파이킹 데이터셋에서 MOJO를 평가하였으며, 순수 SL로 학습된 모델보다 우수한 성능을 보였다. 이 개선은 라벨이 제한된 데이터로 학습할 때, 특히 새 세션에서 소량의 라벨 데이터만 사용 가능한 퓨샷(few-shot) 파인튜닝(fine-tuning)에서 두드러진다. SSL을 통합하면 더 해석 가능한 뉴런 표현이 형성되어, 해당 과제를 명시적으로 최적화하지 않았음에도 뇌 영역 분류(classification) 및 스파이크 통계 예측 성능이 향상된다. 또한 MOJO가 스파이킹 데이터를 넘어 음성 중 인간 피질전기도(electrocorticography)에도 일반화되며, 순수 SL로 학습된 모델을 계속 능가하고 연속 신호용으로 특별히 설계된 신경 기초 모델(neuro-foundation model, NFM)과 견줄 만한 성능을 달성함을 보인다. 전반적으로 스파이크 토큰화 모델에 SSL을 보강하면 라벨이 부족한 설정에서 성능이 개선되고, 다양한 과제와 종(species)에 걸쳐 라벨 없는 데이터를 활용할 수 있으며, 다른 신경 양식(modality)으로도 일반화된다. 이러한 결과는 NFM 학습 시 더 유연하고 확장 가능한 데이터 활용 방향을 제시한다.
비전 모델은 인간이 색을 보는 방식과 같이 색을 인식할까? 기존 색 표현 평가는 CIELAB 같은 기하 공간이나 이산적 색 레이블과 비교하는 경우가 많다. 이러한 기준은 지각적 거리나 범주 소속은 포착하지만, 사람들이 색을 조직화하는 등급화된 방식은 포착하지 못한다. 우리는 인간 설문 데이터에 맞춰 적합시킨 86개의 등급화된 범주를 갖는 퍼지 지각 모델에 대해 색 그라운딩(grounding)을 평가한다. 이 프레임워크는 모든 이미지 인코더에 적용할 수 있으며, 세 가지 상보적 특성—범주 경계, 범주 응집성, 색 기하만으로는 설명할 수 없는 등급화된 정렬—을 측정한다. 11개의 비전 트랜스포머 인코더에 걸쳐, 범주 수준 결과는 대체로 유사한 반면, 등급화된 정렬은 상당히 다르다. Masked Autoencoder(MAE)는 가장 강한 기하를 넘어서는 정렬을 달성했으며, 신뢰 구간은 다른 인코더들과 겹치지 않는다. 층별 분석은 마스킹 재구성이 출력 쪽으로 갈수록 이러한 구조를 보존함을 추가로 보여준다. 자연 이미지에서 MAE는 표면 색을 전역적으로 표현하는 반면, 언어 지도 모델은 전경 객체와의 관계에서 색을 더 강하게 인코딩한다. 이 결과는 인간형 색 그라운딩이 단일 점수로 축약되어서는 안 될 여러 뚜렷한 측면을 가짐을 보여준다.
강철 표면 결함의 자동화 시각 검사는 반복적인 품질 관리 작업으로, 라벨이 있는 결함 데이터는 부족하고 획득 비용이 크지만 라벨이 없는 표면 이미지는 풍부하다. 이는 클래스 라벨 없이 유용한 표현을 학습하는 자기지도학습(self-supervised) 방법의 필요성을 보여 준다. 본 연구에서는 비지도 그루핑을 위해 강철 표면 결함의 표현을 학습하기 위해 트랜스포머 기반 마스크드 오토인코더를 사용한다. 사전학습(pre-training) 동안 입력 이미지 패치의 75%를 무작위로 마스킹하고, 경량 디코더가 보이는 25%로부터 마스킹된 영역을 재구성한다. 인코더는 보조 결함 위치 지정(localization) 목표와 공동으로 학습되며, 이 목표는 학습 신호로만 사용되고 검출기로서 평가되지는 않는다. 디코더는 구조적 유사도(structural similarity) 점수 0.92와 평균 제곱 오차(mean squared error) 0.47을 달성한다. 사전학습된 인코더의 특징은 차원 축소(dimensionality reduction)를 위해 UMAP과 응집적 클러스터링(Agglomerative clustering)을 사용하여 클러스터링되며, 알려진 6개 결함 범주에 대해 Hungarian 매칭 정확도 91.3%에 도달한다.
비디오 표현 학습은 최근 몇 년간 엄청난 진전을 이루었다. 이는 학습 규모와 언어와 대조적으로 학습된 시각 모델의 성공 등 여러 요인에 의해 촉진되었다. 이러한 요인들이 비디오 모델이 할 수 있는 것의 경계를 넓혔지만, 동시에 고유한 한계도 낳는다. 첫째, 비디오 모델의 스케일링은 기하급수적으로 비용이 커질 수 있고, 둘째, 언어로부터 학습하면 배울 수 있는 개념의 범위가 캡션에 있는 것으로 제한된다. 그 결과 비디오 모델은 여전히 시간적 이해에 어려움을 겪고 있다. 본 논문에서는 비디오 표현을 위한 중심 모달리티로 모션을 사용하는 새로운 접근법을 제안한다. 구체적으로, 포인트 트랙(point-track) 형태의 비디오 내 모션을 주어, 마스크드 오토인코더(masked autoencoder)로 일부 트랙을 마스킹하고 오토인코더가 누락된 트랙을 복원하도록 학습한다. 이를 통해 자기지도(self-supervised) 방식으로 표현을 학습할 수 있다. 모션으로 비디오를 표현하는 것이 실제로 비디오 기술의 두 가지 핵심 한계를 모두 해소함을 보인다. 첫째, 모션은 본질적으로 외관과 무관하기 때문에 일반화에 더 적은 예시가 필요하고, 이를 통해 학습 데이터 규모를 대폭 줄일 수 있다. 둘째, 모션은 언어 의존적 학습 패러다임을 우회하여 더 세밀한 개념을 학습할 수 있게 한다. 그 결과 우리는 TIME(Temporally Informed Motion Embedding, 시간 정보를 담은 모션 임베딩)라 부르는 임베딩을 얻는다. 이는 오직 합성 모션 데이터로만 학습된 표현이다. 이 임베딩을 다양한 태스크에 대해 제로샷 방식으로 평가한다. 추가 기법 없이도, 최대 4 orders of magnitude(약 10^4배) 적은 학습 데이터를 사용한 최신(state-of-the-art) 모델과 대등한 성능을 보인다. 이는 더 시간적으로 인식하며 더 확장 가능한 비디오 모델을 향한 새로운 패러다임의 발판이 된다.
형광 현미경에서의 자기지도 학습(self-supervised learning)은 세포의 본질적인 3차원 특성에도 불구하고 종종 2D 투영에 의존한다. 우리는 체적 현미경 데이터에 대한 2D 및 3D 마스크드 오토인코더(MAE-2D vs. MAE-3D)의 체계적인 비교를 제시한다. 동일한 아키텍처 및 학습 프로토콜 하에서, MAE-3D는 다운스트림 단일 세포 작업에서 2D 최대 투영(max-projection) 및 슬라이스 기반 변형에 비해 일관되게 우수한 성능을 보인다. 우리는 또한 시각적 표현을 사전학습된 단백질 언어 모델(ESM2)과 정렬하고, 교차 모달 지도(cross-modal supervision)가 체적 모델에서 더 큰 성능 향상을 가져옴을 보인다. 채널 교차 어텐션과 주파수 도메인 정규화는 3D 공간적 맥락을 활용하는 데 핵심적이다. 단백질-단백질 상호작용 예측에서 최고 모델은 ROC-AUC 0.86을 달성하였으며, 단백질 국소화(protein localization)에서는 AUC$_{\text{micro}}$ 0.95, F1$_{\text{micro}}$ 0.74를 기록하여 두 작업 모두에서 경쟁력 있는 성능을 입증한다. 전반적으로, 본 연구의 결과는 단일 세포 현미경에서의 표현 학습을 위한 체적 모델링 및 다중 모달 정렬의 잠재력을 부각한다.
관심 인물(POI)로 알려진 저명한 개인을 표적으로 하는 딥페이크는 현대 민주주의와 사회에 위협이 되고 있다. 현재 POI 딥페이크 탐지 방법들은 후처리에 대한 견고성, 효율성, 해석 가능성을 결합하는 데 여전히 어려움을 겪고 있으며, 이는 현대 딥페이크 탐지기의 핵심 요소들이다. 본 논문에서는 3D 얼굴 복원에서 도출된 얼굴 외형 표현인 UV 텍스처 맵과 마스크드 오토인코더(MAE)의 표현 학습 능력을 결합한 POI 비디오 딥페이크 탐지기 CUPID를 제안한다. 우리의 방법은 학습 단계에서 어떠한 딥페이크 비디오도 필요로 하지 않는다. 더 나아가, 학습 세트에 특정 POI를 포함할 필요조차 없다: 실제 비디오 프레임에서 추출한 UV 텍스처 맵과 MAE 문맥 유도 복원의 조합은 학습 중 보지 못한 신원에 대해서도 풍부하고 변별력 있는 얼굴 특징을 포착하는 잠재 공간을 생성한다. 테스트 단계에서는 POI가 등장하는 쿼리 비디오에서 추출된 임베딩을 원본 참조 비디오와 매칭하여 비디오의 진위를 평가할 수 있다. 더불어, UV 공간에서 작동함으로써 추가적인 해석 가능성의 층이 자연스럽게 제공된다. 구체적으로, 테스트 비디오의 어떤 얼굴 영역이 해당 POI의 신원 표현에서 가장 크게 벗어나는지를 강조하는 디코딩된 잔차 맵을 추출할 수 있다. 네 개의 딥페이크 데이터셋에 대한 실험 결과, CUPID는 대부분의 데이터셋에서 현재 최신 기술을 능가하며, 강력한 다운스케일링과 압축에 대해 전반적으로 가장 우수한 견고성을 달성함과 동시에 실질적으로 더 빠른 추론을 제공하는 것으로 나타났다. 실험 코드는 https://github.com/polimi-ispl/CUPID에 공개될 예정이다.
수동 수중음향 모니터링의 대규모 데이터를 최소한의 어노테이션으로 탐색하기 위해, Masked AutoEncoder(MAE)로 스펙트로그램 패치 임베딩을 학습한 뒤 UMAP과 HDBSCAN으로 이벤트 수준 클러스터링을 수행하는 자기지도 파이프라인을 제안한다. 인도양 마요트 섬 인근의 다년간 수중음향 데이터셋에 적용한 결과, 317개 클러스터를 1시간 이내에 15개 클래스로 매핑하였고 기존 탐지기에 필적하는 분류 성능과 함께 미지의 신호 패턴까지 발견하는 실용적 가치를 입증하였다.
수십 년간의 궤도 탐사 임무를 통해 달에 대한 멀티모달 원격 탐사 데이터가 축적되었으며, 광학 영상, 분광학, 열 방출, 레이더, 중력, 원소 조성 데이터 등을 포함한다. 그러나 이러한 데이터셋은 여러 아카이브에 분산되어 있으며, 달 데이터에 대한 머신러닝 평가를 위한 벤치마크는 현재 존재하지 않는다. 우리는 달 원격 탐사를 위한 최초의 멀티모달 파운데이션 모델 벤치마크인 Moonstone을 소개한다. 본 연구의 기여는 다음과 같다: (1) 5개 탐사 임무에 걸친 7개 기기군으로부터 구축된 28채널, 도당 128픽셀(~237 m) 해상도의 전역 달 사전학습 데이터셋, (2) MG-MAE—그룹별 합성곱 토크나이저, 공유 Vision 트랜스포머 인코더, 누락 모달리티에 대한 어텐션 마스킹, 이질적 공간 커버리지를 위한 커버리지 적응형 마스킹, 물리적으로 타당한 재구성을 위한 스펙트럼 연속성 정규화를 갖춘 모달리티 그룹화 마스크드 오토인코더, (3) 분류, 회귀, 분할을 포함하는 6개의 다운스트림 태스크로 구성된 벤치마크. MG-MAE 사전학습 특징은 모든 태스크에서 스크래치 기준선을 능가하며, ImageNet 사전학습 기준선 및 일반 MAE 기준선 모두를 큰 차이로 초월한다. 데이터와 코드는 https://huggingface.co/datasets/ayushprd/Moonstone 및 https://github.com/ayushprd/Moonstone 에서 이용 가능하다.
단안 RGB 이미지에서 심각한 가림 현상으로 인한 손-물체 포즈 추정의 한계를 극복하기 위해, 마스크 오토인코더(MAE) 기반의 HOMAE를 제안하며 손-물체 상호작용 영역에 구조적 마스킹을 적용해 가림 인식 특징을 학습한다. 다중 스케일 디코더 특징으로 부호 있는 거리 필드(SDF)를 예측하고 이를 명시적 포인트 클라우드와 융합하여 DexYCB 및 HO3Dv2 벤치마크에서 최고 성능을 달성했다.