기존 VLA 모델의 3D 기하학 이해 부족과 시간적 일관성 결여 문제를 해결하기 위해, Lift3D-VLA는 3D 포인트 클라우드를 사전학습된 2D 위치 임베딩과 정렬하는 모델 리프팅 전략, 현재 기하구조 재구성과 미래 변화 예측을 동시에 수행하는 GC-MAE(Geometry-Centric Masked Autoencoding), 그리고 LLM의 여러 층을 활용한 층별 시간적 행동 모델링을 통합한 통합 VLA 프레임워크를 제안한다. MetaWorld와 RLBench에서 기존 최고 성능 VLA 대비 각각 10.8%, 11.1% 높은 평균 성공률을 달성하며 실제 환경에서도 강화된 일반화 성능을 보인다.
문화유산 분야의 X선 형광(XRF) 스펙트럼 분석을 위해, 전역 셀프 어텐션 이전에 다중 스케일 합성곱 토크나이저로 지역성과 다중 해상도 귀납적 편향을 주입하는 트랜스포머 아키텍처 XRFormer를 제안한다. Pigments Checker STANDARD v.5 데이터셋 실험에서 안료 식별과 분리(unmixing) 모두 ViT, SpectralFormer, 1D-CNN을 능가하며, 마스킹 스펙트럼 모델링(MSM)과 물리 정보 기반 피크 존재 예측(PPP) 자기지도 사전학습으로 성능을 추가 향상시켰다.
신분증의 홀로그램(OVD) 진위 검증을 위해 공격 샘플 없이 자기지도(self-supervised) 방식으로 학습 가능한 두 가지 시퀀스 모델링 접근법—판별적 스팬 기반 분류기 HoloVerif-Span과 생성적 마스크 시퀀스 모델링(MSM)—을 제안하며, OVD의 시간적 전이 동역학을 명시적으로 모델링함으로써 MIDV-Holo 및 MIDV-DynAttack 데이터셋에서 기존 최신 기법을 능가함을 입증한다.
GaussFusion은 3D 가우시안 표현을 위한 멀티모달 사전학습 프레임워크로, 교차 모달 의미 정렬을 통해 이미지·텍스트 감독을 마스킹 가우시안 모델링에 통합하고, 가우시안 현저성 기반 다중 스케일 홀 마스킹(GSHM)으로 비균일 분포 문제를 해결한다. ModelNet40과 ScanObjectNN에서 Gaussian-MAE 대비 각각 0.61%, 3.85% 향상된 성능을 달성하며 가우시안 표현의 전이 가능성을 입증했다.
제로샷 분할과 구조 보존 확산 모델로 배경을 다양하게 변형한 이미지를 생성한 뒤, 동일한 객체의 서로 다른 배경 변형본을 대조 학습의 양성 쌍으로 활용하는 Cross-Variant Self-Supervised Learning을 통해 배경 불변 표현을 명시적으로 학습하는 2단계 프레임워크(GRSSL)를 제안한다. Waterbirds, MetaShift, NICO++ 분포 이동 벤치마크에서 각각 92.5%, 81.7%, 87.4%의 최악 그룹 정확도로 최고 성능을 달성하였다.
위성 이미지의 낮은 공간 해상도로 인해 인공강우 결정에 필요한 미세 구름 구조 포착이 어려운 문제를 해결하기 위해, 역 확산(inverse diffusion) 기반 2단계 초해상도(super-resolution) 프레임워크를 제안한다. 1단계는 실제 쌍 데이터로 센서 간 정렬을 학습하고, 2단계는 자기 지도 방식으로 고주파 구름 텍스처를 정제하여 SEVIRI→VIIRS, MSG→MTG 변환에서 기존 트랜스포머 및 확산 기반 베이스라인 대비 재구성 정확도와 지각적 품질 모두 향상된 성능을 달성했다.
MuCoDi(Multi-teacher Contrastive Distillation)는 Virchow2, UNI2, H-Optimus-1 등 여러 대형 병리학 파운데이션 모델(PFM)의 동결된 타일 임베딩을 MoCo v3 기반 대조 지식 증류(distillation) 목표로 경량 MobileOne·RepViT 학생 모델에 전달하는 사전학습 프레임워크다. RepViT 기반 MuCoEdge 학생 모델은 23개 임상 분류 태스크에서 최고 교사 모델(Virchow2, AUROC 71.8%)과 0.8%p 이내 성능을 유지하며, Raspberry Pi 5에서 Virchow2 대비 최대 605배 추론 속도를 달성해 병원 내 엣지 배포 가능성을 입증한다.
피드포워드 3D 모델 학습 시 기하학적 지도 학습의 비용과 광도측정 자기지도 학습의 모호성 문제를 해결하기 위해, 동결된 비전-언어(vision-language) 모델의 표현을 다시점 간 일관성 신호로 활용하는 보조 목적 함수 VLRC(Vision-Language Reprojection Consistency)를 제안한다. VLRC는 추가 3D 어노테이션 없이 예측된 3D 구조를 통해 조밀한 비전-언어 특징을 재투영하여 일관성을 강제하며, 실내외 벤치마크에서 깊이 및 카메라 추정 정확도와 제로샷 개방형 어휘 3D 의미론적 분할 성능을 향상시켰다.
양전자 방출 단층촬영(PET) 이미지 노이즈 제거 모델의 분포 변화(distribution shift) 취약성을 해결하기 위해, 추론 시 자기지도 학습을 통해 각 입력 인스턴스에 동적으로 적응하는 테스트 시간 학습(TTT) 레이어를 U자형 아키텍처에 통합한 U-TTT를 제안한다. 공간 도메인에서 구조적 열화를 보정하는 S-TTT 레이어와 주파수 도메인에서 전역 노이즈 스펙트럼을 억제하는 F-TTT 레이어로 구성된 이중 도메인 적응 메커니즘을 통해, 미확인 선량 수준 및 스캐너 환경에서도 최고 수준의 노이즈 제거 성능과 우수한 일반화 능력을 달성했다.
SAGE는 시각적 장소 인식(VPR)에서 공간 컨텍스트와 시각적 유사성 간의 동적 상호작용을 학습에 반영하지 못하는 기존 방법의 한계를 극복하기 위해, 경량 Soft Probing 모듈과 에포크마다 재구성되는 온라인 지오-시각 그래프, 그리고 탐욕적 가중 클리크 확장 샘플러를 결합한 통합 학습 파이프라인을 제안한다. 고정된 DINOv2 백본과 파라미터 효율적 파인튜닝으로 구현된 SAGE는 8개 벤치마크에서 최첨단 성능을 달성하며, 특히 4096D 전역 디스크립터만으로 SPED에서 100% Recall@10을 기록한다.
3D 기하학에서 회전·병진·반사를 포함한 부분 외재적 대칭을 정답 어노테이션 없이 탐지하는 자기지도 대조 학습 프레임워크 SymCL을 제안하며, 측지선 패치(geodesic patch) 임베딩을 유클리드 군 불변 잠재 공간에서 밀도 기반 클러스터링하여 단일 순전파로 다중 인스턴스 대칭 그룹을 동시에 복원한다. 새로운 벤치마크 SymPartNet에서 정량 평가하고, 학습 분포 밖의 다양한 형상에 대한 클래스 비의존적 일반화를 시연한다.
대조적 예측 코딩(CPC)을 3GPP 규격 준수 CSI 압축 아키텍처에 통합한 통합 압축-예측 프레임워크를 제안하며, 고차원 CSI 행렬 대신 잠재 표현을 예측하고 1-SGCS와 InfoNCE 결합 목적 함수로 재구성 정확도와 시간적 예측 일관성을 공동 최적화한다. Nokia, Oppo, CATT의 3GPP 규격 데이터셋 평가에서 CPC-before-Compression은 기준선 대비 디코더 GFLOPs를 32배 낮추면서 90% 이상의 재구성 정확도를 달성하고, CPC-after-Compression은 동일한 인코더 풋프린트와 64비트 피드백 오버헤드를 유지한다.
Qantara는 단일 체크포인트에서 잠재 계획(latent planning), 행동 복제(behaviour cloning), 역동역학(inverse dynamics) 세 가지 추론 패러다임을 지원하는 JEPA 세계 모델로, 상태 축에는 브라운 브리지 보간, 행동 축에는 플로우 매칭을 결합한 공동 학습 목표와 엣지 정렬 노이즈 샘플링을 적용한다. LeWM 제어 스위트에서 91.2 SR을 달성하고 OGBench-Cube에서 DINO-WM 대비 +7.7 SR의 새로운 SOTA를 기록하며, 기존 단일 패러다임에 고정된 JEPA 세계 모델의 한계를 극복했다.
MARLIN은 탠덤 질량 분석(MS/MS) 스펙트럼으로부터 분자식 없이 직접 소분자 구조를 규명하는 de novo 방법으로, 자기지도 인코더가 원시 피크에서 분자 지문(molecular fingerprint)을 예측하고 블록-확산 언어 모델이 해당 지문과 전구체 질량만을 조건으로 후보 구조를 생성한다. NPLIB1 벤치마크에서 분자식 없이 평가된 방법 중 가장 높은 성능을 달성했으며, 분자식 없이도 전용 예측기 수준으로 올바른 분자식을 부산물로 복원할 수 있음을 보였다.
마스크 기반 예측 표현(MPR) 학습 방법을 보조 태스크로 도입하여 비전 기반 심층 강화학습의 샘플 효율을 향상시키는 방법을 제안한다. 트랜스포머와 결합해 잠재 공간에서 마스킹된 관측 시퀀스를 재구성함으로써, DMControl 연속 제어 태스크와 Atari 100k 벤치마크에서 최신 샘플 효율적 강화학습 방법들을 능가하는 성능을 달성했다.
자기지도 학습(SSL)은 특징 표현과 일반화를 개선함으로써 교차 데이터셋 전이에 강한 잠재력을 보인다. 그러나 EEG 기반 감정 인식에 대한 적용은 아직 대부분 미탐구 영역으로 남아 있다. 기존 SSL 방법들은 다양한 채널 구성 하에서 EEG 신호의 복잡한 시공간적 의존성을 포착하고, 노이즈에 강인한 세밀한 표현을 추출하며, 피험자 간 잘 일반화되는 전역 특징을 도출하는 데 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 EEG 기반 감정 인식을 위해 특별히 설계된 새로운 SSL 프레임워크인 마스크 생성-대조 표현 학습(MGCRL)을 제안한다. 영역 인식 시공간 인코더를 기반으로 구축된 MGCRL은 생성 학습과 대조 학습을 통합하여 교차 데이터셋 일반화를 위한 세밀한 표현과 전역 판별 표현을 모두 달성한다. MGCRL은 세 가지 핵심 설계를 도입한다: 1) 지역화된 공간적·기능적 관계를 포착하기 위해 영역 기반 그래프 합성곱을 통합한 시공간 인코더로, 영역별 특징 학습을 강화하고 데이터셋 간 다양한 EEG 채널 구성의 영향을 완화한다; 2) 마스크된 특징을 활용하여 노이즈 강인성이 있는 세밀한 표현을 포착하는 결합 임베딩 예측 아키텍처(JEPA) 기반 생성 학습 메커니즘으로, 미묘한 감정 상태를 특성화하는 모델의 역량을 향상시킨다; 3) 동일한 자극에 걸쳐 시간적으로 안정적이고 피험자 간 불변적인 표현을 학습하기 위해 마스크된 특징과 원본 특징을 활용하는 대조 학습 전략으로, 감정 판별과 피험자 간 일반화를 향상시킨다. 이러한 설계들 하에서 MGCRL은 보편적 표현을 학습하는 뛰어난 능력을 보인다. 대규모 FACED 데이터셋에서 사전학습하고 다수의 SEED-시리즈 데이터셋에서 미세조정하는 광범위한 실험이 MGCRL의 효과성을 입증한다.
EEG 파운데이션 모델의 사전학습-정적 배포 패러다임이 갖는 목표 불일치 및 온라인 분포 변화 적응 한계를 해결하기 위해, 다중 뷰 일관성 학습(MCL)과 컨텍스트 인식 표현 조절(CRM)을 통합한 온라인 신경 적응 프레임워크 NeuroOnline을 제안한다. 여러 EEG 벤치마크 실험에서 NeuroOnline은 온라인 환경의 분포 변화 하에서 기존 강력한 베이스라인을 일관되게 능가하는 성능을 보였다.
이질적인 시계열 데이터에서 전이 가능한 표현을 학습하기 위해, 자기지도 사전학습된 다수의 표현 인코더와 동적 게이팅 메커니즘, Transformer 기반 셀프-어텐션 집계 모듈로 구성된 모듈형 파운데이션 모델을 제안한다. ETT 벤치마크 및 수력 발전기 로터 온도 가상 센싱 산업 사례에서 결측값 보간·장기 예측·퓨샷 학습 등 다양한 PHM 태스크에 걸쳐 경쟁력 있는 성능을 달성했다.
배경: 대규모 레이블 없는 생리적 데이터로 학습된 파운데이션 모델(FM)은 의료 인공지능의 유망한 패러다임으로 부상하였다. 그러나 희귀 질환에 대해 임상적으로 의미 있고 전이 가능한 표현을 포착하는 능력은 아직 대부분 검증되지 않은 상태이다. 본 연구는 FM 사전학습이 희귀 심전도(ECG) 표현형에 대해 최적화 향상을 넘어서는 진정한 임상적 일반화 이점을 제공하는지 규명한다. 방법: BrSwiss 코호트(환자 294명, 양성 87례) 및 독립 외부 코호트인 HUCA(환자 363명, 양성 76례)에서 브루가다 증후군 탐지를 위해 공개된 ECG FM 9종을 처음부터 학습(from-scratch training), 선형 프로빙(linear probing), 전체 미세조정(full fine-tuning)의 세 가지 전략과 다양한 구성—3% 데이터 절제 실험 및 제로샷 교차 사이트 전이 포함—하에 체계적으로 평가하였다. 결과: 사전학습은 처음부터 학습 시 수렴하지 못하는 고용량 아키텍처에는 필수적이었으나(AUC 향상 최대 0.411, p < 0.05), 레이블 데이터만으로도 이미 수렴하는 소형 아키텍처에는 유의미한 이득을 주지 않았다. 전체 BrSwiss 데이터셋에서 가장 우수한 미세조정 FM(ECG-CPC, AUC = 0.962)은 가장 강력한 지도학습 기준선(처음부터 학습한 ECG-CPC, AUC = 0.932; p = 0.091)을 소폭 상회하는 데 그쳤다. 동일한 학습 세트 크기에서 BrSwiss-3%에서의 데이터 효율성 이점(AUC 향상 = 0.055, p < 0.01)은 HUCA에서 재현되지 않았다. 제로샷 교차 사이트 전이에서는 FM 기반 파이프라인이 지도학습 기준선보다 일반화 성능이 우수하지 않았으며, 모두 우연 수준의 성능에 근접하였다. 결론: 브루가다 증후군 탐지에 있어 FM 사전학습은 의미론적이라기보다 기계적으로 작용하며, 전이 가능한 임상 지식보다는 최적화 안정성을 제공한다. 이러한 결과는 대규모 사전학습이 임상적으로 의미 있는 표현을 본질적으로 인코딩한다는 가정에 의문을 제기하며, 모델 아키텍처와 데이터 도메인 정합의 핵심적 역할을 부각시킨다.
우리는 대규모 이종 그래프에서 노드 및 그래프 임베딩을 학습하기 위한 자기지도 프레임워크인 MABLE(Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning)을 제안하며, 여기서는 지리공간 광물 탐험 데이터를 대상으로 이를 실증한다. MABLE은 마스크 재구성과, 매칭된 증강 뷰를 정렬하면서 동시에 쌍을 이루지 않는 임베딩을 충분히 분산시키는 고정된 코사인 유사도 손실을 결합한다. 양방향 립시츠 특징 디코더는 각 노드 임베딩의 저차원 재구성 구성요소를 특징 유사도와 결부시키고, 매칭된 노드 일관성은 그래프 풀링에 사용되는 나머지 컨텍스트를 형성한다. 립시츠 제어 풀링은 유지된 노드 임베딩의 섭동 하에서 그래프 수준 표현의 안정화를 돕고, 증강 정렬은 마스킹, 노드 드롭, 샘플링 변이에 대한 강건성을 학습시킨다. 지역 구리 및 광역 아라비안 실드(Arabian Shield) 연구에 걸쳐, MABLE 임베딩은 보완적인 다운스트림 신호를 제공하고, 학습된 판별자나 하드 네거티브 선택 없이 가설 생성을 위한 일관된 임베딩 기반 레이어를 생성한다.