본 연구에서는 관계적 검색(Relational Retrieval) 관점을 통해 일반화된 범주 발견(Generalized Category Discovery, GCD) 문제를 다루며, 양방향 지식 전이를 통해 레이블이 있는 데이터와 없는 데이터를 명시적으로 결합한다. 기존 방법들은 이러한 두 데이터 소스를 별도로 다루어 유용한 상호작용 기회를 놓치는 반면, 우리는 상호 향상을 가능하게 하는 관계적 패턴 일관성(Relational Pattern Consistency, RPC)을 제안한다. RPC는 소프트 ID/OOD 분해를 위해 One-vs-All 분류기를 사용한 뒤, 두 가지 메커니즘을 도입한다: (i) 기지 클래스(known class) 보존을 위해 의미적 행동 정렬(semantic behavioral alignment)을 전이하고, (ii) 범주 발견을 위해 동일 범주에 속한 샘플들이 기지 클래스 프로토타입과 불변적인 관계를 유지한다는 통찰을 활용하여, 신뢰할 수 없는 의사 레이블링(pseudo-labeling)을 잘 정의된 관계적 패턴 매칭으로 전환한다. 이러한 양방향 설계는 레이블이 있는 데이터가 레이블이 없는 데이터의 학습을 안내하는 동시에, 이들의 집합적 관계적 특징을 통해 새로운 범주를 발견할 수 있도록 한다. 광범위한 실험을 통해 RPC가 일반 벤치마크와 세밀한(fine-grained) 벤치마크 모두에서 최신 기술 수준(state-of-the-art)의 성능을 달성함을 입증한다.
파운데이션 모델이 수술 영상 분석을 크게 발전시켜 왔지만, 현재 접근법은 대부분 픽셀 수준 재구성 목표에 의존하여 연기, 반사 하이라이트, 유체 움직임 같은 저수준 시각적 세부에 모델 용량을 쓰고, 수술 이해에 필수적인 의미론적 구조는 상대적으로 소홀히 한다. 본 논문은 SurgMotion을 제안한다. 이는 학습 패러다임을 픽셀 수준 재구성에서 잠재(laten) 운동 예측으로 전환하는 비디오 네이티브 파운데이션 모델이다. Video Joint Embedding Predictive Architecture(V-JEPA) 위에 구축된 SurgMotion은 수술 영상에 맞춘 세 가지 핵심 기술 혁신을 도입한다: (1) 의미론적으로 중요한 영역을 우선하기 위한 motion-guided latent masked prediction, (2) 관계적 일관성을 강화하기 위한 시공간 affinity 자기 증류(self-distillation), (3) 텍스처가 sparse한 수술 장면에서 표현 붕괴(representation collapse)를 막기 위한 시공간 특징 다양성 정규화(SFDR). 대규모 사전학습을 위해, 우리는 13개 해부학적 영역·50개 출처에서 총 3,658시간의 영상으로 구성된, 현재까지 최대 규모의 수술 영상 데이터셋 SurgMotion-15M을 구축했다. 17개 벤치마크에 걸친 광범위한 실험에서 SurgMotion은 최신(state-of-the-art) 방법들을 크게 능가한다. 수술 workflow 인식에서는 EgoSurgery에서 F1 score 14.6% 향상, PitVis에서 10.3% 향상을 달성했고, CholecT50에서 action triplet 인식 mAP-IVT 39.54%를 기록했으며, 술기 평가(skill assessment), 용종(polyp) 분할, 깊이 추정(depth estimation)에서도 우수한 성능을 보였다. 이 결과는 SurgMotion을 범용적이고 운동(motion) 중심의 수술 영상 이해를 위한 새로운 기준으로 자리매김한다.
WiFi 채널 상태 정보(CSI)를 이용한 인간 행동 인식(Human Action Recognition)은 어디서나 사용 가능하다는 편재성, 장치에 구애받지 않는 특성, 그리고 내재적인 프라이버시 보호 능력 덕분에 비전 기반 방법의 매력적인 대안으로 부상했다. 그러나 수작업 주석(annotation)의 높은 비용과 공개적으로 이용 가능한 CSI 데이터셋의 제한된 규모는 지도 학습 기반 접근법의 성능을 제약한다. 자기지도 학습(Self-supervised learning, SSL)은 유망한 방향을 제시하지만, 기존의 대조 학습(contrastive) 패러다임은 무선 신호의 물리적 의미와 충돌하는 데이터 증강(data augmentation)에 의존하며 대규모 배치 학습을 요구하여 CSI에는 적합하지 않다. 이러한 문제를 극복하기 위해, 우리는 CIG-MAE -- 교차 모달 정보 기반 마스크드 오토인코더(Cross-modal Information-Guided Masked Autoencoder) -- 를 제안한다. 이는 높은 마스킹 비율을 가진 대칭적 이중 스트림(dual-stream) 아키텍처를 사용하여 CSI의 진폭(amplitude)과 위상(phase)을 모두 복원한다. 구체적으로, 우리는 학습 효율을 향상시키기 위해 정보 밀도가 높은 시간-주파수 영역에 어텐션을 동적으로 할당하는 적응형 정보 기반 마스킹(Adaptive Information-Guided Masking) 전략을 제안하고, 부정 샘플(negative sample) 없이 교차 모달 표현을 정렬하기 위해 Barlow Twins 정규화 항을 도입한다. 세 개의 공개 데이터셋에 대한 실험 결과, CIG-MAE는 최신(SOTA) 자기지도 학습 방법들을 일관되게 능가하며 완전 지도 학습 기준선마저 뛰어넘어, 우수한 데이터 효율성, 강건성, 그리고 표현 일반화 능력을 입증한다.
본 논문에서는 카메라 포즈를 알 수 없는 희소 이미지로부터 관절체(articulated object)를 모델링하는 방법을 제시한다. 기존 접근법들은 조밀한 다중 시점 관측과 관절 상태(articulation state) 전반에 걸쳐 공유되는 실측(ground-truth) 카메라 포즈를 필요로 하는 반면, 우리의 접근법은 관절 상태당 단 4개의 포즈가 없는(unposed) 시점만으로 동작하며, 실측 포즈나 상태 간 공유 캘리브레이션을 필요로 하지 않는다. 핵심 과제는 희소 시점 재구성이 각 관절 상태를 독립적으로 복원할 수는 있지만, 부위 분할(part segmentation)과 기구학적 추론(kinematic reasoning)에 필요한 상태 간 대응 관계(cross-state correspondence)는 제공하지 못한다는 점이다. 우리는 독립적으로 재구성된 상태들을 정렬하고 이들 간의 조밀한 대응 관계를 수립하는 조밀 변형 필드(dense deformation field)를 최적화함으로써 이 문제를 해결한다. 이어서 반복적인 강건 추정(robust estimation) 절차를 통해 정적 부위와 움직이는 부위를 분리하고 그 기구학적 파라미터를 복원한다. 마지막으로, 시점 간 및 상태 간 일관성을 강제하는 자기지도(self-supervised) 손실을 이용하여 기하 구조, 외형, 모션을 정제한다. 표준 벤치마크와 실제 사례에 대한 실험 결과, 본 방법은 기존 연구보다 훨씬 약한 입력 가정 하에서도 정확한 관절체 표현을 생성함을 보인다.
자기지도 학습(self-supervised learning)은 기계 지능과 계산 신경과학 분야에서 중요한 패러다임이 되었다. 그럼에도 불구하고 자기지도 학습(SSL) 관련 현재 연구는 생물학적으로 그럴듯하지 않은 신용 할당(credit assignment), 즉 오류의 역전파,와 순전파 추론(feedforward inference), 즉 순차적이고 비병렬적인 정보 흐름에 의존한다. 예측 코딩(predictive coding, PC)은 역전파 특유의 한계를 피할 수 있는 생물학적으로 그럴듯한 수단을 제공한다. 그러나 비지도 PC는 원시 입력에 대한 생성 모델을 학습해야 하며, 이는 고차원 입력을 예측하는 것을 수반한다. 반면 지도 PC는 입력과 목표 레이블 간의 매핑을 학습하므로 인간 주석이 필요하고 지도 학습의 단점을 갖는다. 본 연구에서는 PC와 능동 지각(active perception)에 기반한 신경과학 기반 SSL 모델인 메타-표상 예측 코딩(meta-representational predictive coding, MPC)을 제안한다. MPC는 병렬 스트림에 걸친 데이터 표상의 예측을 학습함으로써 감각 입력에 대한 생성 모델의 필요성을 우회하여, 인코더만 사용하는 학습-추론 방식을 만든다.
PANDA, CAMELYON17, BRACS 세 가지 다중 소스 조직병리 데이터셋으로 마스킹 오토인코더(MAE)를 사전학습하는 ProsMAE 프레임워크를 제안하여, 인코더가 다양한 조직 형태 및 스캐너 조건에 노출되도록 설계하였다. 동결된 인코더와 선형 분류 헤드로 구성된 ProsCLS를 통해 ISUP 전립선암 등급 분류에 전이 시, 단일 소스 vanilla MAE 대비 평균 검증 QWK가 0.4084에서 0.4736으로 향상되었다.
자기지도 학습(self-supervised learning)은 다양한 도메인에서 레이블 없는 데이터로부터 의미 있는 표현을 학습하는 강력한 접근법으로, 대규모 레이블 데이터셋에 대한 의존을 줄여 왔다. 자연어 처리(NLP)에서 깊은 양방향 문맥을 포착한 BERT의 성공에 영감을 받아, BEATs와 같은 모델이 벡터 양자화(VQ)를 사용해 오디오 신호에 양방향 학습 패러다임을 확장하는 등 유사한 프레임워크가 오디오 등 다른 모달리티에도 적용되었다. 그러나 이러한 프레임워크는 양자화에 단일 코드book에 의존한다는 점 등의 과제에 직면하며, 이는 신호의 복잡하고 다면적인 성격을 충분히 포착하지 못할 수 있다. 또한 codebook 활용의 비효율은 code vector가 저활용되는 결과를 낳는다. 이러한 한계를 해결하기 위해, 우리는 양방향 학습 과정에 잔차 양자화(RQ)를 통합하고 오디오·이미지·비디오 사전학습(pre-training)에 일반화된 자기지도 인코더 사전학습 프레임워크인 BRIDLE(Bidirectional Residual Quantization Interleaved Discrete Learning Encoder)를 제안한다. 다층 계층적 codebook을 사용하는 RQ는 잠재 공간에서 세밀한 이산화를 가능하게 하여 표현 품질을 향상시킨다. BRIDLE는 인코더와 tokenizer 사이의 교차(interleaved) 학습 절차를 포함한다. 우리는 분류 벤치마크를 사용한 오디오 이해 과제에서 BRIDLE를 평가하여 최신(state-of-the-art) 결과를 달성했으며, 이미지 분류 및 비디오 분류 과제에서도 경쟁력 있는 성능을 보였고, 하류(downstream) 성능에서 기존 VQ 방식 대비 일관된 개선을 확인했다.
대부분의 자기지도학습(self-supervised learning) 목적 함수는 표현 붕괴(collapse)를 방지하지만, 목표 표현의 확률 법칙(representation law)은 명시하지 않은 채 남겨둡니다. 본 논문에서는 표현 학습을 분포 매칭(Distribution Matching, DM)으로 정식화하여, 인코더가 유도하는 분포가 명시적인 기하학적 기준 분포(reference law)와 일치하도록 증강 불변(augmentation-invariant) 인코더를 학습합니다. 기준 분포는 학습된 표현 분포가 어떤 형태를 띠어야 하는지 명시하며, 별도로 선택된 불일치도(discrepancy) 척도는 이 목표로부터의 편차를 어떻게 측정할지 결정합니다. 본 연구에서는 말로우스 거리(Mallows distance)를 사용합니다. DM 프레임워크는 방향의 역관계를 드러냅니다. 즉, 생성 학습이 다루기 쉬운 기준 분포를 데이터로 매핑하는 반면, 표현 학습은 데이터를 설계된 기준 분포로 매핑합니다. 본 연구는 모집단 목적 함수를 클래스 중심 분리 및 분류(classification) 오차와 연결하고, 비점근적 신경 시브(neural-sieve) 보장을 증명합니다. 시뮬레이션 및 이미지 벤치마크 결과는 다양체 정류(manifold rectification), 미세 구조 보존, 그리고 서로 다른 레이블 공간 간의 전이(transfer) 성능을 보여줍니다.
Early weed identification is crucial for effective management and control, and researchers, agronomists, and technology developers are increasingly interested in automating this process using computer vision and artificial intelligence; however, limited expert-verified data and variable morphological features have hindered the development of AI-based weed identification models. To address these issues, we present WeedNet, a global-scale weed identification model that can recognize an extensive set of weed species. WeedNet is an end-to-end real-time weed identification pipeline that uses self-supervised learning, fine-tuning, and enhanced trustworthiness strategies. WeedNet achieved 91.02% accuracy across 1,593 weed species, with 41% of species achieving 100% accuracy. Using a fine-tuning approach, the local Iowa WeedNet model achieved 97.38% overall accuracy for 84 Iowa weeds. Testing across intra-species dissimilarity and inter-species similarity suggests that diversity in the collected image, spanning all growth stages and distinct plant characteristics, is crucial to driving model performance. The global WeedNet model serves as a foundation, and the global-to-local strategy enables targeted fine-tuning to improve performance in regional weed communities. Additional validation of drone- and ground-rover-based images highlights WeedNet's potential for integration into robotic platforms. Furthermore, integration with artificial intelligence for conversational use provides intelligent agricultural and ecological conservation consulting tools for farmers, researchers, and government agencies across diverse landscapes.
Modern consumer cameras often use rolling shutter, capturing scenes row-by-row and causing distortion in dynamic scenes. Existing correction methods rely on supervised learning with high-frame-rate global shutter images as ground truth. We propose SelfDRSC++, a self-supervised framework for RS distortion correction {from simultaneously captured top-to-bottom and bottom-to-top RS images}. A lightweight network with a bidirectional correlation matching block jointly optimizes optical flows and corrected RS features, improving performance with fewer parameters. A self-supervised strategy enforces {a physically constrained RS--GS--RS cycle} between input and reconstructed dual reversed RS images. RS reconstruction is formulated as a specialized video frame interpolation task, enabling feasible one-stage training. Extensive experiments on synthetic and real-world data show that SelfDRSC++ achieves competitive quantitative performance, improves perceptual quality, and produces high-frame-rate GS sequences with better temporal consistency.
마스크드 이미지 모델링(masked image modeling)은 SAR 사전학습의 지배적 패러다임이 되었으나, 복원 목표(reconstruction target) 설계는 근본적으로 아직 정립되지 않았다. 본 논문은 SAR 사전학습 목표가 전이 가능한 표현(representation)을 만들려면 두 가지 조건을 만족해야 한다고 주장한다: (i) 물리 기반 안정성(physics-grounded stability), 즉 코히런트(coherent) 영상에 내재된 곱셈형 speckle에 대해 목표 연산자(target operator)가 근사적으로 불변인 것; (ii) 의미적 스케일 호환성(semantic scale compatibility), 즉 하류 과제가 요구하는 이질적인 공간 스케일을 포괄하는 것. 이 두 조건은 각각은 달성 가능하지만 동시에 만족시키기는 어렵다. 물리 기반 안정성은 고정 연산자를 선호하고, 의미적 스케일 호환성은 데이터 기반 구성(composition)을 선호한다. 이를 위해 SARATR-X-v2는 단일 설계 안에서 두 가지를 조화시킨다. 목표는 blind-spot 국소 집합(local aggregation)부터 방향성 log-ratio 영역 대비(directional log-ratio region contrast)에 이르기까지 여섯 수용 영역(receptive field)에 걸친 고정 구조 추출기(fixed structural extractors)로 구성되고, 학습 가능한 가중치로 융합되어 마스크 복원(masked reconstruction)을 위한 하나의 통합 supervision 신호를 만든다. 분류, 검출, 세그멘테이션을 아우르는 12개 SAR 벤치마크에서 SARATR-X-v2는 최신(state-of-the-art) 전이(transfer) 성능을 달성한다. 합성 speckle 변화 하에서 제안 목표는 픽셀 공간 supervision 대비 학습된 표현의 perturbation drift를 거의 두 자릿수(두 order of magnitude)만큼 줄인다. 종합하면, 이러한 결과는 물리 기반 안정성과 의미적 스케일 호환성을 코히런트 영상 하 사전학습 목표 설계의 원칙적 프레임워크로 확립하며, 효과적인 SAR 사전학습은 더 많은 신호를 복원하는 것이 아니라 올바른 구조적 목표를 복원하는 것에 관한 것임을 시사한다.
웨어러블 기기는 지속적인 멀티모달 생체 및 행동 모니터링을 가능하게 하지만, 이러한 데이터 스트림을 분석하는 데는 골드 스탠더드(gold-standard) 라벨의 부재와 불완전한 센서 데이터라는 근본적인 문제점이 존재합니다. 자기지도학습(self-supervised learning) 접근법이 이러한 문제를 해결하는 데 유망함을 보여주었으나, 기존의 멀티모달 확장 연구들은 동시에 기록된 웨어러블 센서 데이터에 내재된 풍부한 시계열 및 모달리티 간 상관관계를 더 잘 활용할 수 있는 여지를 남겨두고 있습니다. 본 논문에서는 센서 모달리티 간 상관 구조를 명시적으로 활용하는 원칙적인 교차 모달리티 마스킹 기법을 적용하여, 트랜스포머(transformer) 아키텍처와 마스크 오토인코더(MAE) 방법론을 결합한 자기지도학습 프레임워크인 MoCA(Multi-modal Cross-masked Autoencoder)를 제안합니다. MoCA는 다양한 벤치마크 데이터셋에서 재구성 및 다운스트림 분류(classification) 태스크 전반에 걸쳐 강력한 성능 향상을 입증합니다. 나아가 재생 커널 힐베르트 공간(RKHS) 프레임워크를 통해 멀티모달 MAE 손실(loss)과 커널화 정규 상관 분석(kernelized canonical correlation analysis) 간의 근본적인 연결성을 규명함으로써 이론적 보장을 수립하고, 상관관계를 고려한 마스킹 전략 설계를 위한 원칙적인 지침을 제공합니다. 본 접근법은 결측 모달리티를 처리하는 동시에 라벨이 없는 멀티모달 웨어러블 데이터를 활용할 수 있는 새로운 해결책을 제시하며, 다양한 디지털 헬스 분야에 광범위하게 적용될 수 있습니다.
이벤트 데이터와 이미지 데이터 간의 픽셀 수준 대응 관계 구축은 다중 센서 시스템의 기본적인 과제입니다. 그러나 기존의 교차 모달 매칭 방법들은 매칭 레이블이나 엄격하게 정렬된 하드웨어에 대한 의존성으로 인해 크게 제한되며, 매칭 정답 데이터와 사전 센서 관계 정보가 모두 부재한 레이블 없는 비제약 실환경 시나리오에는 적용이 어렵습니다. 이를 해결하기 위해, 우리는 새로운 2단계 학습 패러다임을 제안합니다. 첫째, 대규모 데이터를 활용하여 레이블 비의존적 증류 사전학습을 수행하며, 분포 기반 손실과 대조 손실로 최적화 목표를 개선하여 높은 일반화 능력을 갖춘 표현을 학습합니다. 둘째, 레이블 없는 비제약 다운스트림 데이터를 처리하기 위해 에피폴라 가이드 자기 증류 프레임워크를 도입합니다. 일관성 검증을 활용하여 강인한 매칭을 선별하고 외부 에피폴라 사전 정보로부터 도출된 기하학적 신뢰도를 통합함으로써, 우리의 모델은 어떠한 지도 없이도 타겟 도메인에서 직접적으로 효과적인 자기 진화가 가능합니다. 또한, 서로 다른 내부 파라미터와 해상도를 가진 물리적으로 분리된 카메라를 특징으로 하는 TUM-VIE 기반의 엄격한 교차 모달 평가 벤치마크를 소개합니다. 광범위한 실험을 통해 우리가 제안한 방법이 MVSEC과 TUM-VIE 자세 추정 태스크 모두에서 최첨단 성능을 달성함을 입증합니다. 소스 코드와 벤치마크는 https://github.com/ZhonghuaYi/nexus2-official 에서 공개될 예정입니다.
강화학습이나 명시적 메모리를 추가하기 전에, 의도적으로 단순한 행동 클로닝 정책이 시각적으로 풍부한 1인칭 게임에서 얼마나 진전할 수 있는지 연구한다. Cortex는 동결된 DINOv3 인코더 위 6층 트랜스포머로 구성되며 학습 가능한 파라미터 1,098만 개를 갖춘 컴팩트 Quake 정책이다. 공개 Pixels2Play 코퍼스의 Quake 하위 집합으로 학습한다: 6,849개 녹화(약 474.7시간)이며, 키보드 및 마우스 동작을 포함한 1,709만 개의 캐시된 의사결정 프레임으로 표현된다. 샘플링된 하나의 학습 에포크는 517,048개의 4프레임 윈도우를 사용하며, 일회성 특징 추출을 제외하고 RTX 5080 한 대에서 정책 헤드 최적화에 3.3분이 걸린다. Quake E1M1에서 120초짜리 확률적 에피소드 20개로 구성된 두 개의 독립 배치를 평가한다. Cortex는 레벨을 완료하지는 못하지만 모든 에피소드가 시작 문, 버튼 방, 게이트 하강 구간에 도달한다. 각 배치의 20개 에피소드 중 19개는 최소 한 번의 킬을 기록한다. 동일한 시간 제어 하네스 아래에서, 공개된 P2P-150M 및 NitroGen 체크포인트는 각각 5개의 동일 시간 에피소드에서 더 얕은 진행을 보인다. 이 비교는 참조 표본 크기가 작고 네이티브 인터페이스가 다르다는 점에서 제한적이다. 어블레이션 결과, 더 밀집한 시각 토큰은 전투와 생존을 개선하는 반면, 더 긴 최적화와 단순한 행동 이력은 오프라인 지표는 개선하지만 플레이 성능을 일관되게 개선하지는 않는다. 남은 실패는 공변량 이동(covariate shift)과 일치하며, 표적화된 교정 데이터의 필요성을 뒷받침한다. 정책 구현, 체크포인트, 대표 롤아웃을 공개한다.
사후 학습은 비전-언어 모델(VLM)이 인간의 지시를 이해하고 다양한 다운스트림 작업을 수행할 수 있게 한다. 현재의 사후 학습 방법은 보통 인간 주석 데이터, 외부 모델로부터의 지식 증류, 인간 피드백 강화학습(RLHF), 또는 검증 가능한 정답에 의존한다. 이는 외부 감독 없이 성능을 향상시키는 능력을 제한한다. 이를 해결하기 위해, 우리는 NOPD(Noisy Student On-Policy Self-Distillation)를 제안한다. 이는 외부 모델이나 정답(ground-truth) 없이 VLM을 개선하는 단순하면서도 효과적인 자기 증류(self-distillation) 방법이다. 핵심 통찰은 깨끗한 입력과 손상된 입력 간의 예측 불일치가 자연스럽게 자기 감독(self-supervision) 신호를 유도한다는 것이다. NOPD에서는 모델이 손상된 입력으로부터 학습하면서, 깨끗한 입력에 대한 자신의 예측을 토큰 수준 감독으로 사용한다. 다섯 가지 시각적 추론 작업에서 NOPD의 효과를 보였으며, 강화학습 접근법이나 외부 모델로부터의 지식 증류와 동등하거나 심지어 더 나은 성능을 낼 수 있다. 특히 Geometry3K의 2.1K 샘플로 학습했을 때, NOPD는 검증 세트에서 Qwen2.5-VL-7B를 20점 향상시킨다. 또한 분포 외(out-of-distribution) 테스트 세트에서 일반화를 보이며 MathVista에서 7.4점 향상을 달성한다. 또한 NOPD가 VLM을 향상시키는 일반적인 접근법임을 보였으며, 12개 벤치마크에서 세 모델 모두에 걸쳐 성능 향상을 달성한다.
최근 결합 임베딩 예측 아키텍처(JEPA)는 자기지도 표현 학습을 위한 유망한 프레임워크로서 컴퓨터 비전 및 머신러닝 커뮤니티에서 큰 주목을 받고 있다. 픽셀을 재구성하는 마스크드 오토인코더와 달리, JEPA 모델은 마스킹된 영역의 잠재 임베딩을 예측함으로써 표현을 학습한다. I-JEPA, V-JEPA 등 기존 JEPA 기반 방법들은 학생 네트워크에 단일 인코더를 사용하는 것이 일반적이다. 반면, 학생 네트워크에 샴(Siamese) 인코더를 사용하는 방식은 뇌에서 영감을 받은 표현 학습 프레임워크와 더 자연스럽게 부합하지만, JEPA 모델에서 그 역할은 아직 충분히 탐구되지 않았다. 본 논문에서는 JEPA 기반 표현 학습에서 샴 학생 인코더의 효과를 규명한다. 이를 위해 지수 이동 평균(EMA) 교사 네트워크를 갖춘 마스크드 샴 학생 인코더로 구성된 SiamJEPA를 제안한다. SiamJEPA는 뇌에서 영감을 받은 표현 학습 모델인 PhiNet의 JEPA 공식화로도 해석될 수 있다. ImageNet 선형 프로빙에 대한 광범위한 실험을 통해, 샴 인코더가 JEPA 목적 함수에 효과적인 정규화기(regularizer)로 작용하여 표현 분리성을 향상시키고 학습 초기 단계에서 학습을 가속화함을 입증한다. 나아가, SiamJEPA는 제한된 학습 예산 하에서 비교 가능한 단일 인코더 JEPA 변형들을 일관되게 능가하며, 더 긴 학습을 필요로 하는 마스크드 오토인코더(MAE)보다 높은 선형 프로빙 정확도를 달성한다. 본 연구 결과는 샴 학생 인코더가 단순한 아키텍처적 선택이 아니라 예측적 표현 학습을 위한 중요한 귀납적 바이어스를 구성함을 밝힌다. 이러한 결과는 JEPA 기반 모델 설계에 대한 새로운 통찰을 제공하며, 샴 학생 아키텍처를 도입하는 것이 자기지도 표현 학습을 개선하기 위한 간단하면서도 효과적인 접근 방식임을 시사한다.
3차원(3D) 뇌 MRI는 임상 신경학 및 신경종양학의 핵심이며, 여기서 생성 모델은 대표성이 부족한 코호트를 보강하고, 질병 궤적을 시뮬레이션하며, 프라이버시 보존 데이터 공유를 지원할 수 있습니다. 잠재 확산(Latent diffusion)은 영상 데이터 모델링의 대표적인 해결책이었지만, 토크나이저에 두 가지 상충하는 요구 사항을 부과합니다. 즉, 인코더 임베딩은 다운스트림 작업에서 활용하는 임상 정보를 유지해야 하고, 디코더는 해부학적으로 충실한 볼륨을 재구성해야 합니다. 기존의 재구성 중심 토크나이저는 후자를 달성하기 위해 전자를 희생합니다. 이를 해결하기 위해 우리는 3D 뇌 MRI 잠재 확산을 위한 완전 볼륨 기반 마스크드 오토인코더(MAE) 기반 토크나이저를 도입하여 인코더와 디코더를 분리했습니다. 고정된 3D MAE 인코더는 임상적으로 유의미한 임베딩을 생성하고, 전용 CNN 디코더는 해당 임베딩의 선형 투영으로부터 복셀을 재구성합니다. 우리는 4가지 모달리티, 10가지 질병 범주, 200개 이상의 데이터 수집 사이트에 걸친 18개의 공개 코호트에서 총 35,309개의 볼륨으로 인코더를 사전학습(pre-training)했으며, 두 가지 설정에서 그 이중 유용성을 입증합니다. 첫째, 23개 작업으로 구성된 선형 프로빙(linear probing) 벤치마크에서 해당 인코더는 23개 작업 중 21개에서 최첨단(SOTA) 모델(즉, BrainIAC, BrainSegFounder, MedicalNet)보다 우수하거나 동등한 성능을 보였습니다. 둘째, 임상적으로 유의미한 임베딩으로 학습된 조건부 확산 트랜스포머(DiT)는 6개 변수에 걸친 조건부 생성과 환자별 종단 예측(longitudinal forecasting)을 모두 지원합니다. 종합적으로 이러한 결과는 다운스트림 임상 작업과 제어 가능한 생성을 모두 수행할 수 있는 단일 3D 뇌 MRI 임베딩 공간을 확립합니다.
단백질 언어 모델은 전이 가능한 서열 표현을 학습한다. 그러나 이들은 주로 아미노산 서열을 따른 문맥적 의존성을 모델링하기 때문에, 학습 목표가 접힘(folding) 이후 형성되는 3차원 잔기(residue) 접촉을 명시적으로 학습하도록 모델을 제약하지 않는다. 본 연구에서는 LC-SEPLM(Long-range Contact-supervised ESM Protein Language Model)을 제안한다. 이는 LoRA와 장거리 잔기 쌍 접촉 지도를 통해 ESM2를 적응시키면서 서열 전용 하류 추론을 유지한다. 쌍 특이적(pair-specific) 쿼리는 전체 서열에 대한 크로스 어텐션(cross-attention)을 사용하여 장거리 공간 접촉과 연관된 전역 서열 문맥을 추출한다. 다양한 구조 정보에 모델을 노출하기 위해, 우리는 500,000개의 AlphaFold Swiss-Prot 단백질로 LC-SEPLM을 학습했다. 하류 평가에서 LC-SEPLM은 ESM2 대비 8개의 단백질 수준 과제 모두에서 성능을 개선했다. 가장 큰 향상은 원격 상동성(remote-homology) 인식에서 나타났으며, macro-F1은 0.6122에서 0.6769(+0.0647, 즉 6.47 percentage points)로 증가했다. 공식 ESM-S EC 벤치마크에서도 LC-SEPLM은 ESM-S를 능가했으며, 최대 절대 향상은 0.1771이었다. 이러한 결과는 서열 전용 추론을 유지하면서 단백질 서열 표현에 구조 정보를 도입하는 제한적 경로로서 잔기 쌍 접촉 지도를 뒷받침한다.
단일 세포 광학 현미경 이미지는 세포 표현형(phenotype)을 특성화하는 데 중요한 데이터 원천이 되었지만, 그 복잡성과 이질성(heterogeneity)은 고속 자동 분석에 어려움을 제기한다. 기존 표현 학습(representation learning) 방법은 대부분 과제 지향(task-oriented) 모델링에 의존하며, 이는 특정 데이터셋과 사전 정의된 과제에 제한되어 서로 다른 세포 유형, 현미경 방식(modality), 실험 조건에 걸쳐 일반화하기 어렵다. 최근 범용(general-purpose) 방법이 이미지 표현의 일반화 능력을 향상시켰지만, 실험 배경과 생물학적 문맥 정보의 제한적 활용은 여전히 복잡한 표현형 분석에서 과제를 남긴다. 본 연구에서는 단일 세포 광학 현미경 이미지 표현을 위한 비전-언어 파운데이션 모델인 scMIR을 제안한다. 자기지도(self-supervised) 이미지 재구성과 텍스트 유도 교차 모달 정렬(cross-modal alignment)을 시너지적으로 결합함으로써, scMIR은 형태학적 정보와 생물학적 의미 정보를 통합 표현 공간에서 동시에 인코딩할 수 있다. scMIR은 다양한 세포 유형, 현미경 방식, 교란(perturbation) 조건을 아우르는 207,957개의 이미지-텍스트 쌍으로 사전학습(pre-training)되었다. scMIR은 16개 벤치마크 데이터셋을 사용한 다양한 복잡 과제에 대한 체계적 평가에서 세포 분류, 클러스터링, 표현형 추론, 배치 효과 보정 과제를 포함하여 기존 범용 모델과 과제 지향 방법을 능가한다. 또한 scMIR은 과제별 미세조정 없이도 다양한 과제에 걸쳐 강한 일반화 능력을 보인다. 고유한 장점을 바탕으로, scMIR은 다양한 하류(downstream) 분석 과제를 지원함으로써 고속 표현형 분석(phenotyping) 워크플로의 표준화와 자동화를 촉진할 수 있을 것으로 기대한다.
자연 이미지로 학습된 파운데이션 비전 모델은 도메인 사전학습 없이 의료 과제로 전이할 수 있지만, 볼륨 분류는 검사당 수만 개의 패치 토큰을 집계해야 하며, 집계기는 결과 모델의 해석 방식을 제약한다. KiTS23(966개 신장; 테스트 n=97)에서 신장 종양/낭종 탐지를 위해 동일한 고정 DINOv3 ViT-H/16+ 특징에 대해 세 가지 집계기를 비교한다: CLS 토큰 선형 프로브, 55,296개 패치 토큰에 대한 게이트 어텐션 다중 인스턴스 학습(MIL), ProtoViT를 따르는 프로토타입 헤드. 어텐션 MIL은 종양(AUROC 0.74, 95% CI 0.64–0.83)과 낭종(0.80, 0.70–0.88)에서 최고 AUROC를 달성하며, 주석이 달린 병변 내에서 어텐션이 우연 대비 7.5–9.8배 농축된다. 프로토타입 헤드는 낭종 탐지로 전이되지 않으며(AUROC 0.51), 이 토큰 규모에서 해석 가능성–성능 트레이드오프를 드러낸다.