부차언어(paralinguistic) 음성 태스크는 어휘 내용보다는 언어 외적 음향 단서에 의존하기 때문에 비교적 언어에 구애받지 않는(language-agnostic) 것으로 간주되는 경우가 많습니다. 그러나 선행 연구들은 교차 언어(cross-lingual) 조건에서 성능 저하를 보고하여 무시할 수 없는 언어 의존성이 있음을 나타냅니다. 그럼에도 이러한 연구들은 대개 개별 언어 쌍이나 특정 태스크 설정에 초점을 맞추고 있어, 비교 가능성이 제한되고 태스크 수준의 언어 의존성을 체계적으로 평가하지 못합니다. 본 연구에서는 주어진 태스크 내에서 언어 쌍 간의 교차 언어 상호작용을 정량화하는 체계적 방법인 교차 언어 전이 행렬(Cross-Lingual Transfer Matrix, CLTM)을 소개합니다. 다국어 HuBERT 기반 인코더를 사용하여 성별 식별(gender identification)과 화자 검증(speaker verification)이라는 두 가지 부차언어 태스크에 CLTM을 적용하고, 미세조정(fine-tuning) 과정에서 기여 언어(donor-language) 데이터가 대상 언어(target-language) 성능에 어떤 영향을 미치는지 분석합니다. 실험 결과는 태스크와 언어 전반에 걸쳐 뚜렷한 전이 패턴을 보여주며, 이는 체계적이고 언어 의존적인 효과를 반영합니다.
자기지도 음성 모델(S3M)은 풍부한 음성학적(phonetic) 정보를 인코딩하는 것으로 알려져 있으나, 이러한 정보가 어떻게 구조화되어 있는지는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 음운론적(phonological) 벡터에 특히 주목하여, 96개 언어에 걸쳐 S3M 표현의 기저 구조를 분석하는 종합적인 연구를 수행합니다. 먼저, 모델의 표현 공간 내에 음운 자질에 대응하는 선형 방향이 존재함을 보입니다. 나아가 이러한 음운 벡터의 크기(scale)가 대응하는 음운 자질의 음향적 실현 정도와 연속적인 방식으로 상관관계가 있음을 입증합니다. 예를 들어 [d]와 [t]의 차이는 유성성(voicing) 벡터를 형성하며, 이 벡터를 [p]에 더하면 [b]가 생성되고, 벡터의 크기를 조절하면 연속적인 유성성 변화가 나타납니다. 이러한 발견을 종합하면, S3M이 음운론적으로 해석 가능하고 구성적인(compositional) 벡터를 사용하여 음성을 인코딩하며, 음운론적 벡터 연산이 가능함을 보여줍니다. 모든 코드와 대화형 데모는 https://github.com/juice500ml/phonetic-arithmetic 에서 확인할 수 있습니다.
자기지도 학습 모델과의 표현 정렬(representation alignment)이 확산 모델(diffusion model) 학습을 개선하는 것으로 나타났으나, 추론 시점의 조건화를 향상시키는 잠재력은 아직 거의 탐구되지 않았습니다. 본 연구에서는 풍부한 의미론적 특성을 지닌 이러한 정렬된 표현을 활용하여 생성 과정에서 특징 기반의 테스트 시점 조건화를 가능하게 하는 프레임워크인 REPA-G(Representation-Aligned Guidance)를 소개합니다. 추론 시 유사도 목적함수(포텐셜)를 최적화함으로써, 사전학습된 특징 추출기에서 추출된 조건 표현을 향해 노이즈 제거(denoising) 과정을 유도합니다. 본 방식은 단일 패치를 통한 패치 수준 매칭부터 전역 이미지 특징 토큰을 사용한 광범위한 의미론적 안내에 이르기까지 다양한 세분성 수준에서 다채로운 제어를 제공합니다. 더 나아가 이를 다중 개념 구성으로 확장하여 서로 다른 개념들을 충실하게 결합할 수 있도록 합니다. REPA-G는 추가 학습 없이 전적으로 추론 시점에만 작동하며, 모호한 경우가 많은 텍스트 프롬프트나 거친 클래스 레이블을 대체할 수 있는 유연하고 정밀한 대안을 제시합니다. 본 접근법은 ImageNet과 COCO에서 고품질의 다양한 생성을 달성합니다. 코드는 https://github.com/valeoai/REPA-G 에서 이용할 수 있습니다.
시간을 인지하는(temporally aware) 영상 표현은 종단적(longitudinal) 의료 데이터셋의 3D 볼륨에서 질환 진행을 포착하는 데 필수적입니다. 그러나 마스크 오토인코딩(MAE)과 같은 최신 자기지도학습(self-supervised learning) 접근법은 강력한 표현 학습 능력에도 불구하고 시간적 인지 능력이 부족합니다. 본 논문에서는 2개의 입력 볼륨 간의 시차를 조건으로 하여 확률적 과정을 통해 시간 정보를 인코딩하는 샴 MAE(Siamese MAE) 프레임워크인 STAMP(Stochastic Temporal Autoencoder with Masked Pretraining)를 제안합니다. 서로 다른 시점의 스캔을 비교하지만 질환 진행에 내재된 불확실성을 설명하지 못하는 결정론적(deterministic) 샴 접근법과 달리, STAMP는 MAE 재구성 손실(reconstruction loss)을 조건부 변분 추론(conditional variational inference) 목적함수로 재구성하여 시간 역학을 확률적으로 학습합니다. 저자들은 환자당 여러 번의 방문 기록이 있는 2개의 OCT 및 1개의 MRI 데이터셋에서 STAMP를 평가했습니다. STAMP로 사전학습된 ViT 모델은 질환의 기저에 있는 비결정론적 시간 역학 학습을 요구하는 다양한 후기 단계 연령 관련 황반변성 및 알츠하이머병 진행 예측에서 기존의 시간적 MAE 방식과 파운데이션 모델을 모두 능가하는 성능을 보였습니다.
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
본 논문에서는 DIII-D 국립 핵융합 연구소(DIII-D National Fusion Facility)의 10년 이상 축적된 레이블 없는 실험 데이터로부터 자기지도학습(self-supervised learning) 방식으로 학습된 핵융합 플라즈마 거동 시뮬레이션을 위한 생성형 월드 파운데이션 모델인 IGNITE를 소개합니다. IGNITE의 핵심은 주어진 구동기 궤적(actuator trajectories)으로부터 DIII-D 방전을 시뮬레이션할 수 있는 동역학 모델(dynamics model)입니다. 이러한 궤적은 직접 제공되거나 텍스트 프롬프트(prompt) 또는 원하는 실험 결과로부터 실시간으로 생성될 수 있습니다. 모델 아키텍처는 시계열과 같은 시공간 측정 데이터, 이미지 시퀀스, 고해상도 스펙트로그램 등 서로 크게 다른 시간 척도에서 수집된 다양한 입력 양식(modalities)을 임베딩(embedding)하는 여러 시공간 토크나이저로 구성됩니다. 백본(backbone)은 초기 잠재 플라즈마 상태와 구동기 궤적이 주어졌을 때 이론적으로 무한한 지평(horizon)에 걸쳐 DIII-D 방전 전체를 예측할 수 있는 자기회귀(auto-regressive) 동역학 모델로 이루어져 있습니다. IGNITE는 핵융합을 위한 효율적인 AI 기반 실험 계획 및 월드 모델링으로 나아가는 길을 열어줍니다.
결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)는 표현 붕괴(representation collapse)가 발생하기 쉬우며, 일반적으로 경험적 휴리스틱을 통해 이를 완화합니다. 본 연구에서는 이러한 휴리스틱들을 통합하는 초기 학습 안정성 이론을 개발합니다. 자명한 고정점 주변에서 결합된 JEPA 그래디언트 흐름을 선형화하면 두 가지 상충하는 효과인 구동력($γ$)과 감쇠 효과($σ$)가 드러납니다. 근사적 스펙트럼 디커플링 조건에서 모드별 안정성 비율 $μ_i = γ_i / σ_i$는 독립적인 데이터 측 및 예측기(predictor) 측 항으로 인수분해되며, 불안정한 모드의 수는 나타날 수 있는 표현의 랭크(rank)를 추적합니다. 이 프레임워크는 상전이 경계(phase boundary)를 예측하며, 저자들은 800개 이상의 Tabular-JEPA 구성을 통해 이를 실증적으로 확인합니다. 또한 이 프레임워크는 예측기 스케일링, 마스킹 비율, EMA를 $μ$를 이동시키는 별개의 메커니즘으로 통합합니다. 이러한 분석을 바탕으로, 초기화 시 어텐션이 항등(identity) 방향으로 편향된 트랜스포머 예측기인 ResidualPred를 도입합니다. ResidualPred는 정형 데이터(tabular) 벤치마크뿐만 아니라 CIFAR-10, CIFAR-100, STL-10, ImageNet에서의 I-JEPA 사전학습 모두에서 유효 랭크와 다운스트림 정확도를 향상시킵니다. 본 프레임워크는 경험적인 붕괴 방지 휴리스틱을 명시적인 역학적 관점으로 연결하여 이론 기반의 안정화 기법을 제시합니다. 코드는 https://github.com/jose-melo/drive-vs-decay 에서 확인할 수 있습니다.
지문 인식은 널리 배포된 생체 인식 기술이지만, 지도학습(supervised training)에는 대규모의 라벨링된 등록 데이터셋이 필요합니다. 자기지도학습(SSL)은 이러한 요구 조건을 없애주며, 학습된 표현을 풍부하게 만들기 위해 하이브리드 양자-고전(hybrid quantum-classical) 모델이 제안되었습니다. 기존의 양자 SSL 연구들은 단일 대조 목적식(contrastive objective)만을 고려했기 때문에, 보고된 이점이 목적식에 따른 것인지 아니면 양자 회로에 기인한 것인지 불분명합니다. 본 연구에서는 대조 방식인 SimCLR 및 MoCo v2와 비대조 방식인 BYOL 등 세 가지 SSL 프레임워크에 QuFeX 양자 특징 추출 모듈을 삽입하고, 인코더 특징에 대한 k-최근접 이웃(k-nearest-neighbor) 식별을 사용하여 SOCOFing 지문 데이터셋 및 CIFAR-10 대조군에서 일치된 표현 너비(8 큐비트와 동일한 8개 특징)로 각 하이브리드 모델을 고전적 대응 모델과 비교합니다. 단일 실행 실험에서 하이브리드 모델은 두 대조 목적식 모두에서 분명히 더 높은 점수를 기록한 반면, BYOL의 경우 다중 시드(multi-seed) 분석에서 유의미한 차이가 나타나지 않아 어떠한 이점이든 SSL 목적식에 따라 달라짐을 시사합니다. 하드웨어 효율적인 회로(QNet)는 동일한 성능 향상을 보이지 않았습니다. 회로 아키텍처, 학습 가능한 매개변수 수, 비선형성 및 8-큐비트 회로의 고전적 시뮬레이션 가능성을 고려하여 이러한 성능 향상이 양자 회로에 기인한 것인지 검토합니다.
뇌전도(EEG) 표현을 위한 자기지도학습(self-supervised learning)의 최근 발전은 주로 마스크 재구성(masked reconstruction)에 크게 의존해 왔으며, 이 방식에서는 모델이 무작위로 마스킹된 신호 구간을 복원하도록 학습(training)됩니다. 마스크 재구성은 국소적 의존성을 모델링하는 데 효과적이지만, 그 학습 목표는 신경 활동을 특징짓는 데 필수적인 전역적 생성 제약 조건을 모델이 포착하도록 강제하지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 EEG 신호 생성을 목표로 삼기 위해 잠재 확산 모델(latent diffusion model)을 활용하는 새로운 자기지도 프레임워크인 EEGDM을 제안합니다. 마스크 재구성과 달리, 확산 기반 생성은 잡음(noise)에서 사실적인 신호로 점진적으로 노이즈를 제거(denoising)하여 모델이 전체적인 시간적 패턴과 채널 간 관계를 포착하도록 강제합니다. 구체적으로 EEGDM은 원시 신호와 채널 증강을 컴팩트한 표현으로 증류하는 EEG 인코더를 포함하며, 이 표현은 확산 노이즈 제거 과정을 안내하는 조건 정보로 사용되어 인코더와 확산 모델이 생성 목표를 통해 공동으로 최적화(optimization)될 수 있도록 합니다. 이러한 설계를 통해 EEGDM은 컴팩트한 잠재 공간을 갖추게 되며, 이는 생성 과정에 대한 충분한 제어력을 제공할 뿐만 아니라 다운스트림 태스크에도 활용될 수 있습니다. 실험 결과는 EEGDM이 (1) 고품질 EEG 신호를 재구성하고, (2) 강건한 표현을 학습하며, (3) 다양한 다운스트림 태스크 전반에서 경쟁력 있는 성능을 달성함을 보여줌으로써 자기지도 EEG 표현 학습의 새로운 방향을 모색합니다.
터미널 에이전트(agent)는 소프트웨어 공학을 넘어 과학 및 기타 전문 분야에 점점 더 많이 배포되고 있습니다. 학습(training) 환경을 구축하려면 실행 가능한 기준 동작과 겉으로만 그럴듯한 결과물과 의미론적 정확성을 구분하는 도메인 특화 검증기(verifier)가 필요합니다. 각 작업마다 이러한 구성 요소를 직접 작성하는 것은 반복적인 엔지니어링을 요구하며 재사용성을 제한합니다. 본 연구에서는 구조화된 입력을 출력으로 매핑하는 실행 가능한 프로그램인 기존 소프트웨어 워크플로로부터 기준 출력과 검증 대상을 얻는 자기지도(self-supervised) 프레임워크인 소프트웨어 인 더 루프 재구성(software-in-the-loop reconstruction, SWR)을 소개합니다. 각 워크플로에 대해 여러 입력 구성을 실행하고 사례를 공개 관측치와 비공개 평가로 분할합니다. 지시문, 입력 스키마, 공개된 입출력 관측치가 주어지면 에이전트는 소스 워크플로에 직접 접근하지 않고도 편집 가능한 프로그램을 구성합니다. 후보 프로그램은 비공개 구성에서 워크플로 출력을 기준으로 평가됩니다. 계층적 검증기는 도메인 특화 의미 비교, 구조적 유효성, 지름길 방지(anti-shortcut) 검사를 결합하며, 공개 피드백은 반복적인 수정을 지원합니다. 이러한 구축 방식은 각 작업마다 기준 솔루션을 직접 작성하지 않고도 추가적인 워크플로와 구성을 수용할 수 있습니다. 6개 도메인에 걸쳐 500개의 워크플로와 46개의 소프트웨어 패밀리로 SWR을 구현했습니다. 작업당 3회의 시도에 걸쳐 Qwen3.8-Max는 838개의 작업을 해결하고 1,422개의 검증된 궤적을 생성했으며, 이를 오버샘플링하여 3,000개의 재구성 전용 학습 예제를 구축했습니다. Qwen3.8-27B의 지도 미세조정(supervised fine-tuning)은 3개 시드에 걸쳐 평균 Terminal-Bench 2 성능을 47.94%에서 53.56%로 향상시켰으며, 보고된 4개의 평가 모두에서 토큰(token) 수가 일치하는 4개의 말뭉치 대조군 중 가장 높은 평균을 달성했습니다. 이러한 결과는 기존의 과학 소프트웨어가 터미널 에이전트를 위한 확장 가능하고 동작 검증된 지도 신호를 제공할 수 있음을 보여줍니다.
긴 호흡(long-horizon)의 시각운동(visuomotor) 작업은 AI에서 여전히 근본적인 도전 과제입니다. 기존 방식들은 수작업으로 설계된 보상(reward)이나 행동 라벨이 지정된 시연(demonstration) 데이터에 의존하는데, 둘 다 확장성이 없기 때문입니다. 본 논문에서는 보상 형성(reward shaping)이나 전문가의 어노테이션 없이 라벨이 없고 노이즈가 있는 인터넷 비디오로부터 긴 호흡의 정책을 학습하는 에이전트 시스템인 ASH를 소개합니다. ASH는 자기 개선(self-improvement) 루프를 따릅니다. 에이전트가 막히면 자신의 궤적으로부터 역동역학 모델(Inverse Dynamics Model, IDM)을 학습하고, 이 IDM을 활용해 관련 인터넷 비디오로부터 지도(supervision) 정보를 추출합니다. ASH는 비지도 학습을 사용해 대규모 인터넷 비디오에서 핵심 순간을 식별하고 이를 장기 기억으로 유지하여 긴 호흡의 문제를 해결할 수 있도록 합니다. 수 시간에 걸친 계획 수립이 요구되는 상호보완적인 두 환경, 즉 턴제 RPG인 Pokemon Emerald와 실시간 액션 어드벤처 게임인 The Legend of Zelda: The Minish Cap에서 ASH를 평가합니다. 두 게임 모두에서 행동 복제(behavioral cloning), 검색 증강(retrieval-augmented), 제로샷(zero-shot) 파운데이션 모델 기준선(baseline)들은 정체되는 반면, ASH는 8시간의 평가 전반에 걸쳐 지속적으로 진행을 이어갑니다. Pokemon Emerald에서 가장 강력한 기준선이 평균 9.3/12개의 마일스톤에 머무르고 The Legend of Zelda에서는 7.8/12개에서 막히는 반면, ASH는 각각 평균 11.2/12개 및 9.9/12개의 마일스톤에 도달합니다. 본 연구는 자기 개선 에이전트가 긴 호흡의 세계에서 학습하기 위한 확장 가능한 해법임을 입증합니다.
벡터 공간 데이터는 도로, 건물, 관심 지점(POI)과 같은 이산적인 지리개체(geoentity)로 세상을 표현하며, 각 개체는 의미론적 속성, 기하학적 형태(geometry), 그리고 거리적 인접성 및 위상수학적 관계를 포함한 다른 지리개체와의 공간적 관계를 갖습니다. 지리개체 표현을 학습하기 위한 기존 방법들은 대개 단일 기하학적 유형만을 지원하거나 이러한 관계 중 일부만을 모델링하므로, 서로 다른 이종 지리개체 간의 공간적 맥락을 포착하고 다양한 다운스트림 태스크를 지원하는 데 한계가 있습니다. 본 논문에서는 이종 벡터 지리개체를 위한 새로운 자기지도 표현 프레임워크인 NARA(Neural Anchor-conditioned Relation-Aware representation learning)를 제안합니다. NARA는 주변의 점(point), 폴리라인(polyline), 폴리곤(polygon) 전반에 걸친 위상수학적 관계로 조정된 기하학적 거리를 활용하여 공간적 자기상관을 모델링하는 공간 맥락 인식 어텐션(spatial-context-aware attention)을 통해 지리개체를 맥락화합니다. 또한 NARA는 마스크된 지리개체 의미론적 모델링과 기하학 인식 공간 관계 모델링뿐만 아니라, 공간적 자기상관을 고려하면서 공통 기준 개체와 동일한 공간적 관계를 공유하는 지리개체들이 유사한 표현을 갖도록 유도하는 관계 조건부 정규화를 도입합니다. NARA의 동결된 태스크 무관 인코더는 폴리라인을 위한 교통 속도 예측, 폴리곤을 위한 건물 용도 분류, 점을 위한 다음 관심 지점 예측 전반에서 각 태스크에 맞게 맞춤 설계된 구조를 지닌 최신 최고 수준(SOTA) 방법들의 성능을 능가합니다.
기존의 억양 정규화(accent normalization) 방법들은 일반적으로 억양 강도에 대한 제어 기능을 제공하지 않지만, 언어 학습이나 더빙과 같은 많은 응용 분야에서는 조절 가능한 억양 유지가 요구됩니다. 본 논문에서는 자기지도 음성 토큰에 대한 마스킹된 이산 확산(discrete diffusion)을 기반으로 구축된 제어 가능한 억양 정규화 시스템인 DLM-AN을 제안합니다. 공통 토큰 예측기(Common Token Predictor)는 원어민 발음을 인코딩할 가능성이 높은 소스 토큰을 식별하며, 이러한 토큰들은 역 확산 과정을 초기화하기 위해 선택적으로 재사용됩니다. 이는 억양 강도를 제어하는 간단하면서도 효과적인 메커니즘을 제공합니다. 즉, 더 많은 토큰을 재사용할수록 기존 억양이 더 많이 보존됩니다. 나아가 DLM-AN은 원어민 리듬에 더 잘 부합하도록 전체 길이를 자동으로 조정하는 플로우 매칭(flow-matching) 기반의 길이 비율 예측기(Duration Ratio Predictor)를 통합합니다. 다중 억양 영어 데이터에 대한 실험 결과, DLM-AN은 비교 대상 시스템 중 가장 낮은 단어 오류율(WER)을 달성하는 동시에 경쟁력 있는 억양 감소 성능과 매끄럽고 해석 가능한 억양 강도 제어 기능을 제공함을 보여줍니다. 구현 코드는 https://github.com/P1ping/DLM-AN 에서 확인할 수 있습니다.
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
DINOv2와 같은 자기지도학습 비전 트랜스포머(Vision Transformer, ViT)는 풍부한 시각적 표현을 학습하지만, 내부 토큰들의 기능은 여전히 명확히 이해되지 않고 있습니다. 최근 아키텍처들은 배경 영역에서 발생하는 고노름(high-norm) 이상치 패치 토큰을 줄이기 위해 전용 레지스터 토큰을 도입했으나, 두 토큰 유형 모두 의미적 및 기능적 역할이 완전히 규명되지 않았습니다. 본 논문에서는 DINOv2의 레지스터 토큰 및 이상치 토큰 활성화에 희소 오토인코더(SAE)를 학습시켜 이러한 역할들을 분석합니다. 자동화된 해석 가능성 파이프라인, UMAP 클러스터링, CLIP 공간 교차 검증을 통해 레지스터 토큰 특징이 고수준 의미론적 개념과 더 강하게 연관되어 있음을 발견했습니다. 반면 이상치 토큰 특징은 저수준의 구조적, 배경적 및 질감 위주의 패턴과 더 자주 연관됩니다. 나아가 인과적 절제(causal ablation) 실험은 상당한 기능적 비대칭성을 드러냅니다. 즉, 활성화가 가장 높은 레지스터 유래 특징을 교란하면 표현 코사인 유사도가 48.17% 감소하는 반면, 이상치 유래 특징을 교란하면 단 0.31%만 감소합니다. 종합적으로, 본 연구 결과는 자기지도학습 ViT에서 토큰 전문화(token specialization)의 증거를 제공합니다.
해양 생태계는 기름 유출, 유해 조류 번식, 퇴적물 범람 등 서식지와 야생동물, 인간 활동을 방해하는 다양한 위협의 영향을 받습니다. 위성 영상과 인공지능(AI)의 발전은 이러한 위험 요소를 조기에 탐지하고 완화할 수 있는 역량을 향상시켰습니다. 본 논문에서는 다중분광 또는 초분광 센서를 탑재한 지구 관측 위성을 위한 해양 이벤트 탐지 파이프라인을 제안합니다. 제안하는 접근법은 위성 영상을 축소된 잠재 공간(latent space)으로 압축하여 효율적인 위성 탑재(onboard) 처리를 가능하게 하는 자기지도 학습(self-supervised) 신경망(neural network) 인코더를 포함합니다. 머신러닝 이상 탐지 모델(model)은 정상적인 해양 패턴으로부터의 편차를 식별하여 환경적 이상 현상을 감지합니다. 이 성능을 Isolation Forest, One-Class Support Vector Machine, Local Outlier Factor와 같은 전통적인 알고리즘과 비교합니다. 리소스 효율적인 경량 파이프라인은 임베디드 CPU부터 AI 하드웨어 가속기에 이르기까지 계산 자원이 제한된 위성에 배포할 수 있도록 최적화되었습니다. 중요한 정보의 전송을 우선시함으로써, 본 솔루션은 시스템 응답성을 높이고 위성 통신 대역폭을 최적화합니다. 유럽우주국(ESA)의 Phisat-2 미션 및 Microsoft/Thales Alenia Space의 IMAGIN-e 미션을 포함한 여러 실제 미션에 적용되어 입증된 이 파이프라인은 적시 경보와 효율적인 데이터 감축을 제공하여 해양 환경 모니터링을 개선하는 것을 목표로 합니다.
본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.
대규모 병리학 이미지 말뭉치로 학습된 파운데이션 모델(foundation model)은 이제 전산병리학(computational pathology)을 위한 강력하고 전이 가능한 표현을 제공합니다. 지난 몇 년간 이러한 모델들이 잇달아 공개되었으며, 각 모델은 이전 모델보다 더 많은 슬라이드로 학습되었습니다. 표준 분류 및 분할(segmentation) 벤치마크에서 선도적인 모델들 간의 격차는 이제 매우 미미한 수준입니다. 그러나 임상 현장에서는 파운데이션 모델이 학습 데이터에 포함되지 않은 병원, 스캐너 및 염색 프로토콜에서 생성된 이미지에 적용됩니다. 인코더는 일반적으로 생물학적 정보와 함께 이러한 획득 요인(acquisition factor)들을 함께 임베딩하며, 이는 다운스트림 오류를 유발하고 안전한 임상 도입을 저해할 수 있습니다. 따라서 병리학 파운데이션 모델은 표현 품질을 유지하면서도 데이터 획득 변화(acquisition shift)에 강건해야 하지만, 강건성은 모델 간 비교에서 거의 고려되지 않는 기준이었습니다. 본 보고서에서는 DINO 및 iBOT 목표로 학습되고, 약 575,000개의 임상 전체 슬라이드 이미지(WSI)에서 추출한 형태학적으로 균형 잡힌 5억 개의 타일 말뭉치에서 고해상도 그람 앵커링(Gram anchoring)으로 정제된 ViT-G/14 병리학 파운데이션 모델인 HERO(Histology Encoder for Robust Representation in Oncology)를 소개합니다. 평가된 공개 벤치마크 전반에서 HERO는 비교된 최고 수준(state-of-the-art)의 파운데이션 모델 중 기관, 스캐너 및 염색 변화에 대해 가장 강력한 강건성을 보였습니다. 또한 타일 수준의 분류, 분할 및 유전자 발현 예측에서 필적하는 성능을 달성했으며, 평가된 39개 슬라이드 수준 임상 작업 전반에서 평균 1위를 기록했고, 동일 가중치 프레임워크 수준 분석에서도 6개 벤치마크 프레임워크 전반에 걸쳐 가장 우수한 평균 순위를 기록했습니다.
고차원 시각적 관측으로부터 학습된 월드 모델(world model)은 에이전트가 픽셀 수준의 재구성을 피하면서 잠재 공간(latent space)에서 직접 의사결정하고 계획(planning)을 수립할 수 있도록 해줍니다. 그러나 DINO 월드 모델(DINO-WM)을 포함한 최근의 잠재 예측 아키텍처(JEPA)는 해결하려는 작업과 무관한 배경 변화 및 시각적 방해 요소(distractor)와 같은 시각적 변동을 포함하는 "느린 특징(slow features)"에 민감하여 테스트 시점의 강건성 저하를 보입니다. 본 연구에서는 제어 관련 상태 동등성을 강제하는 바이시뮬레이션 인코더(bisimulation encoder)로 예측 목적 함수를 보강하여 이 한계를 해결합니다. 이를 통해 느린 특징의 기여를 제한하는 동시에 유사한 전이 역학(transition dynamics)을 가진 상태를 가까운 잠재 상태로 매핑합니다. 우리는 다양한 테스트 시점 배경 변화 및 시각적 방해 요소 환경하의 내비게이션 작업(PointMaze)과 조작 작업(PushT)에서 모델을 평가(evaluation)합니다. 모든 벤치마크(benchmark)에 걸쳐 본 모델은 DINO-WM보다 최대 10배 작은 축소된 잠재 공간에서 작동하면서도 느린 특징에 대한 강건성을 일관되게 향상시킵니다. 또한, 본 모델은 사전학습(pre-training)된 시각적 인코더 선택에 구애받지 않으며, DINOv2, SimDINOv2, iBOT 특징과 결합했을 때도 강건성을 유지합니다.
널리 사용되는 멀티모달 자기지도학습(SSL) 방법론들은 서로 다른 뷰(view)가 태스크와 관련된 상당한 양의 정보를 공유한다는 중복성(redundancy) 가정에 의존합니다. 본 연구에서는 이질성(heterogeneity, 예: 가변 길이의 의료 또는 행동 데이터)이 두드러지는 복잡한 실세계 환경에서는 이러한 가정이 무너지며, 엄격한 정렬(alignment)을 강제할 경우 고유한 모달리티별 신호가 손실되고 의도치 않게 바이어스가 증폭될 수 있음을 주장합니다. 이에 따라 본 논문에서는 데이터 이질성을 장애물이 아닌 공정성을 위한 자원으로 활용하는 프레임워크인 FairSSL을 제안합니다. 일반적인 대조 학습(contrastive learning) 방식과 달리, FairSSL은 동일한 피험자(subject)로부터 추출된 세그먼트 간의 정렬을 강제하는 피험자 인지 기반 분산-불변성-공분산 정규화(Variance-Invariance-Covariance Regularization) 목적 함수를 사용합니다. 가변 길이 모달리티를 다루기 위해 세그먼트 기반 풀링 전략을 도입하며, (i) 충분한 피험자 내 변동성(within-subject variability), (ii) 교차 모달 및 교차 피험자 불변성(cross-modal and cross-subject invariance), (iii) 표현 비상관화(representation decorrelation)를 유도하도록 표현을 정규화합니다. 이론적 분석을 통해 본 목적 함수가 보호 집단 간의 점수 격차를 제한함을 보입니다. 실증적으로 FairSSL은 이질적 멀티모달 데이터셋에서 기존 베이스라인 모델들을 크게 능가하며, 다운스트림 예측 성능을 저하시키지 않고도 공정성을 개선합니다. 코드는 https://github.com/abtinmU/FairSSL 에서 확인할 수 있습니다.