레이블 데이터 없는 메타학습은 레이블 데이터셋 획득이 비용이 크거나 프라이버시 문제로 제한될 수 있는 실세계 응용에서 매우 중요하다. 데이터 없는 메타학습(DFML)은 학습 데이터에 접근하지 않고 사전학습 모델을 활용하여 이 문제를 해결한다. 그러나 기존 DFML 방법들은 학습 데이터를 생성하기 위해 모델 역변환(model inversion)에 의존하는데, 이는 원래 분포와 일치하는 고차원 데이터를 생성해야 하므로 일반적으로 어렵고 계산 비용이 크다. 이 한계를 해결하기 위해, 우리는 사전학습 모델과 비레이블 데이터를 함께 활용하여 모델 역변환을 피하는 새로운 메타학습 설정을 제안한다. 우리의 방법은 사전학습 모델로부터 비레이블 데이터에 소프트 레이블(soft label)을 할당하여 메타학습 태스크를 생성한다. 이러한 태스크의 품질이 다를 수 있으므로, 효과적인 메타학습을 보장하기 위해 태스크 신뢰도와 클래스 분포 균형에 기반한 태스크 가중치 메커니즘을 도입한다. 광범위한 실험을 통해 우리의 접근법이 계산 비용을 크게 줄이고 일반화 성능을 향상시킴을 입증한다. 최신 DFML 방법 대비 최대 104배의 속도 향상과 퓨샷 분류 정확도에서 8.4%에서 36.4%의 개선을 달성한다.
비지도 음절 토큰화는 원시 음성에서 잠재적 언어 내용 관련 구조를 포착하는 이산 음절 토큰을 학습하는 것을 목표로 한다. 최근의 음절 토큰화 방법들은 사전학습된 HuBERT의 교사-학생 지식 증류를 활용하여 잠재 음성 프레임 표현을 음절 세그먼트로 구성한다. 그러나 발화 수준의 교차 엔트로피 목적 함수로 학습할 경우, 모델이 언어 내용 대신 화자 정체성을 예측하게 되어 음절 토큰의 순도가 저하된다. 이 문제를 해결하기 위해, 우리는 고정 길이 청크 내에서 화자 섭동이 적용된 학생 표현을 깨끗한 교사 타깃으로 회귀시키는 화자 분리 음절 토크나이저를 제안한다. 실험 결과, 제안된 방법이 음절 경계 검출 및 음절 세그먼트 클러스터링에서 최첨단 성능을 달성함을 보인다. 또한 우리의 음절 토큰으로 학습된 음성 언어 모델은 음소 수준의 SpiRit-LM 대비 통사적 및 의미적 이해에서 7%의 상대적 성능 향상을 달성한다.
디코더가 빠르게 스케일링된 반면, 인코더는 BERT 이후 거의 변화가 없었다. 우리는 프로빙(probing)을 통한 동결 백본(frozen backbone) 평가로 이 불균형을 재검토한다. 이 관점에서, BERT 인코더의 표현은 퍼플렉서티(perplexity)가 개선됨에도 불구하고 동결 프로브에 의해 점점 활용 불가능해진다. 이 불일치는 표현 학습을 토큰 재구성 손실에 결합시키는 BERT의 평탄한 설계에서 비롯된다. 우리는 고품질 인코딩된 표현의 학습을 토큰 재구성의 엄격한 그라운딩으로부터 분리하는 두 부분으로 구성된 아키텍처인 CrossBERT를 제안한다. 이 설계는 또한 보완적 마스킹 전략(Complementary Masking Strategy)을 통해 높은 마스킹 비율(≥50%) 및 모든 토큰에 대한 그래디언트 수집을 가능하게 하여, 처리량을 각각 1.5~2배, 샘플 효율을 2배 향상시킨다. 전반적으로, CrossBERT는 MTEB(eng, v2) 및 동결 GLUE 벤치마크에서 단조로운 스케일링과 우수한 성능을 보인다.
심장 시네 자기공명영상(MRI)은 방사선과 의사에게 동적 정보를 제공하는 중요한 진단 도구입니다. 획득 속도를 높이기 위해 언더샘플링된 k-공간 데이터가 자주 사용되며, 이 경우 코일 감도 인코딩과 사전 정보를 결합하여 누락된 데이터를 복원하는 재건 방법이 필요합니다. 심층 학습(deep learning) 접근법은 데이터 적응형 사전 정보를 활용하는 방식으로 더 많은 주목을 받고 있습니다. 지도 학습 방식이 일반적인 선택지이지만, 이는 완전히 샘플링된 참조 데이터에 의존하며 이러한 데이터가 항상 확보 가능한 것은 아닙니다. 비지도 방식은 완전히 샘플링된 참조 데이터의 필요성을 제거하므로, 심장 시네 MRI 재건에서 유리할 수 있습니다. 그 중 암묵적 신경 표현(INR)은 단순한 구조와 우수한 재건 품질로 인해 높은 잠재력을 보여 왔습니다. 본 연구에서는 I-FP-INR이라 명명한 이미지 도메인 이중 브랜치 INR 프레임워크를 제안합니다. 이 프레임워크는 기존 INR 설계를 확장하여 추가적인 특징(feature) 처리 브랜치를 도입합니다. 이 설계는 보완적인 특징 임베딩(feature embedding)을 추출하여 전체적인 표현을 향상시키고 재건에 기여하는 것을 목표로 합니다. 공개 데이터셋과 자체 데이터 모두에 대한 광범위한 평가에서, 다양한 시나리오에 걸쳐 강력한 견고성과 함께 기준선(baseline) 방법 대비 재건 품질의 일관된 향상이 확인되었습니다.
테스트 타임 적응(TTA)은 비전-언어 모델(예: CLIP)의 다운스트림 태스크 성능을 향상시키기 위한 인기 있는 패러다임으로 부상했습니다. 기존 CLIP 기반 TTA 방법들 중에서 테스트 타임 프롬프트 튜닝(TPT)은 여러 테스트 타임 증강을 활용하여 텍스트 프롬프트를 최적화하는 선구적인 연구로, 현재까지도 강력한 기준선으로 남아 있습니다. 본 연구에서는 TPT를 재검토하고, 그 최적화 과정이 자기 생성 의사 레이블(pseudo label)로부터 암묵적으로 학습하는 것으로 해석될 수 있음을 밝힙니다. 이 관점을 바탕으로, 우리는 최적화 단계와 추론 단계 간의 일관성을 보장하는 통합 자기 앙상블 프레임워크(USE)를 제안합니다. 최적화 단계에서는 증강된 뷰보다 테스트 이미지 자체를 적응적으로 강조하여 더 신뢰할 수 있는 의사 레이블을 획득하는 간단하면서도 효과적인 자기 앙상블(SE) 전략을 도입합니다. 증강의 잠재력을 완전히 활용하기 위해, 추론 시에도 동일한 전략을 적용하여 두 단계의 목표를 통합합니다. 주목할 점은, SE가 경량의 최적화 불필요 TTA 방법으로도 기능할 수 있다는 것입니다. 여러 데이터셋에 걸친 광범위한 실험을 통해 SE와 USE가 각각의 비교 대상을 능가함을 입증합니다. 또한, SE는 기존 TTA 방법들과 통합될 때 일관된 성능 향상을 제공합니다. 코드는 https://github.com/sirujiang/USE 에서 확인할 수 있습니다.
수십 년간의 궤도 탐사 임무를 통해 달에 대한 멀티모달 원격 탐사 데이터가 축적되었으며, 광학 영상, 분광학, 열 방출, 레이더, 중력, 원소 조성 데이터 등을 포함한다. 그러나 이러한 데이터셋은 여러 아카이브에 분산되어 있으며, 달 데이터에 대한 머신러닝 평가를 위한 벤치마크는 현재 존재하지 않는다. 우리는 달 원격 탐사를 위한 최초의 멀티모달 파운데이션 모델 벤치마크인 Moonstone을 소개한다. 본 연구의 기여는 다음과 같다: (1) 5개 탐사 임무에 걸친 7개 기기군으로부터 구축된 28채널, 도당 128픽셀(~237 m) 해상도의 전역 달 사전학습 데이터셋, (2) MG-MAE—그룹별 합성곱 토크나이저, 공유 Vision 트랜스포머 인코더, 누락 모달리티에 대한 어텐션 마스킹, 이질적 공간 커버리지를 위한 커버리지 적응형 마스킹, 물리적으로 타당한 재구성을 위한 스펙트럼 연속성 정규화를 갖춘 모달리티 그룹화 마스크드 오토인코더, (3) 분류, 회귀, 분할을 포함하는 6개의 다운스트림 태스크로 구성된 벤치마크. MG-MAE 사전학습 특징은 모든 태스크에서 스크래치 기준선을 능가하며, ImageNet 사전학습 기준선 및 일반 MAE 기준선 모두를 큰 차이로 초월한다. 데이터와 코드는 https://huggingface.co/datasets/ayushprd/Moonstone 및 https://github.com/ayushprd/Moonstone 에서 이용 가능하다.
비지도 도메인 적응(UDA)에서의 적대적 강건성은 노이즈가 많은 의사 레이블과 깨끗한 소스 도메인과 적대적으로 교란된 타겟 도메인 간의 내재적 분포 이동으로 인해 여전히 중요한 과제로 남아 있다. 기존 접근법들은 도메인 적응 모델이 생성한 의사 레이블이 적대적 공격 하에서 분류 오류를 유발하는 경향이 있어, 강건성과 정확도 간의 최적 균형을 달성하지 못하는 경우가 많다. 본 연구에서는 CLIP의 사전학습된 시각 인코더 위에 지도 미세조정(SFT)과 강화학습(RL)을 통합한 2단계 강건 UDA 프레임워크인 SFT+RL을 제안한다. SFT 단계에서는 레이블이 있는 소스 도메인에 대해 PGD 기반 교란을 사용하여 선형 분류기를 적대적으로 미세조정하는 동시에 CLIP의 프로젝션 층을 부분적으로 동결 해제한다. 이를 통해 CLIP의 풍부한 의미론적 사전 지식을 보존하면서 적대적 노이즈에 적응할 수 있다. RL 단계에서는 레이블이 없는 타겟 샘플을 점진적으로 주석 처리하기 위한 신뢰도 기반 의사 레이블링 전략을 도입한다. 의사 레이블은 품질과 커버리지의 균형을 맞추기 위해 감쇠하는 신뢰도 임계값으로 필터링되며, 모델은 깨끗한 소스 샘플과 고신뢰도 타겟 샘플을 결합하여 구성한 복합 데이터셋으로 학습된다. 도메인 간 강건성을 높이기 위해 깨끗한 예제와 적대적 예제의 혼합 배치에 적대적 학습이 적용된다. OfficeHome, PACS, VisDA 세 가지 벤치마크 데이터셋에 대한 종합적인 평가를 통해 제안 방법의 효과가 입증되었다. 특히 SFT+RL은 세 데이터셋 전체에서 깨끗한 정확도 10.2%, 적대적 강건성 15.8%의 평균 향상을 달성하여 기존 최신 기법들을 능가하였다.
이 논문은 동결된 특징 인코더로 사용된 자기지도 비전-트랜스포머 망막 파운데이션 모델 RETFound와 공개 데이터셋인 APTOS 2019 및 DDR 당뇨망막병증 안저 이미지 데이터셋을 활용하여, 위탁 가능 당뇨망막병증 선별검사에 대한 불확실성 인식 마지막 층 적응의 안전성 중심 경험적 평가를 제시한다. 우리는 캐시된 특징 소프트맥스 헤드, 사후 온도 스케일링, 변분 베이지안 마지막 층 헤드, 대각 라플라스 마지막 층 근사, 그리고 SNGP 방식의 캐시된 특징 헤드를 비교한다. APTOS에서 불확실성 인식 동작점은 민감도와 선택적 의뢰 행동을 개선하였다. 가장 강력한 APTOS 선택적 의뢰 결과는 약 20%의 사례를 보류하면서 수락된 사례의 위음성을 0으로 줄이는 동시에 높은 수락 사례 특이도를 유지하였다. 그러나 임계값 조정 역시 높은 위양성 비용을 감수하면서 위음성을 줄였기 때문에, 위음성 감소만으로는 베이지안 모델링 고유의 특성이 아니었다. DDR에서는 기본 베이지안 헤드가 APTOS 방향을 정성적으로 재현하였지만 트레이드오프가 더 약했으며, APTOS로 학습된 SNGP 체크포인트는 전이 성능이 낮아 유용한 외부 선택적 의뢰 행동을 제공하지 못했다. 이러한 결과는 집합적 정확도를 넘어선 안전성 중심 평가의 가치를 부각시킨다: 불확실성 인식 마지막 층 헤드는 내부 안전성 지향 동작점을 개선할 수 있지만, 신뢰할 수 있는 망막 선별검사 주장을 위해서는 시프트 하에서의 명시적 안전성-커버리지 평가와 두 번째 데이터셋 검증이 요구된다.
자동화된 이미지 인식은 생태학적 모니터링을 수동 어노테이션 너머로 확장하기 위해 점점 더 많이 활용되고 있으나, 생태학자들은 새로운 사이트에서의 안정적인 배포에 얼마나 많은 레이블링 작업이 필요한지에 대한 근거 기반 지침이 부족하다. 우리는 비전 시스템을 해양 서식지 간에 전이할 때 레이블링 작업량과 인식 정확도 사이의 트레이드오프를 정량화하는 의사결정 프레임워크를 제안한다. 벤치마크는 5개 데이터셋, 3개 대양, 3개 분류군(어류, 산호, 무척추동물)을 포괄하며, 그레이트 배리어 리프와 프랑스령 폴리네시아의 열대 암초에서 온대 덴마크 피오르드까지 다양한 환경을 아우른다. 우리는 4가지 인식 모델(DINOv2, CLIP, ResNet-50, EfficientNet-B4)을 4가지 적응 전략(선형 프로빙(linear probing), LoRA, Visual Prompt Tuning, 전체 미세조정) 하에, 세 가지 프로토콜에 걸쳐 평가하였다: 20개 리프 사이트에 걸친 서식지 내 전이(240회 실행), 난이도 그래디언트를 따른 크로스 데이터셋 지리적 전이(40회 실행), 그리고 클래스당 0~100개의 레이블된 샘플을 사용한 퓨샷 적응 곡선(648회 실행). 동결된 자기지도 파운데이션 특징(DINOv2 + 선형 분류기, 학습 가능한 파라미터 1,538개)은 학습 가능한 파라미터 수가 4자릿수 더 많은 완전 미세조정된 합성곱 베이스라인과 적어도 동등하게 미관측 리프 사이트에 일반화되었으며, 종 진단적이고 서식지-불변적인 표현을 학습한 반면, 베이스라인은 새로운 사이트에서 실패하는 서식지-특화 지름길을 인코딩하였다. 종당 10~20개의 레이블된 이미지만으로도 새로운 사이트에서 안정적인 인식을 배포하기에 충분하였으며, 이는 어노테이션 작업량을 대략 한 자릿수 수준으로 줄이는 것이다. 해결책. 새로운 사이트로 확장하는 프로그램은 동결된 오픈 파운데이션 모델(DINOv2)을 단순 선형 분류기와 결합하고 종당 10~20개의 이미지만 어노테이션함으로써—사이트당 약 1~4시간—안정적인 인식을 배포할 수 있다. 이 프레임워크는 프로그램이 사이트, 생태계, 플랫폼 전반에 걸쳐 예상 정확도 대비 레이블링 작업량을 예산화할 수 있게 해준다.
임상 인터뷰에서의 자동 우울증 탐지는 일반적으로 참가자 음성의 의미 내용과 음향적 특성을 모델링한다. 그러나 임상의와 참가자 간의 상호작용 타이밍은 상대적으로 모델링이 덜 이루어져 있다. 본 연구에서는 대화 시간 역학(conversational temporal dynamics), 특히 양자 간 발화 쌍 타이밍(dyadic turn-pair timing)을 자기지도 인코더(self-supervised encoder)와 융합하는 주요 모달리티로서 탐구한다. DAIC-WOZ 데이터셋에서 평가한 결과, 24차원의 소형 타이밍 모듈을 동결된 WavLM-large 및 RoBERTa-large 기준선 탐지기와 비교하였다. 이 시간 모듈은 개발 세트에서 단일 모달리티 기준 최고 성능을 달성하였다. 나아가, 볼록 가중(convex-weighted) 후기 융합 전략을 통해 전체 성능이 개발 세트와 테스트 세트에서 각각 macro-F1 0.804 및 0.669로 향상되었다. 학습된 융합은 음향에 대해 효과적으로 가중치 0을 할당하며, 이는 대화 타이밍이 양자 간 우울증 스크리닝을 위한 경량의 해석 가능한 보완 수단으로 기능함을 보여준다.
비레이블 데이터의 대규모 말뭉치를 활용하여 다운스트림 미세조정(fine-tuning)을 위한 표현을 학습하는 자기지도 사전학습(self-supervised pre-training)은 현대 기계학습의 핵심 기반이 되었다. 이 패러다임을 분석하는 이론적 연구가 증가하고 있으나, 기존의 수렴 경계(bound)는 현재의 수렴 속도가 얼마나 정밀한지, 그리고 사전학습과 미세조정 간의 복잡한 상호작용을 정확히 포착하는지에 대한 물음을 열어 두고 있다. 본 논문에서는 2단계 M-추정을 통한 사전학습의 점근 이론을 개발함으로써 이 간극을 해소한다. 핵심 과제는 사전학습 추정량이 군 대칭성(group symmetry)까지만 식별 가능한 경우가 많다는 점인데, 이는 표현 학습에서 흔히 나타나는 특징으로 세심한 처리가 필요하다. 우리는 리만 기하학(Riemannian geometry) 도구를 활용하여 사전학습 표현의 내재적 매개변수를 연구하고, 이를 궤도 불변성(orbit-invariance) 개념을 통해 다운스트림 예측기와 연결함으로써 다운스트림 테스트 위험의 극한 분포를 정확히 규명한다. 주요 결과를 스펙트럼 사전학습, 인자 모델(factor models), 가우시안 혼합 모델(Gaussian mixture models) 등 여러 사례 연구에 적용하고, 해당되는 경우 선행 연구 대비 문제별 인수(problem-specific factors)에서 상당한 개선을 달성한다.
음성 시퀀스가 텍스트 대비 최대 20배 길어 인스트럭션 튜닝 데이터 확장이 극히 어려운 문제를 해결하기 위해, SpeechCombine은 텍스트 대규모 언어 모델(LLM)의 인스트럭션 튜닝 가중치 차분(Δθ_inst)과 30k 시간 음성 사전학습으로 얻은 음성 적응 가중치 차분(Δθ_speech)을 파라미터 공간에서 선형 결합하는 모델 병합(model merging) 방식을 제안한다. 별도의 인스트럭션 튜닝 없이도 텍스트 지향, 음성 이해, 음성 생성 등 세 가지 범주의 인스트럭션 팔로잉 능력이 음성 도메인으로 효과적으로 전이됨을 실험으로 입증했다.
수신된 패킷만을 활용해 기존 패킷 손실 복구(PLC) 모델을 테스트 시점에 자기지도(self-supervised) 방식으로 적응시키는 TTT-PLC 프레임워크를 제안하며, 수신 패킷의 일부를 합성적으로 마스킹해 생성한 보조 PLC 태스크로 모델을 파인튜닝한 뒤 실제 손실 패킷 복구에 활용한다. 비인과적(non-causal) 및 인과적(causal) 스트리밍 환경 모두에서 FRN과 PARCnet 백본에 적용한 실험 결과, 추가 학습 데이터나 클린 레퍼런스 없이도 사전학습된 PLC 시스템의 성능을 향상시킬 수 있음을 보였다.
SPARCLE은 텍스트-음성 변환(TTS) 시스템에서 G2P 시스템의 한계를 극복하기 위해, Wav2Vec2 음향 표현과 화자 정체성을 조건으로 그래핌(grapheme) 임베딩을 대조 학습(contrastive learning)으로 정렬하는 화자 인식 표현 모델이다. 극단적인 저자원 환경에서 표준 그래핌 기반 모델 대비 단어 오류율(WER)을 절반으로 줄이며 음성 합성 품질을 크게 향상시켰다.
자기지도 비전 트랜스포머(ViT)가 기하학적 정보를 어떻게 인코딩하는지 분석하기 위해, 선형 프로브 가중치에 SVD를 적용하여 저랭크 부분공간을 분리하는 제어된 개입 프레임워크를 제안한다. DINOv2는 기하학적 특징을 선형 추출에 적합한 저차원 부분공간으로 압축하는 반면 MAE는 분산시키며, 기하학적 정밀도는 중간 레이어에서 최고조에 달한 후 최종 레이어에서 의미론적 표현에 자리를 내어준다는 사실을 밝혔다.
V-JEPA(비디오 결합 임베딩 예측 아키텍처)를 자율주행에 적용하여 대규모 주행 비디오로 ViT 인코더를 사전학습하고, 시뮬레이터 생성 멀티모달 궤적을 인간 궤적과 함께 증류하는 제안 중심 계획기를 결합한 Drive-JEPA 프레임워크를 제안한다. NAVSIM v1에서 93.7 PDMS, v2에서 87.8 EPDMS를 달성하며 새로운 최고 성능을 기록했고, 인지 없는 설정에서도 기존 방법 대비 PDMS 3점 향상을 보였다.
세 곳 의료기관의 38개 장기를 포괄하는 8만여 장의 전체 슬라이드 이미지로 사전학습된 병리 파운데이션 모델(pathology foundation model) Hireca는 10개 바이오마커 과제 중 5개에서 최고 성능을 기록하였으며, 세포 수준의 예측 근거를 국소화하는 해석 가능성 모듈 CytoMap은 두 나라의 병리전문의 8명 평가에서 기존 시각화 방식보다 일관되게 선호되어 일상적인 HE 조직병리 기반의 임상 검토 가능한 바이오마커 평가 프레임워크로서의 가능성을 입증하였다.
주석 없는 자기 증류(annotation-free self-distillation)의 한계를 극복하기 위해, 내부 뉴런 활성화 패턴을 활용하여 학습 데이터 선택(Neuron Consensus)과 교사 컨텍스트 구성(Neuron Overlap)을 동시에 안내하는 Neuron-OPSD 프레임워크를 제안한다. 특화 도메인 벤치마크에서 기존 주석 없는 기준 방법 대비 도메인 내 성능 향상, 교차 도메인 일반화 유지, 캘리브레이션 붕괴 완화를 달성했다.
분산 자기지도 학습(D-SSL)의 non-IID 데이터 강건성을 이론적으로 분석한 연구로, 마스킹 이미지 모델링(MIM) 기반 사전학습이 대조 학습(CL)보다 데이터 이질성에 본질적으로 더 강건하며, 연합 학습(FL)이 분산 학습(DecL)보다 강건성이 낮지 않음을 증명하였다. 이 이론적 통찰을 바탕으로 로컬-글로벌 정렬 정규화를 적용한 MAR loss를 제안하고, 다양한 모델 아키텍처와 분산 환경 실험을 통해 그 효과를 검증하였다.
잔향 음성(reverberant speech)에서 방 임베딩(room embedding)을 추정할 때 음성 콘텐츠나 녹음 열화로 인해 표현이 불안정해지는 문제를 해결하기 위해, RIR-VAE 잠재 공간 정렬과 다중 양성 대조 학습(multi-positive contrastive learning)을 결합한 3단계 프레임워크를 제안한다. 손상 유도 임베딩의 분산(dispersion)을 순위 기반 목적 함수로 보정한 경량 불확실성 헤드를 통해, 단일 발화만으로도 임베딩의 신뢰도를 정량화하는 태스크 무관(task-agnostic) 불확실성 점수를 추론 시 제공한다.