해양은 지속 가능한 발전, 특히 기후 변화 완화에서 핵심적인 역할을 한다. 해양 생태계 가운데 블루 카본(blue carbon) 생태계는 중요한 자연적 탄소 흡수원으로 인정받고 있다. 이러한 맥락에서 본 논문은 Ocean Digital Twin 이니셔티브에서 블루 카본 정량화를 위한 정밀한 해조류 분류를 다룬다. 기존 방법으로는 지도학습(데이터 부족과 도메인 격차로 제한됨)과 자기지도학습(클래스 레이블을 부여할 수 없음) 등이 수중 환경의 복잡성과 다양한 해조류 종에 어려움을 겪는다. 이를 극복하기 위해 우리는 새로운 2단계 해조류 분할 기법을 제안한다. 이 기법은 먼저 Supervised and Self-supervised Learning Model Propagation(SSL.Prop.)을 활용하며, 지도학습으로 초기 클래스 정보와 대략적 위치를 얻고 이를 통해 자기지도학습이 상세하고 정확한 분할을 수행하도록 유도한다. 이어서 MaskFusion(MF)이 인스턴스 수준 마스크를 병합하여 결과를 정제함으로써 고정밀 분할을 달성한다. 이 통합 접근법은 자동 클래스 레이블 부여를 가능하게 하고 도메인 격차 효과를 완화한다. 구체적으로, 인스턴스 분할이 희소 점 위치를 추정하고, 이것이 자기지도학습이 상세한 영역 분할을 수행하도록 유도한다. 야마구치현(Yamaguchi Prefecture)의 수중 이미지로 평가한 결과, 제안한 전체 방법(SSL.Prop.+MF)은 USIS-SAM 대비 mIoU가 0.068 향상되어, 특히 작은 해조류에 대해 유의미한 정확도 향상을 보였다. 이 접근법은 블루 카본 정량화와 해양 생태계 모니터링 개선에 큰 잠재력을 보여준다.
도시 지역이 확장됨에 따라, 효율적이고 지속 가능한 도시를 위해 주차장의 자동 모니터링이 필수적이 되었다. 본 연구는 대상 주차장으로부터 라벨이 붙은 샘플이 필요 없는 주차 공간 점유 인식을 위한 자기지도 학습 접근법을 제안한다. 자기지도 전이학습 미세조정 프로토콜을 기반으로, 제안된 학습 전략은 두 단계의 자기지도 학습 단계로 구성된다: 먼저 라벨 없는 일반 데이터에서, 그다음 라벨 없는 대상 특화 데이터에서 학습한 뒤, 일반 주차장 라벨만을 사용한 지도 미세조정이 이어진다. SimCLR과 ResNet-50 인코더를 채택하고, PKLot, CNRPark-EXT, PLds 세 공개 데이터셋에서 leave-one-out 교차-환경 프로토콜 하에 방법을 평가한다. 또한 Strong General Model을 먼저 배포한 뒤, 배포 초기 N일 동안 수집된 라벨 없는 이미지를 자기지도 학습 방식으로 통합하는 Specialized Model을 후속 배포하는 2단계 배포 전략을 도입한다. 실험 결과, Strong General Model만으로도 지도 학습 및 자기지도 학습 베이스라인을 능가하여 평균 정확도 97.2%를 달성했으며, 제안된 2단계 전략으로 97.8%까지 더 향상되었다. 이 결과는 자기지도 학습이 실제 주차 점유 모니터링을 위한 확장 가능하고 라벨 효율적인 해결책을 가능하게 함을 보여준다. 학습된 모델과 소스 코드는 https://github.com/LoanMaikon/Parking-Spot-Occupancy-Recognition 에서 공개되어 있다.
AlphaEarth Foundations(AEF)는 멀티모달 자기지도 학습(self-supervised learning)을 통해 글로벌 원격 탐사 기초 임베딩을 통합하지만, 사전학습(pre-training)은 물리적 지표면 신호에 초점을 맞춰 사회경제 과업에서의 플러그앤플레이 활용을 제한한다. 8년에 걸쳐 36개 중국 도시에서 AEF 임베딩, 인구, 야간 조명, 원격 탐사 지수, 관심 지점(POI), 도시 형태, 다언어 텍스트 등 7개의 이질적 데이터 스트림을 통합하고, 3개 범주 16개 레이블의 사회경제 벤치마크 CHN-Econ을 구성한다. 융합 아키텍처, 자기지도 학습 목표, 텍스트 통합, 임베딩 차원, 정규화의 5개 축을 따라 31개의 통제 실험을 수행한다. 선형 프로브(linear probe)로 단독 사용 시 AEF는 지역 간(cross-region) 평가에서 R² 0.301, 계층 간(cross-tier) 평가에서 0.160에 불과하다. 5축 ablation을 적용한 백본은 이를 각각 0.832와 0.671로 향상시키지만, 공유 재구성(shared reconstruction) 하에서 저차원 의미 스트림이 고차원 스트림에 의해 지속적으로 억제됨을 보여준다. 이 병목을 해결하기 위해 Capacity-Adaptive Reconstruction(CAR)을 제안하며, 공유 재구성을 스트림별 디코더와 스트림 수준 손실로 대체하여 스트림 간 용량 경쟁을 완화한다. CAR는 지역 간·계층 간 R²를 각각 0.848과 0.693으로 더 높이고, 붕괴된 레이블을 음의 R²에서 안정적 범위로 복원한다. CAR를 사용해 36개 도시·8년에 걸쳐 1,440만 픽셀을 추론하고, 128차원 및 64차원 압축 버전을 포함한 AEF-Econ을 공개한다. 자기 진단과 사례 연구는 AEF-Econ이 비지도 설정에서 도시 간 위계와 도시 내 공간 구조를 포착하며, AEF 물리 임베딩을 보완하는 사회경제 원격 탐사 기초 임베딩을 제공함을 보여준다.
공간 예측 작업은 종종 고품질 라벨링된 정답(ground-truth) 관측치의 부족으로 인해 제한됩니다. 이 문제를 극복하기 위해 자기지도 사전학습(pre-training)이 가능한 해결책이며, 위치 인코더에서는 대조 학습이 지배적입니다. 이러한 접근 방식들은 보통 지리적 좌표를 단 하나의 추가 모달리티와 정렬합니다. 우리는 두 가지 멀티모달 대조 학습 아키텍처인 Multimodal Embedding via Location Tying (MELT)과 Sequential Alternating Location Training (SALT)를 제안합니다. 이 아키텍처들은 짝이 없는(unpaired) 지리공간 데이터를 활용하여 이 프레임워크를 두 가지 모달리티 이상으로 확장합니다. 두 방법 모두 기술적으로 실행 가능하며, 4개의 다운스트림 작업에서 가장 강력한 이중 모달리티 기준선(baseline)인 SATCLIP의 성능과 대등합니다. 그러나 모달리티 수를 늘리는 것이 성능을 일관되게 향상시키지는 않으며, 이는 선택된 위치 인코더가 주요 제약 사항임을 시사합니다. 즉, 대조 목적 함수는 모달리티 다양성이나 사전학습 규모에 관계없이 조기에 정점에 도달합니다. MELT는 SALT보다 더 안정적인 학습(training)을 제공하며 향후 스케일링을 위한 더 강력한 기반을 제시합니다.
기존의 평균 의견 점수(MOS) 예측 모델은 주로 발화 수준의 자연스러움 MOS를 예측하므로, 국소적인 피치 악센트 오류에 민감하지 않을 수 있습니다. 우리는 피치 악센트의 정확성을 명시적으로 목표로 하는 피치 악센트 중심 음성 품질 평가(PASQA)를 제안합니다. 모델 학습을 위해 악센트 제어 가능 텍스트 음성 변환 시스템을 사용하여 악센트 패턴을 변경함으로써 통제된 일본어 악센트 오류 데이터셋을 구축하고, 악센트 오류율로부터 의사 악센트 품질 점수를 계산했습니다. PASQA는 자기 지도 표현(self-supervised representations)을 기반으로 하며, 모라 조건 융합(mora-conditioned fusion), 순위 손실(ranking loss), 보조 악센트 오류 국소화 작업, 화자 불변 학습(speaker-invariant training)을 사용합니다. 실험 결과, 기존 모델은 악센트 오류 심각도에 따른 순서를 유지하지 못하는 반면, PASQA는 학습에 사용된 화자와 미사용 화자 모두에서 높은 순서 정확도를 달성했습니다. 또한, PASQA는 인간의 악센트 정확성 판단과 더 강한 일치를 보입니다. 코드는 https://github.com/lycorp-jp/PASQA에서 제공됩니다.
파열 억제(BS)는 중환자, 특히 중환자실(ICU)에서의 유도 혼수 기간 동안 진정 깊이와 뇌 활동을 모니터링하는 데 사용되는 임상적으로 중요한 뇌전도(EEG) 패턴입니다. BS 패턴이 환자 간에 상당히 다르고 주석이 달린 데이터셋이 부족하기 때문에 자동 파열 검출은 여전히 어려운 과제입니다. 최근 EEG 파운데이션 모델(FM)이 여러 하류 EEG 응용 분야에서 가능성을 보여주었지만, BS 검출에 대한 유용성은 아직 탐구되지 않았습니다. 우리는 환자 특정 보정 없이 축소형 몽타주 ICU EEG에서 파열 검출을 위해 EEG FM을 평가한 최초의 연구를 제시합니다. REVE-base, LUNA-large 및 LuMamba-Tiny를 적응형 임계값 기준선(baseline)과 작업 특정 EEGNet 기준선(baseline)과 비교합니다. 또한, 기존의 EEG 윈도우 기반 분류(classification)에 이벤트 기반 파열 검출 평가를 보완합니다. 이는 예상되는 주석 변동성의 영향을 줄이면서 파열 에피소드가 올바르게 검출되었는지 임상적으로 평가하는 데 도움이 됩니다. 최상의 모델(model)인 REVE-base는 가장 높은 이벤트 기반 F1 점수($0.868 \pm 0.167$)를 달성했으며, EEGNet 및 적응형 임계값과 비교하여 각각 52.1%와 36.2%의 분당 파열 오류를 줄여 ICU에서 확장 가능한 EEG 모니터링을 위한 FM의 가능성을 뒷받침했습니다. 소거 실험 결과, 완전 파인튜닝(fine-tuning)이 백본 고정 학습, 2단계 파인튜닝, LoRA 기반 적응에 비해 가장 효과적인 적응 전략임을 보여주었으며, LUNA-large의 경우 백본 고정 학습 대비 이벤트 기반 F1 점수를 최대 $+0.102$ 향상시켰습니다. 축소된 레이블 데이터셋에서 사전학습된 REVE-base는 코호트의 25% 수준에서 무작위 초기화(initialization)보다 이벤트 기반 F1 점수를 $+0.723$점 높여, 제한된 레이블 데이터로 파열 검출에 적응할 때 FM 표현의 사전학습 이점을 입증했습니다.
시계열 이상 탐지는 산업 및 의료 모니터링, 그리고 기타 중요한 도메인에서 상당한 실용적 가치를 가집니다. 현재 트랜스포머(Transformer) 및 대규모 모델 기반 탐지 방식은 과도한 계산 오버헤드를 유발하는 반면, 기존의 경량화 대안들은 불충분한 특징(feature) 추출 및 다변량 변수 간 의존성 모델링의 부족으로 제한됩니다. 이러한 단점을 완화하기 위해, 본 연구는 패치 지향 표현 학습 패러다임 내에서 PaAno+라고 명명된 경량화되고 효율적인 이상 탐지 모델(model)을 개발합니다. 인코더 모듈에서는 계층적 시간적 특성을 포착하기 위해 차별화된 수용 필드를 가진 컨볼루션 커널을 사용하여 멀티스케일 특징 추출 백본이 구성됩니다. 이후 잔차 연결 최적화와 결합된 교차 스케일 적응형 어텐션(attention) 집계는 특징 표현 학습을 더욱 안정화합니다. 변수 간 상관관계를 명시적으로 특성화하기 위해 변수 간 융합 어텐션 모듈이 내장되어, 모델이 복잡한 운영 조건 하에서 이상 패턴을 식별할 수 있도록 합니다. 또한, 시계열의 내재적 구조적 속성을 발견하기 위해 시간적 패치-윈도우 정렬을 기반으로 하는 새로운 프리텍스트 작업이 사용자 정의되며, 향상된 특징 분별력을 위해 패치 임베딩(embedding) 공간을 최적화하기 위해 트리플릿 손실(triplet loss)이 활용됩니다. TSB-AD 벤치마크에 대한 광범위한 실험을 통해 제안된 PaAno+가 단변량 및 다변량 작업 모두에서 최첨단 탐지 정확도를 달성함을 입증하며, 원본 PaAno에 비해 VUS-PR을 포함한 평가 지표 전반에 걸쳐 상당한 성능 향상을 가져옵니다. 컴팩트한 네트워크 설계를 활용하여, 제시된 모델은 우수한 계산 효율성을 달성하여, 리소스가 제한된 단말기에서 실시간 이상 추론(inference)을 위한 배포를 가능하게 합니다.
심전도(ECG)와 같은 긴 시퀀스 의료 시계열 데이터를 모델링하는 것은 높은 샘플링 레이트, 다채널 신호의 복잡성, 내재된 노이즈, 그리고 제한된 레이블 데이터로 인해 큰 어려움을 겪고 있습니다. 합성곱 신경망(CNN)과 같은 다양한 인코더 아키텍처를 기반으로 하여 레이블이 없는 데이터에서 표현을 학습하도록 제안된 최근의 자기지도 학습(SSL) 방법들은 장거리 의존성과 노이즈 불변성 특징을 포착하는 데 종종 미흡합니다. 구조화된 상태 공간 모델(S4)은 긴 시퀀스 모델링에 탁월하지만, 기존 S4 아키텍처는 다채널 생리학적 파형의 고유한 특성을 포착하지 못합니다. 본 연구에서는 대조 학습과 구조화된 상태 공간 모델을 기반으로 구축된 특화된 인코더를 결합한 자기지도 학습 프레임워크인 SL-S4Wave를 제안합니다. 해당 인코더는 멀티스케일 서브커널을 활용한 다층 전역 합성곱을 통합하여, 노이즈가 섞인 고해상도 다채널 파형에서 미세한 국소 패턴과 장거리 시간적 의존성을 모두 포착할 수 있도록 합니다. 실제 데이터셋에 대한 광범위한 실험을 통해 SL-S4Wave가 (1) 도전적인 부정맥 검출 작업에서 최신 수준의 지도 학습 및 자기지도 학습 기준선(baseline)을 일관되게 능가하고, (2) 강력한 레이블 효율성을 입증하며 현저히 적은 레이블 예제로도 높은 성능을 달성하며, (3) 대부분의 기존 접근 방식이 효율적으로 모델링하지 못하는 긴 시퀀스 내 복잡한 시간적 역학을 모델링할 수 있는 능력을 강조하며 긴 파형 구간에서 견고한 성능을 유지하고, (4) 견고한 교차 도메인 일반화를 뒷받침하며 보지 못한 부정맥 유형으로 효과적으로 전이됨을 확인했습니다. 또한, 여러 뇌파(EEG) 작업에 대해 SL-S4Wave를 평가한 결과, 강력한 기준선을 상회하는 우수한 성능을 달성하여 본 방법론이 심장 파형을 넘어서도록 일반화될 수 있음을 입증했습니다.
의료 표준 데이터는 임상 연구에서 널리 존재하지만, 구조화된 임상 변수가 표준 형태로 일상적으로 이용 가능함에도 불구하고, 신뢰할 수 있는 레이블은 종종 비용이 많이 드는 전문가 판정이 필요하기 때문에 표준 데이터에 대한 심층 학습은 여전히 미탐색 상태입니다. 자기지도 학습은 이러한 레이블이 없는 표준 데이터를 활용할 수 있으며, 최근 비닝 기반 프리텍스트(binning-based pretexts)는 유망한 귀납적 바이어스를 제공하지만, 기존 목적 함수들은 단일 전역 분위수 이산화를 고정하고 특징 무관(feature-agnostic) 감독을 적용합니다. 우리는 특징별 coarse-to-fine 커리큘럼을 통해 이산화를 학습과 결합하는 표준 자기지도 학습을 위한 학습 적응형 이산화 프리텍스트인 Adaptive Binning을 제안합니다. 신경망의 스펙트럼 바이어스와 커리큘럼 학습의 원칙에 동기를 부여받아, 본 방법은 플래토(plateau) 감지 시 특징별 이산화를 점진적으로 정교화하고, 표현 인식 분할을 선택하여 값 공간 집중도와 표현 공간 응집성을 공동으로 향상시킵니다. 이질성 인식 목적 함수는 범주형 재구성과 수치형 특징에 대한 순서형 감독을 통합하며, 통합 평가 프로토콜 하의 공개 의료 표준 데이터셋에 대한 실험은 데이터셋별 이산화 튜닝 없이도 선형 프로빙과 미세조정에서 일관된 향상을 보여줍니다. 또한, 우리는 이 미탐색 영역에서 재현 가능한 진전을 지원하기 위해 표준화된 프로토콜을 갖춘 의료 표준 자기지도 학습 벤치마크를 소개합니다. 우리의 코드는 https://github.com/labhai/Adaptive-Binning에서 확인할 수 있습니다.
우리는 장면 수준(scene-level)의 RGB-D 또는 복셀(voxel) 관측값을 3D 잠재 입자(particle)들의 집합으로 분해하는 자기 지도(self-supervised) 객체 중심(object-centric) 표현 학습 모델인 3D-DLP를 소개합니다. Deep Latent Particles (DLP) 프레임워크를 기반으로 하여, 각 입자(particle)는 3D 키포인트(keypoint) 위치, 경계 상자(bounding box) 차원, 그리고 외형 특징(appearance features)을 포함하는 분리된(disentangled) 속성들을 인코딩하며 장면 내의 독립적인 개체(entity)를 나타냅니다. 이 모델은 엔드-투-엔드(end-to-end) 자기 지도(self-supervised) 재구성 목적함수(objective)를 통해 해석 가능한 입자(particle)별 분할 맵(segmentation maps)을 학습합니다. 우리는 시뮬레이션 및 실제 데이터셋(dataset)에서 학습된 잠재 공간(latent space)이 해석 가능하고 제어 가능함을 입증합니다: 입자(particle) 위치를 조작하고 디코딩(decoding)함으로써 새로운 장면 구성(configurations)을 생성할 수 있습니다. 또한, 이러한 압축된 3D 잠재 입자(particle)들을 다운스트림(downstream) 로봇 조작(robotic manipulation)에 활용하면, 명시적인 3D 정보가 없거나 객체 중심(object-centric) 구조가 없는 메모리 집약적인 밀집(dense) 3D 입력에 의존하는 기준선(baselines)보다 성능이 향상됨을 보여줍니다. 코드와 비디오는 https://eubooks3003.github.io/3d-dlp 에서 확인할 수 있습니다.
페르시아어 사전학습 언어 모델(PLM)은 대규모 고품질 사전학습 말뭉치의 부족과 표준 분류(classification) 및 개체명 인식(NER) 작업을 넘어선 평가의 부족으로 인해 여전히 제한적입니다. 본 논문에서는 Sepahr-Danesh 컬렉션의 45GB 큐레이션된 서브셋(약 70~80억 토큰)에서 RoBERTa-base 인코더(1.25억 파라미터)를 사용하여 처음부터 학습된 단일 언어 페르시아어 PLM인 IHUBERT를 제시합니다. 말뭉치 품질을 개선하고 중복성을 줄이기 위해, 정규화(normalization), 정확 및 근접 중복 제거, 익명화, 그리고 도메인 및 레지스터 전반의 분포 균형 제어를 위한 벡터 데이터베이스 기반 시맨틱 중복 제거를 포함하는 다단계 전처리 파이프라인을 사용합니다. 또한, 페르시아어 형태론과 표기법 변이를 더 잘 포착하기 위해 전체 사전학습 말뭉치에 대해 어휘 크기 139k의 BPE 토크나이저를 학습했습니다. IHUBERT는 개체명 인식(NER), 감성 분석(sentiment analysis), 주제 분류, 자연어 추론(NLI), 추출형 질의응답, 관계 추출을 포함하는 7개의 페르시아어 자연어 이해(NLU) 벤치마크에서 평가되었으며, 작업별 표준 지표(엔티티 수준 F1, Macro-F1, EM/F1)를 사용했습니다. IHUBERT는 추출형 질의응답에서 가장 강력한 성과를 보여 PQuAD (F1 88.3542)와 ParsiNLU-RC (F1 49.0987) 모두에서 1위를 차지했으며, FarsTail (Macro-F1 0.8350)에서도 최고의 결과를 달성했습니다. 개체명 인식(NER)과 주제 분류에서는 경쟁력 있는 성과를 보였으나(예: ParsTwiNER에서 F1 0.8308; DigiMag에서 Macro-F1 0.7953), 관계 추출은 여전히 주요한 개선이 필요한 부분으로 남아 있습니다(PERLEX에서 Macro-F1 0.6684). IHUBERT 사전학습 말뭉치에 대한 통제된 토크나이저 소거(ablation) 실험 결과, 동일한 어휘 크기에서 BPE가 WordPiece보다 서브워드 파편화가 약간 더 낮은 것으로 나타나 우리의 토큰화(tokenization) 설계를 뒷받침합니다. 전반적으로 IHUBERT는 의미적으로 큐레이션된 대규모 사전학습과 분류 및 이해 지향적 작업에 걸친 광범위한 평가를 통해 페르시아어 언어 모델링을 고도화했습니다.
월드 모델은 생물학적 에이전트가 경험하고 행동하는 실제 환경의 알고리즘적 시뮬레이터로서, 인공(일반) 지능을 갖춘 가상 에이전트를 개발하려는 필요성이 증가함에 따라 최근 부상하는 주제가 되었습니다. 월드 모델이 실제로 무엇인지, 어떻게 구축하고, 사용하고, 평가하는지에 대해 많은 논의가 있었습니다. 이 에세이에서는 유명한 SF 명작 '듄(Dune)'의 상상력에서 출발하여 심리학 문헌의 '가설적 사고(hypothetical thinking)' 개념에서 영감을 얻고, 월드 모델의 주요 목표는 '목적 있는 추론 및 행동을 위해 실제 세계의 모든 실행 가능한 가능성을 시뮬레이션하는 것'임을 주장합니다. 우리는 월드 모델링(world modeling)의 주요 설계 차원인 데이터, 표현, 아키텍처, 학습 목표, 활용을 살펴보고, 기존 접근 방식을 조사하며 그 상충 관계(tradeoffs)를 분석합니다. 이러한 검토를 바탕으로, 우리는 상태 기반(stateful), 계층적(hierarchical), 다중 레벨(multi-level), 연속/이산 혼합 표현(mixed continuous/discrete representations)과 생성적이며 자기 지도 학습(self-supervised learning) 프레임워크에 기반한 범용 월드 모델을 위한 새로운 생성적 잠재 예측(GLP) 아키텍처를 제안합니다. 아울러 이러한 모델을 통해 가능해지는 물리적, 에이전트적, 중첩된(PAN) AGI 시스템의 전망을 제시합니다.
꾸란 자동 음성 인식(ASR)은 꾸란 낭송을 텍스트로 변환하는 것을 목표로 하며, 암기 보조 도구 및 꾸란 검색 엔진과 같은 응용 프로그램을 가능하게 합니다. 그러나 기존 ASR 모델은 사용자가 낭송한 구절에서 높은 단어 오류율(WER)을 보이는 경우가 많으며, 꾸란 말뭉치 전체를 완전히 포괄하지 못합니다. 본 논문은 고급 음성 특징 추출 방법인 Wav2Vec2.0, HuBERT 및 XLS-R을 사용하여 꾸란 ASR을 위한 사전 학습된 트랜스포머 기반 모델의 도메인 특화 미세조정에 대한 체계적인 실증 연구를 제시합니다. 이러한 모델들은 입력 오디오의 일부를 마스킹(masking)하고 트랜스포머 아키텍처를 사용하여 문맥 인식 음성 특징을 학습함으로써 자기 지도 학습을 적용합니다. 사전 학습된 모델은 전문가 및 사용자 낭송 870시간 이상을 포함하는 필터링된 꾸란 데이터셋에서 미세조정됩니다. 특징 추출기, 출력 라벨 형식, 학습 전략 및 클립 길이에 걸친 포괄적인 소거 연구(ablation study)를 통해, 이 도메인에서 전사 정확도에 영향을 미치는 핵심 요인을 식별합니다. 최상의 성능을 보인 구성은 EveryAyah 하위 데이터셋에서 0.08의 WER을 달성했고, 결합된 EveryAyah+Tarteel 설정에서는 0.11을 달성했으며, 이는 결합 모델 학습 시간을 140시간에서 40시간으로 단축하면서 Citrinet 기준선(WER = 0.163) 대비 약 5% 포인트의 향상을 나타냅니다. 모음 기호(diacritics)가 없는 아랍어 텍스트가 가장 좋은 미세조정 결과를 산출하며, Wav2Vec2-XLSR-53이 가장 강력한 전반적인 표현을 제공합니다. 향후 작업으로는 데이터셋 품질 개선과 타지드(Tajweed) 민감 응용 프로그램을 위해 더 깊은 음성 특징 표현을 추출하는 음소 인식 모델 개발이 포함됩니다.
우리는 옵티컬 플로우를 위한 제1원리 기반 제약 조건인 삼각형 일관성(triangular consistency)을 제안합니다. 이는 네트워크 아키텍처, 지도 유형, 데이터셋에 독립적이며 이미지 쌍 및 다중 프레임 설정 모두에 적용됩니다. 이 간단하지만 강력한 제약 조건은 두 개의 플로우를 합성하여 세 번째 플로우를 유도하고, 이 세 플로우 간의 일관성을 부과하는 것입니다. 합성된 플로우는 (i) 순환 일관성(cycle consistency)을 만들어내는 이미지 쌍, (ii) 시간적 연결을 통해 장거리 모션을 생성하는 다중 비디오 프레임, 또는 (iii) 제어된 합성 변환과 결합되어 데이터 증강(data augmentation)으로 활용되는 이미지 쌍에서 비롯될 수 있습니다. 이 삼각형 일관성은 무시할 수 있는 계산 오버헤드만을 도입하며 추가적인 어노테이션을 요구하지 않습니다. 이는 옵티컬 플로우의 기하학에서 직접 도출되었으므로 모델 특정 가정에 의존하지 않으며, 옵티컬 플로우 학습을 위한 '보편적인' 플러그 앤 플레이(plug-and-play) 구성 요소로 작용합니다. 실험 결과 지도, 비지도 및 전이학습(transfer learning) 설정에 걸쳐 일관된 개선이 나타남을 보여줍니다.
뇌 MRI는 해부학적 T1 가중 영상(T1-weighted imaging, T1w)과 유체에 민감한 T2 가중 영상(T2-weighted imaging, T2w) 대비를 포함하여, 독특한 대비 가중치를 가진 여러 보완적인 시퀀스로 일상적으로 획득됩니다. 그러나 의료 시스템 규모에서 다양한 MRI 대비 기제에 걸친 통합 표현(representation)을 학습하는 방법은 부족합니다. 본 연구에서 우리는 핵심 T1w, T2w 및 유체 억제 FLAIR 영상(FLAIR)에 걸쳐 뇌 MRI를 인코딩하기 위해 잠재 예측 목적함수(objective)와 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처를 결합한 희소 멀티모달 신경영상 파운데이션 모델인 Neuro-JEPA를 소개합니다. 또한, 우리는 강건한 신경영상 멀티모달 표현 학습에 유익한 아키텍처, 마스킹, 목적함수, 희소성(sparsity) 설계 선택에 대한 체계적인 방법론적 연구를 제공합니다.
Neuro-JEPA는 세 가지 핵심 구조적 뇌 MRI 시퀀스에 걸친 데이터 정제와 모달리티 특화 전처리를 거쳐 428,647건의 연구에서 1,551,862개의 스캔으로 사전학습(pre-training)되었습니다. 우리는 NYU Langone, NYU Long Island, Massachusetts General Hospital의 세 가지 의료 시스템에서 25개 작업과 12개의 공용 데이터셋에서 22개 작업을 포함하여, 단일 모달(unimodal), 멀티모달(multimodal) 및 도메인 간(cross-domain) 평가 구성을 포괄하는 임상 및 연구 환경에서 학습된 표현을 평가했습니다. 이러한 벤치마크에서 기존 신경영상 파운데이션 모델들은 단순한 합성곱 신경망(CNN) 기준선(baseline) 대비 일관되지 않은 이득을 보인 반면, Neuro-JEPA는 평가된 모든 설정에서 더 강력하고 일관된 성능을 달성했습니다. 이러한 결과는 멀티모달 신경영상 표현 학습을 위한 확장 가능한 방법론적 프레임워크를 확립하고, 단순한 기준선, 임상적으로 이질적인 코호트(cohort), 통제된 멀티모달 비교를 포함하는 파운데이션 모델 평가 프로토콜의 필요성을 강조합니다.
얼굴 스푸핑 탐지(FAS)는 보이지 않는 환경 간의 강력한 도메인 일반화가 요구되기 때문에 여전히 어려운 문제로 남아 있습니다. 최근의 추세는 시맨틱 감독을 위해 비전-언어 모델(VLMs)을 활용하지만, 이러한 멀티모달 접근 방식은 종종 과도한 계산 자원을 요구하고 높은 추론 지연을 보입니다. 또한, 이들의 효율성은 기본이 되는 비전 특징의 품질에 의해 본질적으로 제한됩니다. 본 논문은 FAS를 위한 매우 효율적이고 강건한 기준선을 확립하기 위해 비전 전용 파운데이션 모델의 잠재력을 재조명합니다. 우리는 MICO 및 제한된 소스 도메인(LSD) 프로토콜을 포함한 심각한 교차 도메인 시나리오 하에서, 지도 학습 CNN, 지도 학습 ViT, 자기 지도 학습 ViT와 같은 15개의 사전학습 모델에 대한 체계적인 벤치마킹을 수행합니다. 포괄적인 분석 결과, 자기 지도 학습 비전 모델, 특히 Registers가 포함된 DINOv2가 어텐션 인공물을 획기적으로 억제하고 중요한 세밀한 스푸핑 단서를 포착하는 것으로 나타났습니다. 얼굴 스푸핑 탐지 데이터 증강(FAS-Aug), 패치 단위 데이터 증강(PDA), 어텐션 가중 패치 손실(APL)과 결합하여, 제안하는 비전 전용 기준선은 MICO 프로토콜에서 최첨단 성능을 달성합니다. 이 기준선은 우수한 계산 효율성을 유지하면서 데이터가 제한된 LSD 프로토콜 하에서 기존 방법들을 능가합니다. 이 연구는 FAS를 위한 확정적인 비전 전용 기준선을 제공하며, 최적화된 자기 지도 학습 비전 트랜스포머가 비전 전용 및 미래의 멀티모달 FAS 시스템 모두의 백본으로 사용될 수 있음을 입증합니다. 프로젝트 페이지는 다음에서 확인할 수 있습니다: https://gsisaoki.github.io/FAS-VFMbenchmark-CVPRW2026/
이미지 간 재조명(image-to-image relighting)은 밀집 기하학, 재질, 광도학적 단서를 보존하면서 조명을 장면 속성에서 분리하는 표현을 필요로 합니다. 우리는 이 작업을 시각적 선험지식(visual priors)에 대한 프로브로 사용합니다: 불변성(invariance)에 보상을 주는 인식 작업과 달리, 재조명은 시각적 특징이 광 전달에 필요한 정보를 유지하는지 테스트합니다. 제어된 생성적 재조명 프레임워크를 통해, 우리는 강력한 의미적 인코더(semantic encoders)가 재조명 품질을 저하시킬 수 있음을 발견했으며, 이는 추상화와 물리적 충실도 사이의 의미-광도 트레이드오프(semantic-photometric trade-off)를 드러냅니다. 우리는 증강 잠재 내재 특성(Augmented Latent Intrinsics, ALI)을 소개합니다. ALI는 밀집하고 픽셀 정렬된 시각적 특징을 잠재 내재 재조명 모델에 융합하고, 레이블이 없는 실제 이미지 쌍에 대한 자기 지도(self-supervision)를 통해 이를 정제하여 이 트레이드오프의 균형을 맞춥니다. ALI는 재조명 품질을 향상시키며, 특히 광택 있는, 금속성, 그리고 투명한 재질에서 그러하며, 생성적 재조명이 시각적 인코더가 물리적 세계에 대해 무엇을 인코딩하는지 정량화하는 데 효과적인 도구임을 입증합니다.
인터넷 비디오로부터 잠재 동작(latent motion)을 비지도 학습하는 것은 로봇 학습에 있어 매우 중요합니다. 기존의 이산적(discrete) 방법들은 일반적으로 작은 코드북 크기를 가진 벡터 양자화(vector quantization)를 통해 과도한 정적 배경 추출로 인한 지름길 학습(shortcut learning)을 완화합니다. 그러나 이들은 정보 손실(information loss) 문제를 겪으며, 더 복잡하고 세밀한 역학(dynamics)을 포착하는 데 어려움을 겪습니다. 더욱이, 이산적 잠재 동작의 분포와 연속적인 로봇 행동(continuous robot action) 사이에는 본질적인 격차가 존재하여 통합된 정책(unified policy)의 공동 학습을 방해합니다. 우리는 인터넷 규모의 비디오에서 더 정확한 연속 잠재 동작을 학습하는 것을 목표로 하는 CoMo를 제안합니다. CoMo는 지름길 학습의 난이도를 높이고 동작 단서(motion cues)를 명시적으로 강화하기 위해 초기 시간 차이(Td, early temporal difference) 메커니즘을 사용합니다. 또한, 잠재 동작이 의미 있는 전경(foreground)을 더 잘 포착하도록 보장하기 위해 시간적 대비 학습(Tcl, temporal contrastive learning) 방식을 추가로 제안합니다. 구체적으로, 긍정 쌍(positive pairs)은 작은 미래 프레임 시간 오프셋으로 구성되고, 부정 쌍(negative pairs)은 시간 방향을 직접 반전시켜 형성됩니다. 제안된 Td와 Tcl은 상호 보완적으로 작동하여 잠재 동작이 전경에 더 잘 집중하고 동작 단서를 강화하도록 효과적으로 보장합니다. 중요하게도, CoMo는 강력한 제로샷 일반화(zeroshot generalization)를 보여주며, 본 적 없는 비디오에 대해 효과적인 의사 행동 레이블(pseudo action labels)을 생성할 수 있습니다. 광범위한 시뮬레이션 및 실제 환경 실험 결과, CoMo 의사 행동 레이블과 함께 공동 학습된 정책(policy)들이 디퓨전(diffusion) 및 자기회귀(auto-regressive) 아키텍처 모두에서 우수한 성능을 달성함을 보여줍니다.
최소 중복 표현은 일반적으로 특징(feature) 공분산을 최소화하여 학습됩니다. 그러나 공분산 기반 방법은 선형적으로 상관관계가 없는 변수가 여전히 비선형 관계를 나타낼 수 있으므로 모든 의존성이나 중복성을 제거하지 못합니다. 이를 해결하기 위해 우리는 적대적 게임을 통해 특징 차원 간의 통계적 의존성을 최소화하는 미분 가능한 알고리즘인 ADM을 소개합니다. 여기서 보조 네트워크는 의존성을 식별하고 인코더는 이를 제거합니다. 우리는 전역 최적해에서 상호 독립성이 달성됨을 증명하고, 수렴(convergence)을 경험적으로 검증하며, 세 가지 잠재적 응용을 연구합니다: 주성분 분석(PCA)을 비선형 상관 제거로 확장, 이미지 분류(image classification)에서의 일반화 향상, 자기 지도 학습(self-supervised learning)에서의 차원 붕괴 방지. 통계적으로 독립적인 표현을 촉진함으로써, ADM은 다양한 응용 분야에 걸쳐 더 강인하고, 압축되며, 일반화 가능한 표현을 학습할 수 있는 기반을 마련합니다.
디지털 소거 혈관 조영술(DSA)은 혈관 질환 진단의 표준(gold standard) 중 하나입니다. 조영제(contrast agent)의 도움을 받아 시간 분해 2D DSA 영상은 포괄적인 혈류 정보를 제공하며, 의학적 평가를 위해 3D 혈관 구조를 재구성하는 데 활용될 수 있습니다. 현재 상용 DSA 시스템은 재구성을 수행하기 위해 일반적으로 수백 개의 스캔 뷰가 필요하며, 이로 인해 상당한 방사선 노출이 발생합니다. 본 연구에서는 방사선 양을 줄이기 위해 고품질 희소 뷰(sparse-view) DSA 재구성에 맞춰진 신경 렌더링 기반 최적화 프레임워크를 제안합니다. 혈관 확률 유도 감쇠 학습(vessel probability guided attenuation learning)이라고 불리는 우리의 접근 방식은 DSA 영상을 시간 독립적인 혈관 확률 필드에서 유도된 가중치를 통해 정적 및 동적 감쇠 필드의 상호 보완적인 가중 조합으로 표현합니다. 전경 마스크(foreground mask)로 기능하는 혈관 확률은 다양한 장면 유형에 적응하는 정적 및 동적 필드 모두에 적절한 그라디언트를 제공합니다. 이 메커니즘은 정적 배경과 동적 조영제 흐름 간의 자기 지도(self-supervised) 분해를 가능하게 하며, 재구성 품질을 크게 향상시킵니다. 우리의 모델은 합성된 투영(projection)과 실제 캡처된 DSA 영상 간의 불일치를 최소화하여 학습됩니다. 또한, 우리는 재구성 품질을 향상시키기 위해 두 가지 학습 전략을 사용합니다: (1) 더 나은 기하학을 위한 거칠게에서 정교하게(coarse-to-fine) 점진적 학습, (2) 시간적 일관성을 위한 시간적 섭동 렌더링 손실(temporal perturbed rendering loss). 실험 결과는 고품질의 3D 혈관 재구성 및 2D DSA 영상 합성을 입증했습니다.