Delta-JEPA는 재구성 없는 잠재 세계 모델(latent world model) 학습 시 발생하는 표현 붕괴(collapse) 문제를 해결하기 위해, 연속 관측 간 잠재 변위(latent displacement) $\Delta z_t = z_{t+1} - z_t$로부터 행동을 복원하는 Latent Difference Action Decoder(LDAD)를 제안한다. 기존 역 동역학(inverse dynamics) 방식이 두 상태 임베딩을 단순 연결해 행동을 추론하는 것과 달리, 변위 수준의 감독을 통해 서로 다른 행동이 구별 가능한 잠재 전이를 유도하도록 강제함으로써 4가지 시각적 연속 제어 태스크에서 JEPA 기반 베이스라인 대비 플래닝 성능을 향상시켰다.
We present a three-phase deep reinforcement learning system for personalized portfolio management that addresses three limitations shared by all prior financial RL work: 1) ticker lock-in, 2) monolithic objectives , and 3) static user models. Phase 1 pretrains a ticker-identity-free cross asset encoder via self-supervised learning on a multi-asset corpus, augmented by a frozen parallel branch using Chronos, a T5-based time series foundation model, fused via a learned gating mechanism. To our knowledge, this is the first application of a time series foundation model to portfolio management RL. The encoder generalizes to any publicly traded asset via a 50-dimensional observable metadata vector that requires no retraining for new tickers. Phase 2 fine-tunes a MoE (Mixture of Experts) portfolio actor critic with PPO under an objective-conditioned reward that simultaneously serves six distinct investment goals sampled per episode: short-term alpha, short-term gain, long-term gain, capital preservation, tax-loss harvesting, and long-term-gains-only. A MoE architecture assigns each objective to a specialized expert head (momentum, growth, defensive, tax-aware), and a learned intent router blends experts based on the active objective and current market regime, which eliminates cross-objective gradient conflict. Phase 3 adds a lightweight personalization layer further adapted at inference time to each individual via a 76-parameter LoRA module fine-tuned on real brokerage transaction history, inferring investment objectives from revealed trading behavior rather than questionnaires. A natural language intent parser converts free-form goals directly into structured investment objective parameters.
Self-supervised learning enables audio representations that transfer across domains and tasks. We present BEST-RQ-2, an evolution of BEST-RQ that retains frozen randomprojection-based discrete targets while introducing a two-step contextualize-then-predict pretraining scheme. A ViT context encoder processes only the unmasked spectrogram regions, and a lightweight predictor infers targets for the masked regions; the predictor is discarded after pretraining. Replacing the original Conformer encoder with a ViT shifts performance across domains, slightly reducing speech performance while improving music and environmental sounds, with comparable average scores. The main improvement comes from decomposing masked prediction into separate contextualization and prediction stages. On the X-ARES and XARES-LLM benchmarks, BEST-RQ-2 consistently outperforms one-stage baselines in overall transfer while keeping inference compute unchanged. Code and model checkpoints are publicly available.
While foundation models have revolutionized various domains, their application to time series classification remains rather under-explored, with existing literature predominantly focused on forecasting. To bridge this gap, we introduce \textbf{Mantis}, a transformer-based foundation model pre-trained exclusively on synthetic data via self-supervised contrastive learning. We demonstrate that effective tokenization is critical to unlocking the full potential of transformers, proposing a novel token generator unit. Furthermore, we introduce an enhanced test-time methodology that bridges the performance gap between Mantis and strong specialized approaches by leveraging intermediate-layer representations, self-ensembling, and cross-model embedding fusion. Extensive experiments demonstrate that Mantis establishes a new state-of-the-art, outperforming existing foundation models across four diverse dataset collections covering various application domains.
JEPA 스타일의 결합 임베딩 예측(joint-embedding predictive) 목적함수는 에이전트가 제어할 수 없지만 보상 결정에 중요한 외생적(exogenous) 특징을, 시간적 예측 가능성을 기준으로 표현을 최적화하기 때문에 암묵적으로 버린다는 실패 유형을 통제된 2x2 실험 설계로 격리·측정했다. 보상 레이블이 있는 전이(transition)의 단 2%만으로 구성한 보상 기반(reward-grounded) JEPA 변형이 해당 특징을 선택적으로 유지함을 보이며, 이 효과는 잠재 차원 16~1024 및 두 가지 환경 표면 형태에서 모두 견고하게 유지된다.
그래프 신경망(GNN)의 분포 변화(distribution shift) 문제를 해결하기 위해, T3R은 Rotograd 행렬을 활용해 목표 태스크와 보조 태스크 간의 그래디언트 정렬을 개선하고 자기지도(self-supervised) 신호를 회전시켜 대리 그래디언트를 생성함으로써 거의 전체 아키텍처에 걸친 테스트 시간 학습(TTT)을 가능하게 한다. 실험 결과, T3R은 회귀 데이터셋에서 표준 추론 대비 MAE를 0.172포인트 줄이고 OGB 분류 벤치마크에서 최소 9.37%의 상대적 성능 향상을 달성했다.
OOD 데이터의 헤시안 곡률이 분포 내 데이터보다 일관되게 크며 분포 이동이 강해질수록 격차가 확대된다는 체계적 분석을 바탕으로, 특징 헤시안과 부분 특징 정규화를 활용한 경량 OOD 탐지기 Fold를 제안한다. 외부 데이터 없이 ID 로짓 마스킹으로 의사 OOD 샘플을 합성해 자동 보정하는 AutoFold와 함께, 기존 방법 대비 평균 AUROC 1.63% 향상 및 FPR95 2.30% 감소를 표준 순전파 수준의 계산 비용으로 달성했다.
GNN과 LLM을 그래프 수준 작업에서 공동으로 사전학습하는 GLIP 프레임워크를 제안하며, 다중 토큰 선택 전략으로 전역·지역 구조 정보를 포착하고 확산 기반 프로젝터와 대조적 정렬 손실을 통해 LLM의 의미적 판단을 그래프 표현 학습에 활용한다. 제한된 레이블 데이터로 파인튜닝 시 그래프 분류 및 추론 작업에서 기존 최신 기법들을 능가하는 성능을 달성했다.
ScaleAware-JEPA는 연속 물리 필드의 다중 스케일 구조를 레이블 없이 학습하기 위해, Constrained Diffusion Decomposition(CDD)으로 필드를 스케일 성분으로 분해하고 이를 JEPA의 마스킹 기하학에 직접 연동하는 자기지도학습 프레임워크를 제안한다. MHD 난류, 성간 분자 가스, 도시 야간 조명 구조에 적용한 결과, 사전 레이블이나 분할 규칙 없이도 일관된 형태학적 구조를 반영하는 밀집 잠재 좌표(latent coordinate) 아틀라스를 형성하는 데 성공하였다.
과학 계측기 보정(calibration)을 자기지도(self-supervised) 최적화 문제로 재정의하여, 사전 보정 신호나 외부 레이블 없이 원시 측정값에서 검출기 보정 파라미터와 태스크별 예측을 동시에 학습하는 물리 정보 기반 프레임워크를 제안한다. VAMOS++ 자기 분광기에서의 이온 전하 상태 결정 실험을 통해, 원자 질량의 이산적 특성을 활용한 반복적 분수 의사 레이블링(pseudo-labelling)이 정확한 보정과 자동 검출기 상태 모니터링을 동시에 가능하게 함을 입증하였다.
클라우드 인프라에 대한 의존도 증가로 인해 조직의 클라우드 컴퓨팅 환경에서 보안 위협을 탐지하는 것이 필수적이 되었다. 모든 클라우드 컴퓨팅 이벤트의 로깅은 인시던트 탐지 이후 사후 조사를 가능하게 한다. 휴리스틱 또는 이상 탐지(anomaly detection) 기반의 로그를 활용한 자동화된 위협 탐지는 비교적 정적인 특성으로 인해 높은 오탐률(false positive rate)을 초래할 수 있다. 본 논문에서는 AWS CloudTrail 로그에 그래프 신경망(GNN)을 적용한 자기지도학습(self-supervised learning) 방법의 산업 사례 연구를 제시하여, 분석가 검토를 위한 의심스러운 이벤트를 탐지한다. 모델은 각 이벤트에 대한 이상 점수를 생성하며, 주기적인 재학습 없이 조직 내 변화에 동적으로 적응한다. 5개 조직에 걸친 실험 결과, 제안된 모델은 거의 모든 경우에서 도메인 전문가 규칙 기반 기준선보다 훨씬 적은 알림을 생성하였으며, 기존 방법이 생성하는 수천 건의 알림을 시간당 약 1건으로 줄였다. 이 평가는 플래그가 지정된 이벤트만을 대상으로 하며, 현재 데이터로는 미탐율(false negative)을 추정할 수 없음을 유의해야 한다. 따라서 본 연구의 결과는 완전히 검증된 탐지 시스템이 아닌, 실제 운영 환경의 제약에 대한 통찰을 제공하는 실용적 배포 연구로 해석되어야 한다. 향후 연구로서 이러한 한계점과 해당 접근법을 다른 클라우드 환경으로 확장하기 위한 요건을 논의한다.
전자 건강 기록(EHR) 데이터를 활용한 효과적인 환자 서브타이핑(그룹화 또는 클러스터링이라고도 함)은 정밀 의학 발전에 크게 기여할 수 있다. 그러나 시계열 EHR 데이터셋의 서브타이핑은 복잡성과 불규칙성을 포함한 EHR 고유의 문제들로 인해 어려운 것으로 알려져 있다. 본 연구에서는 효과적인 EHR 표현을 학습하고 향상된 환자 서브타이핑을 가능하게 하는 자기지도(self-supervised) Mamba 기반 모델을 제안한다. 제안된 모델을 공개 및 비공개 실세계 EHR 데이터셋에서 평가하여 가용한 레이블을 기반으로 데이터를 분류하고, 모델에서 학습된 표현을 바탕으로 환자를 서브타이핑한다. 광범위한 실험을 통해, 본 모델의 설계 선택이 예측 과제에서 경쟁력 있는 기준선 모델들에 비해 더 나은 성능을 이끌어냄을 입증한다. 또한, 여러 클러스터링 기법을 평가하여 EHR 모델의 시계열 기록을 기반으로 한 환자 서브타이핑에 유의미한 통찰을 제공함을 보인다(구현 코드는 https://github.com/healthylaife/triplet_mamba 에서 확인 가능하다).
선택 공리는 한 세기 이상 수학의 기초를 분열시켜 왔으며, 고전적 증명과 구성적 증명 사이의 구분은 철학적·방법론적 문제로 남아 있었다. 우리는 Lean 4의 공리 의존성에 대한 커널 수준 추적을 활용하여, 선택 공리가 증명 공간에서 측정 가능한 기하학적 상관체를 가지며, 이 상관체가 단일 매개변수 혼합 법칙을 따르고 신경 정리 증명기에 실제적 결과를 미침을 보인다. 이를 위해 Mathlib의 $471{,}260$개 선언을 선택 공리에 대한 전이적 의존성에 따라 분류하고, 필터링된 $42{,}355$개의 추적된 정리를 전술 호출 시퀀스로 표현한다. 이 데이터셋의 구성적 증명으로 자기지도 증명 인코더를 학습시키고, 이를 고전적 증명 측정에 사용할 때 세 가지 보완적 측정값—이상 점수, 재구성 손실, 밀도 상위 레벨 포함—이 의존성 그래프에서 공리까지의 증명 거리에 따라 공통적으로 감소함을 보인다. 이 감소는 얕은 경계에서의 명확한 분리(거리 $2$에서 AUC $0.847$)로부터 거리 $9$ 이상에서의 구별 불가능한 상태까지 이어진다. 견고성 검증 결과, 이 특성은 길이, 파일, 저자, 주제 제어에서도 유지되며, 정규화된 증명 소스로 학습된 전체 소스 인코더에서도 재현된다. 실용적 측면에서, $251$개의 Mathlib 정리 평가 샘플에서 Lean의 \texttt{aesop} 전술은 고전적 정리 대비 구성적 정리를 $13\times$ 높은 비율로 풀며, ReProver 전술 생성기를 활용한 신경 안내 하이브리드 방식은 그 격차를 $5\times$로 줄임을 보인다. 기하학적 이상 점수는 증명 길이를 넘어 \texttt{aesop} 실패를 예측하며, 기하학적 특성과 증명기 성능 사이의 실제적 연결 고리를 제공한다.
단일세포 RNA 시퀀싱(scRNA-seq) 클러스터링은 세포 유형 식별에 필수적이지만, 고차원성, 희소성, 드롭아웃, 기술적 노이즈가 강건한 발현 표현 및 세포 그래프 구축을 방해한다. 기존의 마스크 오토인코더는 주로 특징 재구성을 위한 발현 복원을 사용하는 반면, 그래프 클러스터링 방법은 일반적으로 고정된 KNN 그래프에 의존하며 복원된 발현을 그래프 최적화에 다시 반영하지 않는다. 우리는 scRNA-seq 클러스터링을 위한 KAN 기반 동적 그래프 마스크 학습 프레임워크인 scKDGM을 제안한다. scKDGM은 세포 정체성을 교란하기 위한 그래프 인식 분포 보존 유전자 마스킹(GDP-Mask), 마스크 뷰 표현 학습을 위한 KAN 기반 TAKGCN 인코더, 동적 그래프 구축을 위한 마스크 기반 발현 복원, 그리고 복원 신호를 위상 업데이트로 전달하는 교차 뷰 대조 학습을 사용한다. ZINB 손실은 과산포와 영 팽창을 모델링한다. 12개의 실제 scRNA-seq 데이터셋에 대한 실험에서 scKDGM은 평균 NMI 및 ARI에서 10개의 베이스라인을 능가한다.
포이즈닝 공격(poisoning attack)은 공격자가 의도적으로 학습 데이터를 변조하는 것을 의미한다. 본 논문에서는 음성 명령 분류 시스템에 대한 더티-레이블 포이즈닝 공격 시나리오를 고려한다. 위협 모델은 특정 클래스(소스 클래스)의 일부 발화에 트리거를 중첩하여 포이즈닝하고, 해당 레이블을 공격자가 선택한 다른 클래스(타겟 클래스)로 변경하는 것을 가정한다. 우리는 이러한 공격에 대한 필터링 방어를 제안한다. 먼저, 레이블 없는 지식 증류(DINO, DIstillation with NO labels)를 사용하여 모든 학습 예시에 대한 비지도 표현(unsupervised representation)을 학습한다. 다음으로, K-평균과 LDA를 사용하여 이러한 표현을 클러스터링한다. 마지막으로, 각 클러스터에서 가장 많이 반복되는 레이블을 가진 발화만을 학습에 사용하고 나머지는 제거한다. 소스 클래스의 10%가 포이즈닝된 경우, 공격 성공률이 99.75%에서 0.25%로 감소하는 것을 보인다. 서로 다른 타겟 및 소스 클래스, 트리거 변형을 포함한 다양한 위협 모델에 대해 제안된 방어를 검증하였다.
음성 주석을 위한 자동화 도구들이 음성학 연구 파이프라인에서 보편화되었음에도 불구하고, 많은 작업에서 정확한 수행을 위해 상당한 수작업 보정이나 학습 세트를 필요로 한다. 동시에, wav2vec2와 같은 대규모 음성 모델들이 음성 분류 작업에서 우수한 성능을 보임에 따라, 이러한 모델들이 음성학 주석 작업에 어떻게 활용될 수 있는지에 대한 의문이 제기된다. 우리는 wav2vec2를 사용하여 음성 시작 시간(voice onset time), 폐쇄 지속 시간(closure duration), 버스트 실현(burst realisation)을 자동으로 추정하는 도구인 wav2VOT를 소개한다. wav2VOT는 미확인 데이터셋에서 현재 접근법들과 비교 가능한 성능을 보이며, 미세조정을 통해 높은 정확도로 추정할 수 있음을 입증한다. wav2VOT 예측 분석은 파열음 유성성(stop voicing) 및 조음 위치(place of articulation) 전반에 걸쳐 높은 충실도를 보여준다. 이러한 결과는 대규모 음성 모델이 정확한 주석을 생성할 수 있음을 입증하며, 음성학 연구 파이프라인의 도구로서 대규모 음성 모델의 탐험을 더욱 촉진한다.
대규모 약지도(weakly supervised) 데이터셋을 활용하는 것은 강건한 종단 간(end-to-end) 자동 음성 인식(ASR) 모델 학습에 필수적이다. 그러나 이러한 데이터셋은 노이즈가 포함된 레이블을 갖는 경우가 많고 도메인 특이성이 부족하여 활용 효과가 제한된다. 이러한 문제를 해결하고 약지도 데이터셋을 보다 효과적으로 활용하기 위해, 본 논문에서는 데이터 필터링과 선택을 결합한 새로운 학습 방법을 제안한다. 제안 방법은 세 단계로 구성된다: 전체 데이터셋에 대한 사전학습, 문자 오류율(CER)을 기준으로 필터링된 부분 집합에 대한 추가 사전학습, 그리고 필터링된 부분 집합에서 목표 도메인과 음향적으로 유사한 소수의 샘플을 선택하여 수행하는 미세조정. 9만 시간 규모의 약지도 일본어 데이터셋을 이용한 실험에서, 제안된 필터링 및 선택 방법은 첫 번째 사전학습 단계에서 이미 사용된 학습 샘플을 재사용함에도 불구하고 CER을 각각 최대 6.4%와 4.0% 시너지적으로 감소시켰다.
대규모 비레이블 데이터셋에서 복잡하고 안전에 중요한 주행 시나리오를 식별하는 것은 중요하지만 비용이 많이 드는 문제이다. 기존 접근법은 인간 주석자, 지도 학습 분류기, 또는 신중하게 설계된 규칙 집합에 의존하며, 이 모두는 어려운 시나리오를 구성하는 요소에 대한 상당한 사전 지식을 필요로 한다. 우리는 모델이 어떤 단계에서도 레이블 없이 스스로 시나리오 복잡도를 발견할 수 있는지 탐구한다. 우리는 nuPlan mini 데이터셋의 구조화된 에이전트(agent) 상태 데이터로 최소한의 결합 임베딩 예측 아키텍처(JEPA)를 학습시키고, 시간적 예측 오류를 제로샷 복잡도 점수로 활용한다. 학습 또는 평가 설정 과정에서 어떠한 정답 레이블에도 접근하지 않고, 모델은 비보호 회전, 횡단보도 상호작용, 보행자 근접이 포함된 시나리오에 현저히 높은 점수를, 차선 추종 및 정체 교통 시나리오에 현저히 낮은 점수를 부여한다. 우리는 신호 원천을 분리하는 네 가지 어블레이션 실험과, 0.436 우연 기준선(baseline) 대비 0.512의 평균 정밀도(Average Precision)를 달성한 다운스트림 이상 탐지 평가를 통해 이 결과를 검증한다. 결과는 자기지도 잠재 월드 모델에서의 시간적 예측 오류가 주행 시나리오 복잡도의 실용적인 대리 지표임을 보여준다.
Electroencephalography (EEG) foundation models aim to learn generalizable representations from large-scale brain recordings. However, the role of temporal feature extractors and whether pretrained time-series foundation models (TSFMs) can be effectively transferred to this setting remains underexplored. We conduct a controlled comparison of three temporal feature extraction strategies, including a linear baseline, a convolutional encoder, and a frozen pretrained TSFM (MOMENT), within a unified EEG foundation model. We evaluate their impact on representation quality using two downstream tasks: motor imagery and emotion recognition. Results reveal different trends across the evaluated benchmarks. On the motor imagery dataset, simple temporal representations perform competitively, whereas the emotion dataset benefits from richer temporal modeling. Although not specifically adapted to EEG, the pretrained TSFM serves as an effective temporal feature extractor, suggesting that general-purpose time-series representations can be transferred as frozen temporal feature extractors within EEG foundation models.