시계열 이상 탐지는 다양한 실세계 응용에서 중요한 역할을 한다. 비지도 접근법 가운데 자기지도 학습은 라벨 데이터 없이 정상 동작을 모델링하는 데 주목받고 있다. 그러나 기존 방법의 많은 수는 단일 프록시(proxy) 태스크에 의존하여 정상 데이터에서 의미 있는 패턴을 포착하는 능력이 제한된다. 더욱이 특정 도메인에 맞춘 수작업 변환에 종종 의존하여 다양한 문제에 대한 일반화를 저해한다. 이러한 한계를 해결하기 위해, 대조(contrastive), 재구성(reconstruction), 분류(classification) 프록시 태스크를 결합한 자기지도 다중 태스크 시계열 이상 탐지 프레임워크인 NeuCoReClass AD를 제안한다. 우리 방법은 도메인 특화 지식을 요구하지 않고 정보가 풍부하고(informative), 다양하며(diverse), 일관된(coherent) 증강 뷰(augmented views)를 생성하기 위해 신경 변환 학습(neural transformation learning)을 사용한다. 우리는 다양한 벤치마크에서 NeuCoReClass AD를 평가하였으며, 이 방법이 고전적 베이스라인과 대부분의 딥러닝 대안을 지속적으로 능가함을 보였다. 또한 완전한 비지도 방식으로 서로 다른 이상 프로파일(anomaly profiles)을 특성화할 수 있다.
대규모 오디오 언어 모델(LALM)은 음향 이해에서 빠른 진전을 이루었지만, 여전히 세밀한 오디오 추론(예: 이벤트 순서, 반복, 지속 시간 인식)에 어려움을 겪고 있다. 기존 사후 학습 방법은 값비싼 외부 레이블에 크게 의존하거나 거친 의미적 신호만 제공한다. 이 격차를 메우기 위해, 우리는 LALM 분야에서 세밀한 청각 인지와 추론을 향상시키는 최초의 레이블 없는 자기 진화 프레임워크인 Audio-Zero를 제안한다. Audio-Zero는 레이블 없는 오디오 대조 쌍으로부터 청각 자기 대결(self-play) 게임을 구성한다: 대부분의 플레이어는 참조 오디오를 듣고, 한 명의 이상 청취자(odd listener)는 미묘한 변형을 듣는다. 모델은 먼저 들은 내용을 설명하는 단서를 생성한 다음, 단서들 간의 불일치를 추론하여 이상 청취자를 식별한다. 이상 청취자는 구조상 알려져 있으므로, 이 게임은 어떠한 주석 답변 없이도 검증 가능한 보상을 제공한다. Qwen2-Audio-7B-Instruct 및 Qwen2.5-Omni-7B를 TREA, MMAU Test-mini, MMAR에서 실험한 결과, Audio-Zero는 폭넓은 오디오 이해를 유지하면서 세밀한 오디오 추론을 향상시킨다. 진화 및 진단 분석은 더욱 세밀한 청각 서술이 게임의 압력으로부터 자연스럽게 창발함을 추가로 밝힌다.
슬라이스-볼륨 재구성(SVR)은 여러 방향으로 획득된 움직임으로 손상된 2D MRI 슬라이스 스택으로부터 고해상도(HR) 3D 태아 뇌 볼륨을 얻는 표준 방법이다. 기존 SVR 방법은 임상 범위의 에코 시간(TE)에 대해서만 최적화 및 검증되어, 비임상 TE에서의 사용을 제한하고, 다중 TE에 걸친 HR 재구성을 요구하는 태아 뇌 성숙의 프로토콜 및 센터 독립적 바이오마커인 정량적 T2 매핑과 호환되지 않게 한다. 우리는 다중 에코 MRI로부터의 공동 HR 재구성을 위한 최초의 암시적 신경 표현(INR) 프레임워크인 PRIME-SVR을 제안한다. 단일 완전 연결 네트워크는 공간 좌표에서 TE에 걸친 신호 강도로의 연속 함수를 모델링하고, 두 번째 네트워크는 슬라이스별 획득 열화를 추정한다. TE 간 일관성은 예상 T2 감쇠로부터의 편차에 페널티를 부과하는 Bloch 방정식 유도 정규화를 통해 강제되며, 열화된 스택에 대해 결합을 강화하는 적응적 가중치를 사용한다. 이 방법은 완전 자기지도(self-supervised) 방식이다. 우리는 두 센터, 두 벤더, 두 자기장 강도(1.5 T 및 0.55 T)에서 39건의 in vivo 태아 획득(13명의 대상자 x 3 TE)에 대해 PRIME-SVR을 검증한다. 최신 SVR과 비교하여 PRIME-SVR은 재구성 선명도를 47%, 해부학적 정확도를 30%, TE 간 구조적 일관성을 14% 향상시킨다. 이는 이전에 SVR로 접근할 수 없었던 후기 TE에서의 재구성을 가능하게 하여, 0.55 T에서 최초의 0.8 mm 등방성 T2 맵과 INR 기반 SVR에서 파생된 최초의 T2 맵을 산출한다. PRIME-SVR은 또한 다중 TE 재구성에 필요한 데이터를 줄여 정량 영상을 가속하며, 획득 시간을 15분에서 10분으로 단축하면서 백질 및 깊은 회백질에서 T2 정확도를 1.7% 이내로 유지하거나, 고품질 획득의 경우 5분으로 단축하면서 평균 T2 오차 2.3%를 달성한다.
대규모 추론 모델(LRM)은 중복된 검증 단계로 인해 과도한 사고(overthinking) 문제가 자주 발생한다. 과도한 사고를 완화하기 위한 기존 접근법들, 예를 들어 빠른-느린 사고 전환(fast-slow thinking switching)과 추론 궤적 압축(reasoning trajectory compression)은 LRM의 추론 과정 내 유익한 단계와 중복 단계를 세밀하게 구분하지 못하며, 따라서 효율성을 추구하는 과정에서 추론 능력을 저하시킬 수 있다. 추론 효율성과 능력을 동시에 향상시키기 위해, 우리는 중복 검증을 줄이고 새로운 추론 경로의 탐험을 장려하는 프레임워크 EvoThink를 제안한다. EvoThink는 두 가지 핵심 구성 요소로 이루어진다: 반복적으로 중복 추론 단계를 가지치기하고 간결한 궤적에 대해 자기 학습(self-trains)하는 비지도 방법인 자기 가지치기 학습(Self-Pruning Training, SPT); 그리고 유전 알고리즘(genetic algorithms)에서 영감을 받아 가치 있는 실패 추론 시도를 식별하고, 잘못에서 올바름으로의(from-wrong-to-right) 아하 모멘트(aha-moment) 데이터를 합성하며, 모델이 이 추론 패턴을 내재화하도록 최적화하는 아하 모멘트 선호 최적화(Aha-Moment Preference Optimization, AMPO). 수학적 추론 및 코드 생성 벤치마크에 걸친 광범위한 평가 결과, EvoThink는 추론 시 토큰 사용량을 상당히 줄일 뿐만 아니라 LRM의 추론 능력도 향상시킴을 보여준다.
음악 감정 인식(MER)은 전문가 주석의 부족과 이질적인 코퍼스 전반에 걸친 견고성(robustness) 확립의 필요성에 의해 제약을 받는다. Memo2496은 30명의 자격을 갖춘 음악 전문가로부터 연속적인 정서(valence)-각성(arousal) 레이블을 받은 2,496개의 기악곡으로 구성된 재현 가능한 데이터셋을 제공하며, 정규화된 원형 도메인에서의 인터페이스 숙지 및 중복 트랙 주석자 내(intra-annotator) 보정을 통해 뒷받침된다. 또한 Memo2496과 두 개의 외부 데이터셋에서 평가된 일반 프레임워크인 Dual-view Adaptive Music Emotion Recogniser(DAMER)를 제안한다. DAMER는 Mel 스펙트로그램과 cochleagram 간 토큰 수준의 양방향 상호작용을 위한 Dual-Stream Attention Fusion(DSAF), temperature scheduling과 Jensen-Shannon 발산을 사용한 커리큘럼 기반 의사 레이블(pseudo-label)을 위한 Progressive Confidence Labelling(PCL), 그리고 동일 감정 임베딩을 음향적으로 다양한 샘플 간에 정규화하는 레이블 대조 큐(labelled contrastive queue)를 갖는 Style-Anchored Memory Learning(SAML)을 통합한다. 주요 평가는 PMEmo 및 1000songs에서 사용된 이진 MER 프로토콜을 따르며, 보조적인 연속 회귀 연구는 Memo2496의 세그먼트 수준 정서 및 각성 점수의 직접적 활용을 보여준다. Memo2496, 1000songs, PMEmo에 대한 실험에서 DAMER는 Memo2496과 1000songs에서 비교 방법 중 최고의 각성 정확도를, PMEmo에서 최고의 정서 정확도를 달성하며, PMEmo 각성에 대해서는 경쟁력 있는 성능을 유지한다. Ablation 및 진단 실험이 각 모듈을 검증한다. 데이터셋과 소스 코드는 공개적으로 제공된다.
서로 다른 그룹의 의료 영상 인코더가 점점 상호 교체 가능한 것으로 취급되고 있으며, 이는 규모와 임상 지도 학습이 표현을 공유 구조로 집중시킨다는 가정에 기초한다. 이러한 수렴이 실재하는지, 무엇이 이를 만드는지, 임상적으로 활용 가능한지는 검증되지 않았으며, 이러한 주장 뒤에 있는 유사도 측정은 취약하다. 우리는 18개의 영상 인코더와 7개의 텍스트 인코더에 걸친 통제된 분해 분석을 제시한다. 모두 오픈 가중치이며 로컬에서 실행했고, 7M에서 27B 파라미터, 5가지 영상 양식을 아우르며, 6개 데이터셋의 650,982장 흉부 방사선 사진을 포함한다. 원인을 분리하기 위해 고정된 데이터, 아키텍처, 규모 하에서 목적 함수만 달리하여 인코더를 학습하고, 합성 모델에서 효과를 재현한다. 수렴은 적지만 무작위 하한보다는 높으며, 임상 지도 학습이 아니라 자기지도 목적 함수에 의해 주도된다. 매칭된 자기지도 인코더가 가장 많이 정렬되었으며(흉부 방사선 영상에서 40.4%), 라벨 지도(21.1%)와 영상-텍스트(3.3%)는 훨씬 낮았고, 규모(Spearman 0.302, p=0.223)나 성능과 함께 증가하지 않았다. 이는 양식 내에 한정되며, 임상 언어에 이르지 못하고, 방사선과 의사가 사례 유사성을 판단하는 방식을 재현하지 않는다. 그러나 선형 분류기는 인코더 간 및 5개의 홀드아웃 병원으로 전이되어, 인코더 내 성능의 약 85%를 유지한다. 따라서 의료 영상에서의 수렴은 규모나 임상 지도 학습에서 상속되는 것이 아니라 사전학습 목적 함수에 의해 설정된다. 상호운용성은 그에 따라 해당 목적 함수를 통해 설계하고, 공유 기하학이 가장 약한 지점—환자 하위군 전반과 임상 판단에 대비하여—에서 검증해야 할 대상이다.
가시-적외선(VIS-IR) 정렬(alignment)은 견고한 다중 센서 인식을 위한 핵심 사전학습 과제이다. 대부분의 기존 방법은 균일한 패치 단위 대조 학습(contrastive learning)을 사용하지만, VIS-IR 데이터에서는 신뢰할 수 없을 수 있다. 촬영 물리학적 차이로 인해 공간적으로 짝을 이룬 일부 영역은 본질적으로 비교 가능성이 낮고, 이를 동일한 강도로 정렬하면 표현 학습(representation learning)과 다운스트림 전이(downstream transfer)를 방해하기 때문이다. 본 논문에서는 샘플링 관점에서 VIS-IR 사전학습을 재검토하고, 패치 신뢰도에 따라 학습 강조를 조정하는 중요도 인식 샘플링(Importance-Aware Sampling, IAS)을 제안한다. 구체적으로, IAS는 (i) 적외선 구조적 단서로부터 패치 가중치를 도출하고 이를 이용해 대조 목적 함수를 재가중하고, (ii) 경량 샘플러로 소프트 중요도 마스크를 학습하며, 선택적으로 수작업 사전 지식(prior)으로 워ーム 스타트(warm-started)하고, (iii) 고신뢰도 영역에서 더 어려운 패치로 점진적으로 확장하는 패치 커리큘럼 학습(curriculum learning) 전략을 사용한다. IAS는 플러그 앤 플레이(plug-and-play) 방식이며, 패치/상관(correlation) 수준 정렬(예: UNIV 스타일)과 이미지 수준 대조 기준선(예: ImageBind 스타일) 모두에서 작동한다는 점에 유의할 필요가 있다. 다수의 VIS-IR 벤치마크에 대한 광범위한 실험은 IR 의미 분할(semantic segmentation), IR 객체 검출, VIS 의미 분할, 교차 모달 검색(cross-modal retrieval) 과제를 포함하여 강력한 기준선 대비 일관된 성능 향상을 보여준다. 코드는 https://github.com/KlayMa527/IAS 에서 공개될 예정이다.
고정(frozen)된 인지(perception) 기반 모델(foundation model)은 풍부한 기하학적, 의미적, 동적 지식을 인코딩한다. 그러나 좁은 조건화(conditioning) 인터페이스는 과업 관련 단서를 약화시킬 수 있으며, 정적 융합(static fusion)은 장면별로 전문가(expert) 기여를 조정할 수 없다. 우리는 이 과제를 사전(prior)-to-plan 전이(transfer) 문제로 규정하고, 적응형 전문가 라우팅을 갖춘 인지 사전 세계-행동 모델링 프레임워크인 PerceptDrive를 제안한다. PerceptDrive는 고정된 운전(driving) 적응 제공자(provider)로부터 교사 증류(teacher-distilled) 사전과, 고정된 자기지도(self-supervised) 비디오 인코더로부터의 밀집 관측 잠재(dense observation latents)를 학습 가능한 전문가 라우팅 세계-행동 모델에 입력한다. 전문가별 쿼리 분기(query branch)가 이 신호들을 처리하며, 사전 유지(prior-retention) 목적 함수(objective)가 각 분기를 해당 사전에 고정(anchor)한다. 라우터(router)는 공유 장면 표현(scene representation)으로부터 소프트 게이트(soft gate)를 예측하고, 궤적(trajectory) 생성 전에 전문가 조건을 결합한다. 학습(training) 중, 분기별 궤적 초안(trajectory draft)에 대한 특권(privileged) 규칙 기반 하위 지표(sub-metric) 추정치가 소프트 게이트 증류(distillation) 타깃을 제공한다. 예측된 행동 없는(action-free) 미래 잠재(latent)가 flow-matching 액터(actor)를 조건화(condition)한다. 추론(inference) 시에는 특권 구성 요소가 없으며, 전방 카메라 하나로 PerceptDrive는 테스트 시점(test-time) 채점(scoring), 재순위화(reranking), 또는 탐색(search) 없이 계획(planning) 단계마다 하나의 궤적을 생성한다. 실험 결과 PerceptDrive는 NAVSIM v1에서 90.4 PDMS, NAVSIM v2에서 90.2 EPDMS의 최신(state-of-the-art) 성능을 달성하여 기존 방법들을 능가한다. Ablation은 사전 유지와 장면 조건 라우팅(scene-conditioned routing)으로부터의 상보적 이득, 그리고 세 가지 사전에 대한 차별적 의존을 확인한다. 이 결과는 인지 사전을 보존하고 적응적으로 라우팅하는 것이 테스트 시점 후보 선택(candidate selection) 없이 직접 계획(direct planning)을 개선함을 보여준다.
어텐션 메커니즘(AM)은 영상 작업에 필요한 핵심 정보를 선택적으로 집중하고, 원거리 픽셀 이웃 간의 관계를 포착하여 특징 표현을 계산한다. 가속 MRI 재구성은 AM의 이점을 받는데, 영상화 과정이 이미지 표현에 비국소적으로 영향을 미치는 푸리에 영역 측정을 포함하기 때문이다. 그러나 AM 기반 모델은 저주파 정보를 포착하는 데는 더 능숙하지만 고주파 표현에 대한 역량이 제한되어, 모델을 매끄러운 재구성에 제한한다. 또한 AM 기반 모델은 다중모달 MRI 데이터에 대해 모드별 재학습이 필요한데, 지식이 국소적 문맥 변화에 국한되어 이질적 도메인 간 전이 가능한 특징을 포착하기에 불충분할 수 있기 때문이다. 이러한 과제를 해결하기 위해, 우리는 확장 가능한 MRI 재구성을 위한 신경조절(neuromodulation) 기반 판별적 다중 스펙트럴 AM을 제안하며, 이는 (i) 고품질 재구성을 위해 문맥 인식 고주파 세부 정보를 전파하고, (ii) 다중모달 MRI에서 편차가 있는 미관측 도메인 간 재사용 가능한 특징을 포착할 수 있다. 제안된 네트워크는 모드별 전이 가능한 특징을 포착하는 스펙트럴 필터링 CNN과 고주파 세부 정보에 초점을 맞춘 동적 고역통과 커널 생성 트랜스포머로 구성된다. 우리는 이질적 MRI 데이터 하에서 지도 학습 및 자기지도 학습, 확산 모델 기반 학습, 폐쇄 집합 및 개방 집합 일반화, 해석 기반 분석에 대한 비교 연구로 모델을 평가한다. 우리의 방법은 미관측 시나리오에서 PSNR 기준 약 1 dB, SSIM 기준 약 0.01의 최대 개선 폭으로 확장 가능하고 고품질 재구성을 제공한다. Code: https://github.com/sriprabhar/SHFormer
확산 자기공명 영상(dMRI)은 뇌 미세구조를 탐색하는 강력한 도구이지만, 임상 촬영은 종종 낮은 면외(out-of-plane) 해상도로 제한되어 구조적 정보가 저하되고 고급 분석에의 활용도가 줄어드는 경우가 많다. 본 연구는 SIINR(Structurally Informed Implicit Neural Representations)를 제안한다. 이는 재구성 결과의 불확실성을 정량화하면서 임상 dMRI 데이터셋의 초해상도(super-resolution)를 수행하는 일반적 프레임워크이다. SIINR는 지도 학습 3D U-net을 사전(prior)으로 활용하고, 고해상도 사전과 원본 저해상도 데이터를 융합하는 자기지도(self-supervised) 암시적 신경 표현(INR)과 결합한다. INR은 공간 및 각도(angular) 영역에 걸친 공동 모델링을 가능하게 하고, 데이터 일관성(data consistency)을 강제하며, 하위 불확실성 정량화를 위한 해석적 근사 사후 분포를 제공한다. 다양한 공개 dMRI 데이터셋에서 프레임워크를 검증한 결과, SIINR는 정량적 오류 지표와 정성적 해부학적 충실도 모두에서 표준 보간(interpolation) 방법보다 우수함을 보였다. 다발성 경화증 및 뇌 병변 환자를 포함한 임상 사례 실험은 어려운 시나리오에서 강도 변화를 전파하고 불확실한 영역을 표시하는 프레임워크의 능력을 보여준다. SIINR는 유연하고 모듈식이며 다양한 업샘플링 비율과 하위 작업에 적용할 수 있어, 임상 dMRI를 향상시키고 파생 신경영상 지표의 견고한 해석을 지원하는 원칙적 접근법을 제공한다.
노이즈가 있거나 손상된 포인트는 포인트 클라우드 인식 성능을 크게 저하시킬 수 있으며, 특히 까다로운 손상 설정에서 두드러진다. 특히 3D 사전학습 모델의 전체 미세조정은 이상치의 영향을 증폭하고 사전학습 중 학습된 강건성 사전 지식을 덮어쓸 수 있으며, 단순한 매개변수 효율적 적응은 손상된 토큰에 여전히 민감하다. 이 문제를 해결하기 위해, 우리는 강건성을 향상하면서 매개변수 효율성을 유지하는 포인트 선택 미세조정 프레임워크인 PSFT를 제안한다. PSFT는 먼저 풀링 전 특징으로부터 포인트별 영향력을 추정하고, 이상치를 억제하기 위해 영향력이 최소인 포인트를 적응적으로 유지한다. 선택된 부분집합을 기반으로 프롬프트 생성 분기는 층별 프롬프트 토큰을 예측하고 이를 고정된 백본에 주입하여 경량 하류 적응을 수행한다. 선택 이후 잔존 노이즈를 더 완화하기 위해, 예측 전 패치-토큰 표현을 정제하기 위해 병목 MLP 변환과 Beta 게이트 잔차 블렌딩을 갖춘 경량 특징 필터를 추가한다. 광범위한 실험 결과 PSFT는 테스트된 모든 3D 사전학습 백본에서 ModelNet-C 및 ModelNet40-C의 손상 오류를 일관되게 감소시키며, 평가된 튜닝 전략 중 ULIP-2와 Uni3D-B로 ScanObjectNN-C에서 최고 성능을 달성한다. 구현은 https://github.com/CVChMA/PSFT/tree/master 에서 확인할 수 있다.
대규모 비디오 확산 모델은 강력한 생성 성능을 제공하지만, 하위 태스크를 위한 전체 미세조정은 막대한 계산 비용을 초래한다. 기존 매개변수 효율적 미세조정(PEFT) 방법은 십억 규모 모델에서 두 가지 치명적 결함을 갖는다: 여전히 상당한 학습 가능 매개변수를 요구하며, 보상 기반 학습은 조건 안내 태스크에서 노이즈 유발 최적화 불안정성을 겪는다. 우리는 극단적인 매개변수 효율성과 안정적인 보상 최적화를 달성하는 경량 프레임워크인 MagicPrompt를 제안한다. 먼저 Attention-Embedded Prompt Tuning을 채택하여, 사전학습된 지식을 보존하면서 자릿수적으로 더 적은 매개변수의 경량 소프트 프롬프트를 통해 생성을 유도한다. 또한 Dual-Space Reward Feedback Optimization을 도입하여, 자기지도 잠재 목표를 사용해 조건 안내 보상 학습을 개선한다. 실험 결과 MagicPrompt는 학습 가능 매개변수 1% 미만으로 경쟁력 있는 성능에 도달하며 학습 비용을 현저히 줄인다.
자기지도 학습(SSL)은 표현 학습을 혁신했으며, Joint-Embedding Architectures(JEA)는 의미적 특징을 포착하는 효과적인 접근법으로 부상했다. 기존 JEA는 표현 붕괴를 방지하기 위해 암묵적 또는 명시적 배치 상호작용—네거티브 샘플링 또는 통계적 정규화를 통해—에 의존한다. 이러한 의존은 배치 크기가 작아야 하는 영역, 예를 들어 메모리 제약과 클래스 불균형으로 인해 크고 균형 잡힌 배치가 불가능한 고차원 과학 데이터에서 문제가 된다. 우리는 붕괴 방지를 학습 배치 크기로부터 분리하는 프레임워크인 IConE(Instance-Contrasted Embeddings)를 제안한다. 배치 통계를 통해 다양성을 강제하는 대신, IConE는 명시적 다양성 목적 함수로 정규화된 학습 가능한 보조 인스턴스 임베딩의 전역 집합을 유지한다. 이는 반(反)붕괴 메커니즘을 일시적인 배치에서 데이터셋 수준의 임베딩 공간으로 전환하여, 배치 통계가 신뢰할 수 없는 경우에도 배치 크기 1까지 안정적인 학습을 가능하게 한다. 다양한 2D 및 3D 생의학 모달리티에서 IConE는 소배치 영역(B=1부터 B=64까지) 전반에 걸쳐 강력한 대조적 및 비대조적 베이스라인을 능가하며, 심각한 클래스 불균형에 대한 뚜렷한 견고성을 보인다. 기하학적 분석은 IConE가 학습된 표현에서 높은 내재 차원성(intrinsic dimensionality)을 유지하여, 배치 크기가 줄어들 때 기존 JEA에서 관찰되는 붕괴를 방지함을 보여준다.
라벨 없는 데이터에 대해 사전학습된 대규모 신경망을 활용한 뒤 특정 작업에 미세조정하여 사용하는 파운데이션 모델(Foundation Model)은 점점 더 전문 분야에 적용되고 있다. 최근 예로는 기후 분야의 ClimaX와 위성 지구 관측을 위한 Clay가 있지만, 우주 객체 행동 분석(SOBA, Space Object Behavioural Analysis)을 위한 파운데이션 모델은 아직 개발되지 않았다. 궤도상 객체 수가 증가함에 따라 우주 객체 행동을 특성화하는 자동화 방법은 우주 안전성(safety)에 필수적이다. 본 연구에서는 SOBA를 위한 파운데이션 모델로 나아가는 첫걸음으로, 우주 객체 행동 분석을 위한 자기지도 학습 프레임워크를 제안한다. 백본은 Perceiver-변분 오토인코더(VAE) 아키텍처이며, MMT-9 관측소의 약 227,000개 광곡선(light curve)에 대해 자기지도 재구성 및 마스크 재구성으로 사전학습했다. VAE는 이상 탐지, 운동 예측, 합성 광곡선 생성을 가능하게 한다. boxwing, Sentinel-3, SMOS, Starlink 플랫폼의 CAD 모델을 사용하여 두 개의 독립적인 광곡선 시뮬레이터(CASSANDRA 및 GRIAL)로 모델을 미세조정했다. 사전학습된 모델은 재구성 평균제곱오차(MSE) 0.0012를 달성했으며, 재구성 난이도를 통해 잠재적으로 이상적인 광곡선을 식별했다. 미세조정 후 모델은 이상 탐지 및 운동 모드 예측(예: sun-pointing, spin, tumbling)에서 85% 및 82% 정확도와 0.92 및 0.95 ROC AUC 점수를 기록했다. 실제 데이터에 대한 고신뢰도 예측 분석을 통해 특성적인 객체 프로파일과 위성 glinting 등 뚜렷한 패턴이 드러났다. 본 연구는 풍부한 사전학습 표현으로부터 자기지도 학습이 이상 탐지, 운동 예측, 합성 데이터 생성을 동시에 가능하게 하는 방식을 보여주며, 자동화된 모니터링과 시뮬레이션을 통해 우주 안전성과 지속가능성을 지원한다.
코딩 에이전트는 진행 중인 추론에 외부 도구의 반환값을 통합해야 하며, 이 능력은 코드에 대한 표준 좌→우 사전학습(pre-training)에서 전방 방향으로만 드러납니다. 우리는 코딩 에이전트의 행동-관측-지속(action-observation-continuation) 루프가 구조적으로 함수 호출 지점과 동형(isomorphic)이라는 점을 관찰합니다. 호출자(caller)가 인자를 바인딩하고, 피호출자(callee)가 다른 곳에서 계산된 값을 반환하며, 하위 코드가 그 값을 소비합니다. 이러한 조건화(conditioning) 구조는 일반 코드에서 인터넷 규모로 존재합니다. 우리는 함수 인식 중간 채우기(FIM) 중간 학습을 통해 이를 활용합니다. 이는 프로그램 의존성 그래프 분석과 복잡도-추론 가능성(complexity-inferability) 이중 기준을 통해 선택된 함수를 마스킹하는 자기지도(self-supervised) 목적 함수입니다. Qwen2.5-Coder-Instruct(7B/14B)와 Qwen3-8B를 968개 GitHub 저장소에서 수집한 26억 토큰 규모의 오염 제거(decontaminated) 코퍼스로 중간 학습한 뒤, 기존 에이전트형 사후 학습 파이프라인을 적용합니다. 중간 학습은 7B/14B에서 SWE-Bench-Verified를 +2.8/+3.0, Qwen3-8B에서 +3.2 향상시킵니다. SWE-Bench-Lite에서는 동일 모델에서 +3.7/+4.0/+5.4의 향상을 얻습니다. 이 향상은 두 가지 사후 학습 파이프라인(R2E-Gym, SWE-Smith)과 비 Qwen2.5 기반(Qwen3-8B with SWE-Lego)에서도 유지됩니다. 도메인 내 이득을 넘어, 중간 학습은 에이전트형 사후 학습이 그렇지 않으면 비에이전트 코딩(예: LiveCodeBench) 및 비코딩 도구 사용 벤치마크(tau-bench, BFCL)에 가하는 능력 침식을 완화합니다. 중간 학습 코퍼스는 Python 코드만 포함하지만, 함수 호출 귀납적 바이어스(inductive bias)는 사후 학습 후에도 유지되어 일관된 향상을 가져옵니다.
전력망 문제를 위한 그래프 신경망(GNN)의 단일 과제 미세조정은 체계적인 실패 양상을 보인다. 분포 내(in-distribution) 오차가 가장 낮은 모델일수록 토폴로지 변화(topology shift) 하에서 가장 크게 성능이 저하된다. 이를 토폴로지 과적합(topology overfitting)이라 부른다. 과제 특화 그래디언트 신호가 기본 물리학(underlying physics)보다는 학습 토폴로지에 특화된 관계 구조를 인코딩하는 경향으로, 분포 내 성능이 우수함에도 불구하고 모델이 보지 못한 전력망에서 실패하게 만든다.
이 실패 양상을 드러내고 해결하기 위해, 공유 노드 인코더 위에서 K개의 과제 특화 GPS 분기를 실행하는 멀티플렉스 그래프 트랜스포머인 MxGPS(Multiplex GPS)를 제안한다. 이는 자기지도 사전학습 및 다중 과제 미세조정 프로토콜을 통해 정적 상태 추정(Static State Estimation, SSE)과 교류 전력 조류(AC Power Flow, PF)에 공동 학습되며, 교차 분기 어텐션 모듈은 ablation에서 평가되었다. SSE+PF 공동 목적 함수는 공유 인코더가 상보적인 그래디언트 신호를 동시에 만족하도록 강제하여, 토폴로지 특화 관계 구조에 대한 과적합을 방지한다.
3-fold 슬라이딩 윈도우 교차 검증(sliding-window cross-validation)으로 네 가지 보지 못한 토폴로지(14-, 24-, 162-, 300-bus)를 아우르는 실험에서, MxGPS는 네 가지 제로샷 Power Flow 토폴로지 모두에서 0% 경계 위반률(boundary violation rate, BVR)을 달성한다. 중요하게도, 분포 내 PF 오차가 실질적으로 더 낮은 모델들은 토폴로지 변화 하에서 190%에서 1400%까지 성능이 저하되는 반면, MxGPS는 39%에 불과하다. 이러한 역전 현상은 실패 메커니즘이 모델 용량 부족이 아니라 토폴로지 과적합임을 직접적으로 시사한다. 매개변수 160만 개(GridFM 참조 기준선 대비 12배 적음)만으로 MxGPS는 다중 과제 공동 학습이 전력망 파운데이션 모델에서 토폴로지 독립적(topology-agnostic) 일반화를 위한 원칙적이고 매개변수 효율적인 메커니즘임을 보여준다.
Wan-Streamer v0.3을 제시한다. 이는 네이티브 스트리밍 상호작용 모델을 단일하는 조직적 관점 아래 재구성한 것으로, 비디오는 월드와 이벤트 스트림의 합이다. 월드는 비디오가 전개되는 지속적인 컨텍스트로, 환경(environment), 장면, 대상, 주변 음향 조건, 음성 특성, 기타 상대적으로 안정적인 조건을 포함한다. 이벤트 스트림은 해당 월드 내에서 시간에 따라 변하는 모든 것으로, 장면 또는 환경 변화, 대상 행동, 음성, 기타 소리를 포함한다. 이는 대규모 실제 비디오에 대한 범용 사전학습(pre-training) 과제를 만들어낸다. 월드와 들어오는 입력이 주어졌을 때, 월드가 실시간으로 어떻게 움직이고 변화하며 반응하는지 예측한다. 이렇게 얻은 역량은 광범위한 실시간 다운스트림(downstream) 과제에 특화될 수 있다. 이를 실시간 풀듀플렉스(full-duplex) 오디오-비주얼 상호작용에 구현했으며, 여기서 이벤트 스트림은 에이전트의 음성과 자유 형식 행동이다. 기능적으로 모델의 멀티모달 이해 과정은 비전-언어-행동(vision-language-action)과 유사하다. 멀티모달 사용자 입력을 언어 형식의 음성 및 행동 액션으로 매핑한다. Wan-Streamer v0.3은 v0.2 운영 지점을 유지한다. 640x368 비디오, 25 FPS, 160 ms 스트리밍 유닛, 약 200 ms 모델 측 응답 지연, 350 ms 양방향 네트워크 예산 하에서 약 550 ms 총 상호작용 지연이다.
다국어 사전학습(pre-trained) 언어 모델(PLM)은 자원이 적은 비라틴 문자(non-Latin-script) 언어에서 성능이 저하되는데, 이는 라틴 문자 중심의 토큰화(tokenization) 학습(training)으로 인한 높은 OOV(out-of-vocabulary) 비율과 과도한 서브워드(subword) 분절(fragmentation) 때문이다. 본 연구는 Ge'ez 문자 기반 언어 중 자원이 가장 풍부한 Amharic과 Tigrinya를 대상으로 하는 XLM-R의 어휘 확장(vocabulary-extended) 변형인 VEXMLM을 제안하며, 추가로 17개의 저자원 아프리카 언어(총 19개)에서도 평가한다. 큐레이션된 Amharic 및 Tigrinya 단일어(monolingual) 말뭉치로 언어별 SentencePiece 토크나이저를 학습하고, 이 토크나이저에서 파생된 30,000개의 Ge'ez 문자 서브워드를 XLM-R 어휘에 추가하며, XLM-R 원래 토크나이저 하에서 구성 서브워드 임베딩(embedding)의 평균으로 이들의 임베딩을 초기화(initialization)한다. VEXMLM은 두 단계로 학습된다: (1) 큐레이션된 말뭉치에서 확장 어휘에 대한 지속적 마스크 언어 모델링(masked language modeling), (2) 질의응답(QA), 개체명 인식(NER), 감성 분석(SA)에 대한 지도 미세조정(supervised fine-tuning). Amharic/Tigrinya QA에서 VEXMLM은 87.0 EM / 90.0 F1을 달성하며, XLM-R의 66.0 EM / 78.0 F1, Glot500의 74.0 EM / 78.0 F1을 상회한다. SA에서는 VEXMLM이 80.0% 정확도에 도달하며, XLM-R 77.0%, Glot500 46.0%를 넘는다. NER에서는 OOV 분석이 가능했던 19개 평가 언어 중 11개에 대해 평균한 OOV 토큰(token) 개체 정확도를 81.4%에서 94.3%로 높인다. 본 연구의 기여는 (i) Ge'ez 문자에 맞춘 어휘 확장 및 임베딩 초기화 절차, (ii) Amharic/Tigrinya에서의 어휘 및 지속적 사전학습(continued pre-training) 이득이 17개의 형태론적으로 관련된 비증강(unaugmented) 아프리카 언어로 전이되는 이단계 학습 전략, (iii) 19개 언어 전반에 걸친 내재적(intrinsic) 토큰화 지표(어휘 커버리지, fertility, OOV 비율)와 외재적(extrinsic) 과제 성능에 대한 평가이다.
다중모달 대조 학습(CL)은 다양한 데이터 모달리티 간 표현을 정렬하고 하류(downstream) 과제를 개선하는 데, 특히 의료 분야에서 뛰어난 성능을 보여주었다. 이는 매칭된(양성) 데이터 모달리티 간 거리를 최소화하고, 매칭되지 않은(음성) 샘플 간 거리를 최대화하는 방식으로 동작한다. 기존 CL 프레임워크는 일반적으로 데이터 배치 내 인스턴스 기반 대응 관계를 가정하며, 짝이 맞지 않은 모든 샘플을 음성으로 취급한다. 그러나 이 가정은 샘플들이 고수준 의미적 속성을 공유할 수 있는 의료 환경에서는 종종 성립하지 않으며, 이로 인해 표현 품질을 저하시키는 거짓 음성(false negative)이 발생한다. 본 논문에서는 소아 코호트의 3D 뇌 자기공명영상(MRI) 스캔과 방사선학 보고서로 학습한 다중모달 의미 인식 대조 학습(MseaCL) 프레임워크를 제안한다. 이 프레임워크의 목표는 학습 과정에서 방사선학 보고서 간 의미적 유사성을 유도 신호로 통합하여, 의미적으로 유사한 거짓 음성 샘플의 영향을 완화하는 것이다. 우리의 결과는 이 프레임워크를 사전학습(pre-training) 단계로 적용하면 하류 과제에서 눈에 띄는 성능 향상을 달성할 수 있음을 보여준다. 예를 들어 소아 뇌종양 분자 분류(molecular classification)의 수신자 조작 특성 곡선(AUC)이 최소 22.6% 증가하여, 임상 응용에서 더 견고하고 의미적으로 정렬된 다중모달 표현을 위한 잠재력을 입증한다.
풍부한 음악 구조의 내부 표현은 기계 보조 음악 공동 작곡과 같은 음악 이해 작업에 필수적이지만, 기호 음악 표현을 위한 자기지도 학습(SSL) 접근법은 여전히 충분히 탐구되지 않았으며, 특히 음악 구조의 계층적 다중 척도(multi-scale) 특성을 인코딩하는 방법은 더욱 그렇다. 우리는 피치(pitch) 및 시간 이동(time-shift) 동변성(equivariance) 목표를 LeJEPA와 Swin Transformer V2 인코더와 결합한 MIDI-RAE-JEPA를 제안하여, 피아노 롤(piano roll) 이미지로 인코딩된 기호 음악의 이러한 계층적 표현을 학습한다. 시간 이동 동변성 목표는 모델이 시간적 음악 관계를 내면화하도록 유도한다. 인코더는 마스크된 임베딩 예측기(MEP)를 포함한 순수 자기지도 목표로만 학습되며, SIGReg를 통해 붕괴(collapse)를 방지한다. 고정(frozen)된 인코더 임베딩 위에서 학습된 별도의 디코더는 재구성 F1 0.995를 달성하며, 해당 임베딩을 조건으로 하는 flow matching 생성 모델은 조건 발췌(conditioning excerpt)의 음역(pitch register)과 리듬 밀도(rhythmic density)를 밀접하게 재현하는 생성 결과를 만들어 내는 반면, 불일치하는 조건(conditioning)은 관련 없지만 음악적으로 그럴듯한(plausible) 출력을 낳는다. 학습된 표현은 하위 감정 분류 작업에서 Haar scattering transform 기준선을 능가하며, 임베딩 거리는 피치 및 시간 이동 크기에 따라 단조 증가하여 가측 가능한 동변성을 확인한다. 이러한 결과는 동변성 기반 SSL 목표가 충분한 세밀 수준(fine-level) 인코더 용량과 결합될 때, 기호 음악의 의미적으로 풍부하고 생성에 유용한 표현을 향한 실행 가능한 경로를 제공함을 시사한다.