PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13437v1cs.AI

HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단

Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC

표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.

arXiv:2610.11019v1cs.CV

원시 비디오를 활용한 언어 모델의 중간 학습

Mid-Training Language Models on Raw Video

다중모달 대규모 언어 모델은 주로 쌍을 이룬 이미지-텍스트 데이터나 주석이 달린 비디오를 통해 학습하며, 기존 언어 모델을 추가 학습(training)하는 데 원시 웹 비디오가 사용되는 경우는 드뭅니다. 본 연구에서는 캡션이나 텍스트 손실(loss)이 없는 원시 비디오가 사전학습된 언어 모델의 중간 학습(mid-training) 데이터로 기능할 수 있는지를 조사합니다. 비디오 프레임은 연속적인 시각적 토큰(token)으로 인코딩되며, 언어 모델은 다음 시각적 토큰을 예측하도록 학습합니다. 저자들은 YT-Temporal-1B의 원시 클립을 사용하여 Qwen3-1.7B를 중간 학습한 후, 중간 학습을 거친 모델과 거치지 않은 모델 모두에 동일한 이미지-텍스트 지시 미세조정(instruction tuning)을 적용하여 두 모델이 오직 중간 학습 여부에서만 차이를 갖도록 설계했습니다. 중간 학습된 모델은 지각, 문서, 차트 과업을 아우르는 4개의 비디오 벤치마크에서 평균 2.9점, 10개의 이미지 벤치마크에서 평균 5.1점 더 높은 점수를 기록했습니다. 중간 학습 과정에 텍스트가 포함되지 않았음에도 텍스트 성능은 유지되어, 14개 텍스트 벤치마크 평균 점수가 중간 학습을 거치지 않은 모델의 48.0점에 비해 48.9점을 기록했습니다. 학습 과정 전반에 걸친 분석 결과에 따르면, 이미지 및 비디오 성능 향상은 학습의 30% 이내에 나타나고 이후 0.5점 미만의 변동을 보이며 정체 상태에 도달합니다. 캡션을 예측하는 방식은 다음 시각적 토큰 예측 성능을 넘어서지 못했으며, 이는 비디오 중간 학습이 자동 캡셔닝의 연산 오버헤드나 레이블링 노이즈 없이도 순수하게 자기지도 학습 방식으로 유지될 수 있음을 보여줍니다.

arXiv:2610.10865v1cs.CL

경로 지정 희소 오토인코더를 통한 언어적 정보와 준언어적 정보의 얽힘 분리

Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders

자기지도 학습(self-supervised learning) 기반 음성 인코더는 공유되고 얽힌 표현 공간 내에 언어적 정보와 준언어적(paralinguistic) 정보를 함께 포함합니다. 본 연구에서는 TopK 희소 오토인코더(sparse autoencoder)를 경로별 지도(route-specific supervision) 및 교차 요인 적대적 학습(cross-factor adversaries)과 결합합니다. 동결된 SPEAR 및 WavLM 인코더 전반에서 독립적인 프로브(probe)를 통해 요인별 유지 및 억제를 확인했습니다. 언어적 정보는 언어 경로에서 더 강하게 유지되는 반면, 화자 신원, 감정, 운율을 포함한 준언어적 요인은 준언어 경로에 유지되고 언어 경로에서는 대폭 감소합니다. LibriSpeech에서 학습된 경로 구성은 표현 측 재학습 없이도 MSP-Podcast에서도 지속됩니다. 특징(feature) 공간에서의 경로 개입은 변경되지 않은 경로가 전달하는 정보를 대부분 보존하면서 교체된 요인을 추가로 전이합니다. 이러한 결과는 인코더, 말뭉치(corpora), 독립 프로브 및 표현 수준 개입 전반에서 일관된 경로 선택적 분리가 이루어짐을 보여줍니다.

arXiv:2610.05711v1cs.LG

사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습

From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model

강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.

arXiv:2609.33563v2cs.LG

MA-JEPA: 다중 에이전트 강화학습을 위한 결합 임베딩 월드 모델

MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning

월드 모델(world model)은 상상된 궤적(imagined trajectory)을 바탕으로 정책(policy)을 학습(training)함으로써 표본 효율성(sample efficiency)을 향상시키지만, 그 유용성은 미래 제어에 필요한 정보를 포착하는 표현(representation)을 학습하는 것에 달려 있습니다. 본 연구에서는 자기지도 결합 임베딩 예측(JEPA)이 다중 에이전트 강화학습(MARL)에 이러한 학습 신호를 제공할 수 있는지 조사합니다. 관측 재구성(observation reconstruction)을 타깃 표현 예측으로 대체하여 중앙 집중식 학습 및 분산 실행(CTDE)을 갖춘 모델 기반 다중 에이전트 강화학습을 가능하게 하는 확률적 월드 모델인 MA-JEPA를 소개합니다. 사후(posterior) 및 행동 조건부 역학 예측 목표를 통해 범주형 잠재 상태(categorical latent state)와 인과적 트랜스포머(causal Transformer)를 학습시키며, 이후 잠재적 상상(latent imagination)으로부터 액터-크리틱(actor-critic) 학습에 이를 활용합니다. 학습 단계에서만 사용되는 결합 예측기(joint predictor)는 모든 에이전트의 로컬 상태 및 행동을 조건으로 삼아 각 에이전트의 다음 로컬 관측 임베딩(embedding)을 예측합니다. 이러한 예측값은 실제 상호작용 중에 사용되는 동일한 로컬 사후 분포를 거쳐 가치 학습에만 사용되는 중앙 집중식 크리틱으로 전달되며, 실행은 분산된 상태를 유지합니다. 실험 결과, 이 아키텍처는 SMAC에서 강력한 성능을 보여주었으며, 평가된 8개 맵 중 4개 맵에서 기존에 보고된 가장 강력한 비교 대상의 평균 승률과 일치하거나 이를 능가했습니다.

arXiv:2609.12035v3cs.AI

심장 전체 읽기: 다중모달 심장 표현 학습을 위한 잠재 어텐션 마스크 오토인코더

Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning

심혈관 질환의 진단과 치료는 심전도(electrocardiogram), 심초음파(echocardiography), 흉부 X선(chest X-rays)과 같이 심장 병태생리의 서로 다르지만 상호보완적인 측면을 포착하는 상호보완적 모달리티들의 통합에 기반합니다. 그러나 대부분의 의료 파운데이션 모델은 여전히 특정 모달리티에 국한되어 있으며, 파인튜닝(fine-tuning)이나 사후 학습(post-training) 단계에서만 모달리티들을 결합합니다. 이는 임상의들이 자연스럽게 통합하는 교차 모달 증거를 버리고 각 모달리티 내부의 구조를 무시합니다. 본 논문에서는 자기지도 사전학습(self-supervised pre-training) 과정에서 환자 수준의 표현을 공동으로 학습하는 다중모달(multimodal) 구조 인식 마스크 오토인코더인 Latent-Attention Masked Autoencoder(LAMAE)를 제안합니다. 사후에 모달리티를 융합하는 대신, LAMAE는 검사-뷰-개체(study-view-entity) 계층 구조에 걸쳐 작동하는 공유 잠재 어텐션(latent-attention) 모듈을 통해 잠재 공간에서 직접 정보를 교환함으로써 다양한 관찰 결과의 집계와 누락된 모달리티 처리를 가능하게 합니다. 50만 건 이상의 MIMIC-IV 입원 기록을 대상으로 사전학습된 LAMAE는 원내 사망률, ICD-10 및 DRG 코딩, 입원 기간과 같은 다중모달 입원 과제 전반에서 모달리티별 사전학습과 강력한 대조 학습 및 비전-언어 베이스라인을 능가하는 동시에, 단일 모달 과제에서도 경쟁력 있는 성능을 유지합니다. 이러한 구조를 모델링하는 것은 단일 모달리티 내에서도 효과를 발휘하여, 교차 모달 정보가 없더라도 잠재 어텐션 모듈은 모달리티별 사전학습 대비 표현력을 향상시킵니다.

arXiv:2606.11542v2cs.CL

사전학습된 자기지도 음성 모델은 미학습된 자음을 인식할 수 있다

Pretrained self-supervised speech models can recognize unseen consonants

현대의 사전학습된 자기지도 자동 음성 인식(ASR) 모델은 대규모 오디오 데이터로 학습되어 음성을 문맥화된 표현으로 인코딩합니다. 그러나 학습 데이터가 저자원 언어 데이터는 거의 없이 고자원 언어에 크게 치우쳐 있어, 주로 코이산(Khoisan)어족 언어에서 발견되는 흡착음(click consonant, 클릭 자음)처럼 유형론적으로 흔치 않은 말소리가 제대로 표현되지 못할 수 있다는 우려가 제기됩니다. 이는 본 연구의 핵심 질문으로 이어집니다. 이러한 모델들이 다른 말소리만큼 흡착음을 정확하게 인식할 수 있을까요? 이 질문을 해결하기 위해, 본 연구에서는 흡착음이 풍부한 두 코이산어(G|ui 및 West !Xoon) 데이터를 바탕으로 사전학습된 자기지도 음성 모델(Wav2Vec2 및 HuBERT)을 파인튜닝(fine-tuning)하고 비교합니다. 실험 결과, 파인튜닝된 모델들이 비흡착음보다 흡착음을 일관되게 더 정확하게 인식함을 확인했으며, 이는 자기지도 학습이 희귀 음소를 포함한 인간 말소리 전반에 걸친 일반화를 가능하게 함을 시사합니다.

arXiv:2512.00665v2stat.ML

역혼합 플로우를 위한 자급자족 독립 성분 분석

Self-sufficient Independent Component Analysis for Demixing Flows

본 연구에서는 비선형 독립 성분 분석(ICA)을 사용하여 데이터로부터 얽힘이 풀린(disentangled) 신호를 학습하는 문제를 다룬다. 자기지도학습(self-supervised learning)의 발전에 착안하여, 우리는 '자급자족적(self-sufficient)' 신호를 학습할 것을 제안한다. 즉, 복원된 신호의 나머지 값들이 주어졌을 때 다른 신호들을 관찰하더라도 결측값의 조건부 분포가 변하지 않아야 한다는 것이다. 우리는 이 문제를 조건부 KL 발산(KL divergence) 최소화 문제로 정식화한다. 제안하는 알고리즘은 모수적 소스 밀도(parametric source densities)나 관측 가능도(observation likelihood)를 규정하지 않는다는 점에서 사전 분포 무관(prior-free) 및 가능도 무관(likelihood-free) 방식이다. KL 발산 최소화 문제를 해결하기 위해, 각 반복(iteration)마다 역혼합 플로우(de-mixing flow) 모델을 학습하는 순차적 알고리즘을 제안하며, 정확한 속도 및 모집단 투영 조건을 갖춘 이상적인 바세르슈타인 그래디언트 플로우(Wasserstein-gradient-flow) 변형에 대해 총 상관(total correlation)의 국소적 감소를 증명한다. 이 접근 방식은 KL 발산 최소화 시 흔히 발생하는 문제인 불안정한 적대적 학습을 완전히 피한다. 토이 데이터셋과 실제 데이터셋에 대한 실험을 통해 제안 방법의 효과성을 입증한다.

arXiv:2502.20612v2cs.LG공식 코드 · Papers with Code

자기지도 대조 학습을 위한 전역 거짓 부정의 즉각적인 탐지

Discovering Global False Negatives On the Fly for Self-supervised Contrastive Learning

자기지도 대조 학습(self-supervised contrastive learning)에서 음성 쌍(negative pair)은 일반적으로 앵커(anchor) 이미지와 앵커를 제외한 전체 데이터셋에서 추출된 샘플을 사용해 구성됩니다. 그러나 이러한 방식은 유사한 의미를 지닌 음성 쌍, 즉 "거짓 부정(false negatives)"을 생성할 수 있으며, 이로 인해 이들의 임베딩이 부당하게 멀어지게 됩니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training) 중에 각 앵커 데이터의 거짓 부정을 식별하기 위한 임계값을 즉석에서(on the fly) 자동으로 학습하는 최적화 기반 접근 방식인 GloFND를 소개합니다. 기존의 거짓 부정 탐지 방법들과 달리, 우리의 접근 방식은 미니배치(mini-batch) 내에서 국소적으로 탐지하는 대신 전체 데이터셋에 걸쳐 전역적으로 거짓 부정을 탐지합니다. 또한, 반복(iteration)당 계산 비용은 데이터셋 크기와 무관하게 일정하게 유지됩니다. 이미지 및 이미지-텍스트 데이터에 대한 실험 결과는 제안된 방법의 효과를 입증합니다. 본 연구의 구현 코드는 https://github.com/vibalcam/GloFND 에서 확인할 수 있습니다.

arXiv:2604.04614v3cs.LG

다수준 불완전 다중 모달 EHR 기반 원내 사망률 예측을 위한 임상 포인트 클라우드 패러다임

A Clinical Point Cloud Paradigm for In-Hospital Mortality Prediction from Multi-Level Incomplete Multimodal EHRs

다중 모달 전자 건강 기록(EHR)의 심층 학습(deep learning) 기반 모델링은 임상 진단 및 위험 예측을 위한 중요한 접근법으로 자리 잡았습니다. 그러나 다양한 임상 워크플로우와 프라이버시 제약으로 인해, 원시 EHR은 불규칙한 샘플링, 모달리티 결측, 희소한 레이블 등 본질적으로 다수준(multi-level)에서 불완전성을 지닙니다. 이러한 문제는 시간적 불일치, 모달리티 불균형, 제한된 지도 신호를 초래합니다. 기존 다중 모달 방법론의 대부분은 데이터가 비교적 완전하다고 가정하며, 불완전성을 다루도록 설계된 방법조차 대개 이러한 문제 중 한두 가지만을 개별적으로 다룹니다. 그 결과 엄격한 시간/모달 정렬에 의존하거나 불완전한 데이터를 폐기하는 경우가 많아 원시 임상 의미론을 왜곡할 수 있습니다. 이 문제를 해결하기 위해 우리는 다수준 불완전 EHR을 위한 통합 임상 포인트 클라우드 패러다임인 HealthPoint(HP)를 제안합니다. HP는 이종 임상 이벤트를 콘텐츠, 시간, 모달리티, 케이스로 정의되는 연속적인 4차원 공간의 점으로 표현합니다. 임의의 점 쌍 간의 상호작용을 모델링하기 위해, 이 네 가지 차원에 걸친 고차 종속성을 효율적으로 포착하는 저순위 관계형 어텐션(Low-Rank Relational Attention) 메커니즘을 도입합니다. 나아가 세립화된 모델링과 계산 효율성 간의 균형을 맞추기 위해 계층적 상호작용 및 샘플링 전략을 개발합니다. 이 프레임워크를 기반으로 구축된 HP는 유연한 이벤트 수준 상호작용과 세립화된 자기지도학습을 가능하게 하여, 강건한 모달리티 복원과 레이블 없는 데이터의 효과적인 활용을 지원합니다. 위험 예측을 위한 대규모 EHR 데이터셋에 대한 실험은 HP가 다양한 수준의 불완전성 하에서도 일관되게 최고 수준(SOTA)의 성능과 강력한 강건성을 달성함을 보여줍니다.

arXiv:2602.02980v3eess.AS

WaveScat: 음성 딥페이크 탐지를 위한 웨이블릿 산란 프론트엔드 및 자기지도학습 특징

WaveScat: Wavelet Scattering Front-Ends with Self-Supervised Features for Speech Deepfake Detection

음성 딥페이크 탐지를 위한 기존 프론트엔드는 주로 두 가지 유형으로 분류됩니다. 수작업 기반(hand-crafted) 필터뱅크 특징(feature)은 명확하지만 더 높은 수준의 정보를 포착하는 데 한계가 있습니다. 반면 자기지도학습(SSL) 특징은 해석 가능성이 부족하고 미세한 스펙트럼 이상을 간과할 수 있습니다. 본 연구에서는 웨이블릿 산란 변환(WST)을 통해 두 방식의 장점을 결합한 새로운 특징 추출기 계열인 WaveScat을 제안합니다. WST는 웨이블릿 합성곱과 모듈러스 비선형성을 계단식으로 연결하여 변형에 안정적인 다중 스케일 특징을 생성합니다. 최신 Deepfake-Eval-2024 벤치마크 실험과 SpoofCeleb, In-the-Wild, ASVspoof 5에 대한 교차 데이터셋(cross-dataset) 평가 결과, WaveScat이 기존 프론트엔드를 큰 마진(margin)으로 능가함을 보여줍니다. 분석을 통해 작은 평균화 스케일과 고주파수 및 방향 해상도의 결합이 미세한 아티팩트를 포착하는 데 중요하다는 점을 밝혔습니다. 이는 음성 딥페이크 탐지에서 안정적이고 평행이동 불변인 특징의 가치를 강조합니다. 코드 및 보충 자료는 https://github.com/xxuan-acoustics/WaveScat 에서 확인할 수 있습니다.

arXiv:2511.17776v2cs.LG

PrismSSL: 하나의 인터페이스, 다양한 모달리티; 멀티모달 자기지도학습을 위한 단일 인터페이스 라이브러리

PrismSSL: One Interface, Many Modalities; A Single-Interface Library for Multimodal Self-Supervised Learning

본 논문에서는 오디오, 비전, 그래프 및 크로스모달(cross-modal) 환경 전반의 최신 자기지도학습(SSL) 방법들을 단일 모듈형 코드베이스로 통합한 파이썬 라이브러리인 PrismSSL을 소개합니다. 본 데모의 목표는 연구자와 실무자가 (i) 몇 줄의 코드만으로 사전 작업 학습(pretext training)을 설치, 설정 및 실행하고, (ii) 간결한 벤치마크를 재현하며, (iii) 깔끔한 트레이너 및 데이터셋 추상화를 통해 프레임워크를 새로운 모달리티나 방법으로 확장할 수 있는 방법을 보여주는 것입니다. PrismSSL은 PyPI에 패키징되어 MIT 라이선스로 배포되며, HuggingFace Transformers와 긴밀하게 연동되고, PyTorch 기반 분산 학습, Optuna 기반 하이퍼파라미터 탐색, 트랜스포머 백본을 위한 LoRA 미세조정, 온전성 검사(sanity check)를 위한 애니메이션 임베딩 시각화, Weights & Biases 로깅, 사용 편의성과 가독성 향상을 위한 다채로운 구조화된 터미널 로그와 같은 다양한 편의 기능을 제공합니다. 또한 PrismSSL은 Flask 및 표준 웹 기술로 구축된 그래픽 대시보드를 제공하여 사용자가 최소한의 코딩으로 학습 파이프라인을 구성하고 실행할 수 있도록 지원합니다. 본 연구의 결과물(코드 및 데이터 레시피)은 공개되어 재현 가능하도록 제공될 예정입니다.

arXiv:2508.10838v3cs.CV

MAGIC: 비지도 스테레오 매칭을 위한 가시성 비대칭 기반 학습

MAGIC: Learning from Visibility Asymmetry for Unsupervised Stereo Matching

가려진 영역(occluded regions)에서 시차(disparity)를 학습하는 것은 비지도 스테레오 매칭(unsupervised stereo matching)에서 여전히 어려운 과제로 남아 있습니다. 광도 지도(photometric supervision)는 이러한 영역에서 유효한 타깃 뷰 대응점(target-view correspondences)이 부족하며, 기존의 양안 자기 훈련(binocular self-training)에서는 교사(teacher)와 학생(student) 모델이 동일한 타깃 뷰를 공유하므로 가려짐 또한 동일하게 발생합니다. 지도가 가능한 경우라도 가려진 픽셀의 비율이 적어 학습(training)에 대한 기여도가 제한적입니다. 본 논문에서는 신뢰성 있고 효과적인 가려짐 지도를 위해 다중 기준선 기하학적 일관성 프레임워크인 MAGIC을 제안합니다. 교사와 학생 모델은 참조 이미지를 공유하지만 서로 다른 타깃 뷰를 사용하여, 교사 모델이 학생 모델에서 가려진 대응점을 관찰할 수 있도록 합니다. 기준선(baseline) 간 시차를 정렬한 후, MAGIC은 교사 모델에 보이는 영역의 예측값을 활용하여 학생 모델에서 가려진 영역을 지도합니다. 또한 가려짐 인식 가중치 전략을 통해 교사에게는 보이지만 학생에게는 가려진 픽셀에 대한 지도를 강화함으로써, 가려지지 않은 영역에 의해 학습 신호가 압도되는 것을 방지합니다. 아울러 다양한 장면, 날씨, 조명을 아우르는 합성 다중 기준선 스테레오 데이터셋(dataset)인 MBS20K를 소개합니다. MBS20K로 사전학습(pre-training)된 MAGIC은 가려진 영역의 이상치(outlier)를 일관되게 줄이며 실제 데이터셋으로 잘 일반화됩니다. KITTI에서 이 사전학습 모델은 이미 미세조정(fine-tuning)된 여러 비지도 방법들의 성능을 능가합니다. 표준 양안 쌍에 대해 이 모델을 미세조정하면 KITTI 2015 및 2012에서 최고 수준(state-of-the-art)의 비지도 성능을 달성합니다. 미세조정 중 합성된 다중 기준선 뷰를 포함하면 성능이 더욱 향상됩니다. 코드와 데이터셋은 논문 채택 시 공개될 예정입니다.

arXiv:2609.32921v2cs.LG

월드 모델을 위한 적응형 잠재 용량

Adaptive Latent Capacity for World Models

본 논문에서는 넓은 잠재 표현의 조밀한 접두 문맥(prefix)에 예측 정보를 집중시키도록 학습하는 결합 임베딩 예측 아키텍처(JEPA) 기반의 월드 모델인 Adaptive LeWorldModel(ALeWM)을 소개합니다. 이러한 순서화를 유도하기 위해 ALeWM은 접두 문맥 길이에 대한 시퀀스 조건부 분포를 학습하고, 샘플링된 입력 접두 문맥으로부터 완전한 다음 임베딩을 추정하도록 예측기를 훈련합니다. 표준 붕괴 방지 목적 함수는 잠재 좌표 전반의 다양성을 장려할 뿐 예측 중요도에 따라 좌표를 정렬하지 못하므로, 본 논문은 MixSIGReg도 함께 제안합니다. MixSIGReg는 가우시안 활성 접두 문맥과 나머지 좌표의 0으로 구성된 사전 가중치 혼합 분포에 맞춰 마스킹된 임베딩을 정규화합니다. 그 결과 ALeWM 목적 함수는 앞쪽 좌표가 예측 및 재귀적 계획 수립에 유용한 정보를 유지하도록 유도합니다. 분석에 따르면 MixSIGReg가 사용하는 혼합 분포는 앞쪽 좌표 블록에 더 높은 분산을, 뒤쪽 좌표 블록에 더 낮은 분산을 할당합니다. 또한 특정 가정 하에서 예측에 가장 유용한 정보를 앞쪽 블록에 배치할 때 예측 오차가 최소화됨을 보여줍니다. 실증적으로는 상태 변수가 알려진 제어된 동적 시스템과 목표 조건부 시각 제어 환경에서 ALeWM의 동작을 연구합니다. 실험을 통해 ALeWM이 튜닝된 고정 너비 LeWM보다 평균 계획 용량을 더 적게 사용하면서도 일관되게 더 높은 평균 성공률을 달성함을 보입니다.

arXiv:2609.18462v5cs.CV

CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현

CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models

FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.

arXiv:2608.19693v2cs.CV

RIPE++: 포지티브 쌍만 활용한 강화학습 기반 특징점 학습

RIPE++: Reinforced Keypoint Learning from Positive Pairs Only

희소 특징점(sparse keypoint) 추출 및 매칭은 Structure-from-Motion(SfM), 시각적 SLAM(visual SLAM), 증강 현실(AR), 의료 영상 정합 등 기하학적 컴퓨터 비전의 핵심 과제를 뒷받침합니다. 그러나 강건한 지역 특징(local feature) 표현을 학습하려면 일반적으로 정확한 카메라 포즈나 깊이(depth) 지도 신호가 필요한데, 이는 실제 환경에서 얻기 어려운 경우가 많습니다. 최근 두 이미지가 동일한 장면을 보여주는지 여부의 정보만 필요로 하는 강화학습(RL)이 유망한 대안으로 떠올랐습니다. 하지만 RIPE와 같은 기존 강화학습 방식은 조잡한 이진 보상(binary reward)과 정교하게 구성된 네거티브 학습 쌍에 의존하므로, 학습 안정성과 기술자(descriptor)의 변별력이 제한됩니다. 본 논문에서는 강화학습 기반 특징점 학습을 재검토하고 기하학적 일관성 신호를 완전히 활용하는 보상을 제안하며, 네거티브 쌍과의 대조 없이 단일 포지티브 쌍만으로 보상과 페널티를 모두 도출합니다. 이러한 더 풍부한 신호는 포지티브 이미지 쌍만으로도 변별력 있는 검출기와 기술자를 학습하기에 충분한 지도 대조 신호를 제공하여, 극도로 제한된 지도 조건에서도 표현 학습을 가능하게 합니다. 나아가 LightGlue를 적용하여 동일한 강화학습 목표를 매칭 단계까지 확장할 수 있음을 보여주며, MegaDepth1500에서 AUC@5를 56.58에서 59.65로 향상시키고 시각적 중첩이 부분적으로 존재하는 이미지 쌍으로부터 전체 희소 매칭 파이프라인의 약지도 학습(weakly-supervised training)을 가능하게 합니다. 널리 사용되는 벤치마크에서 본 접근법을 검증하여 완전 지도 학습(fully-supervised) 방식과 비교해도 경쟁력 있는 결과를 입증합니다. 또한 카메라 포즈를 얻기 어렵고 표준 SfM 파이프라인이 흔히 실패하는 저텍스처 의료 비디오 시퀀스에서도 본 방법이 학습될 수 있음을 추가로 보여줍니다. 코드와 데이터는 https://github.com/fraunhoferhhi/RIPEpp 에서 제공됩니다.

arXiv:2608.16287v3cs.LG

JEPA 월드 모델을 활용한 계획 수립에서 표현 기하학의 중요성

Reperesentation Geometry Matters for Planning with JEPA World Models

결합 임베딩 예측형 월드 모델(Joint-embedding predictive world models)은 잠재 예측을 통해 계획 수립(planning)을 지원하지만, 제약 없는 결합 학습(joint training)은 서로 다른 관측치를 동일한 임베딩으로 붕괴(collapse)시킬 수 있습니다. 붕괴를 방지하기 위한 두 가지 대표적인 전략은 DINO-WM처럼 사전학습된 특징을 상속받거나, LeWorldModel(LeWM)처럼 붕괴 방지 정규화를 적용하여 표현을 엔드투엔드로 학습하는 것입니다. 그러나 붕괴를 방지한다고 해서 잠재 공간의 거리가 과업에 중요한 방식으로 결과를 구별해 주는 것은 아닙니다. 예를 들어 물체 조작(object manipulation)에서 성공 여부는 목표 대비 물체의 위치와 방향에 따라 결정됩니다. 이러한 과업 관련 상태 정보는 정확하게 디코딩될 수 있으면서도 잠재 거리에는 거의 영향을 미치지 않을 수 있습니다. 그 결과 발생하는 계획 수립 비용은 예측된 결과가 과업 목표에 얼마나 가까운지를 반영하지 못할 수 있습니다. 본 논문에서는 샘플링된 쌍별(pairwise) 잠재 거리와 과업 관련 상태 공간의 거리 간 상관관계를 형성하는 방법인 SCALE(State-CAlibrated Latent Embeddings)을 제안합니다. LeWM의 기존 목적 함수에 추가되는 SCALE은 기존 아키텍처를 그대로 유지하고, 학습 중에만 특권 상태(privileged state)를 필요로 하며, 계획 수립 시점의 계산량을 추가하지 않습니다. 여러 솔버를 사용한 조작 및 내비게이션 과업 전반에서 SCALE이 LeWM 대비 계획 수립 성공률을 향상시킴을 보이고, SCALE이 계획 수립을 지원하기 위해 표현 기하학(representation geometry)을 어떻게 재구성하는지에 대한 포괄적인 분석을 제공합니다.

arXiv:2607.19889v5cs.CV

수술 도구-조직 상호작용 인식을 위한 잠재 행동 유도 비디오-언어 특징 학습

Latent-Action-Guided Video-Language Feature Learning for Surgical Instrument-Tissue Interaction Recognition

도구-조직 간 상호작용을 인식하는 것은 맥락 인식 수술 AI에 필수적입니다. 비전-언어(vision-language) 모델은 비디오 특징(feature)을 텍스트 기반 행동 설명과 정렬함으로써 수술 표현에 의미적 구조를 주입하는 자연스러운 방법을 제공합니다. 그러나 사전학습(pre-training)된 인코더는 공간적 일관성이 부족할 수 있으며, 전역적 의미 정렬이 정밀한 시공간적 표현을 보장하지는 않습니다. 프레임 간 특징 변화를 분석한 결과, 의미 정렬이 차원성을 증가시키지만 차원이 더 크게 증가한다고 해서 인식이 반드시 향상되는 것은 아니며, 지배적인 변화가 상호작용 영역에 얼마나 강하게 국소화되는지에서도 인코더마다 차이가 있음을 발견했습니다. 이러한 발견에 착안하여, 프레임 간 변화를 잠재 행동으로 압축하고 엔드투엔드 비디오-언어 정렬 과정에서 다음 프레임 특징을 예측하는 \ours{}를 제안합니다. 추가적인 공간 또는 모션 어노테이션 없이도, \ours{}는 평가 환경에서 주요 특징 변화의 상호작용 그라운딩(grounding)과 시간 방향 민감도를 향상시킵니다. 나아가 행동 용량과 예측 강도가 인코더 및 삼중항(triplet) 구성요소 전반의 인식에 미치는 영향을 규명합니다. 대규모 비디오 사전학습이 없는 이미지 인코더를 사용하여, \ours{}는 V-JEPA2/2.1 대비 더 빠른 추론(inference)과 더 적은 INT4 정확도 저하를 보이면서 경쟁력 있는 인식 성능을 달성합니다.

arXiv:2605.29695v2cs.AI

FHRFormer: 태아 심박수 시계열 인페인팅 및 예측을 위한 자기지도 마스크드 트랜스포머 프레임워크

FHRFormer: A Self-Supervised Masked Transformer Framework for Fetal Heart Rate Time-Series Inpainting and Forecasting

신생아의 약 10%는 출생 시 호흡을 시작하기 위해 도움이 필요하며, 약 5%는 인공호흡 지원이 필요합니다. 태아 심박수(FHR) 모니터링은 산전 관리 중 태아의 건강 상태를 평가하는 데 중요한 역할을 하며, 이상 패턴을 감지하고 분만 중 태아 위험을 완화하기 위한 적시의 산과적 개입을 지원합니다. 다양한 결과를 수반하는 대규모 연속 FHR 모니터링 에피소드 데이터셋을 분석하기 위해 인공지능(AI) 기법을 적용하면, 호흡 지원 또는 개입이 필요할 위험을 예측하는 새로운 통찰을 제공할 수 있습니다. 최근 웨어러블 FHR 모니터의 발전으로 임산부의 이동성을 저해하지 않으면서도 지속적인 태아 모니터링이 가능해졌습니다. 그러나 산모의 움직임에 따른 센서 위치 이탈뿐만 아니라 태아 또는 산모의 자세 변화로 인해 신호 드롭아웃이 자주 발생하며, 이는 기록된 FHR 데이터의 결측으로 이어집니다. 이러한 결측 데이터는 유의미한 통찰 도출을 제한하고 자동화된(AI 기반) 분석을 복잡하게 만듭니다. 단순 보간 기법과 같은 결측 데이터 처리의 전통적인 접근법은 신호의 주파수 특성을 보존하지 못하는 경우가 많습니다. 본 논문에서는 데이터의 국소적 시간 및 주파수 성분을 모두 포착하여 결측된 FHR 신호를 재구성하는 마스크드 트랜스포머(masked transformer) 기반 오토인코더 접근법을 제안합니다. 제안된 방법은 다양한 결측 데이터 기간에 걸쳐 견고성을 입증하며 신호 인페인팅 및 예측에 사용될 수 있습니다. 제안된 접근법은 연구 데이터셋에 소급 적용되어 AI 기반 위험 알고리즘의 개발을 지원할 수 있습니다. 향후에는 제안된 방법을 웨어러블 FHR 모니터링 기기에 통합하여 더 조기에 보다 견고한 위험 감지를 달성할 수 있을 것입니다.

arXiv:2605.07079v2cs.CV

잔차 잠재 행동을 통한 시각적 특징 기반 월드 모델 학습

Learning Visual Feature-Based World Models via Residual Latent Action

월드 모델(world model)은 관측과 행동으로부터 미래의 전이를 예측합니다. 기존 연구들은 주로 이미지 생성에만 집중하고 있습니다. 반면, 시각적 특징(feature) 기반 월드 모델은 원본 비디오 픽셀 대신 미래의 시각적 특징을 예측하여 더 효율적이고 환각(hallucination)이 덜 발생하는 유망한 대안을 제시합니다. 그러나 현재의 특징 기반 접근법들은 직접적인 회귀에 의존하여 복잡한 상호작용에서 흐릿하거나 붕괴된 예측을 초래하며, 고차원 특징 공간에서의 생성 모델링은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 DINO 잔차(residual)로부터 잔차 잠재 행동(Residual Latent Action, RLA)이라 명명한 새로운 유형의 잠재 행동 표현을 쉽게 학습할 수 있음을 발견했습니다. 또한 RLA가 예측 가능하고 일반화 가능하며 시간적 진행을 인코딩함을 보여줍니다. RLA를 기반으로, 플로우 매칭(flow matching)을 통해 RLA 값을 예측하는 RLA 월드 모델(RLA-WM)을 제안합니다. RLA-WM은 시뮬레이션 및 실제 데이터셋에서 최첨단 특징 기반 및 비디오 확산(video-diffusion) 월드 모델을 능가하면서도, 비디오 확산 모델보다 수주기(orders of magnitude) 더 빠릅니다. 나아가 RLA-WM을 활용하여 정책 학습을 개선하는 두 가지 로봇 학습 기법을 개발했습니다. 첫 번째는 행동 정보가 없는(actionless) 비디오로부터 학습하여 LIBERO 및 실제 로봇에서 VLA를 개선하는 RLA 기반의 미니멀리스트 월드 액션 모델입니다. 두 번째는 온라인 상호작용 없이 오프라인 비디오만으로 학습된 월드 모델 내부에서 전적으로 학습되는 시각적 강화학습(RL) 프레임워크로, 비디오 정렬 보상(reward)을 사용합니다. 프로젝트 페이지: https://mlzxy.github.io/rla-wm