PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2503.16311v2cs.LG

비디오, 오디오 및 그 이상을 위한 구조화된 노이즈 마스킹 모델링

Structured-Noise Masked Modeling for Video, Audio and Beyond

마스크드 모델링(masked modeling)은 강력한 자기지도학습(self-supervised learning) 프레임워크로 부상했습니다. 그러나 대부분의 방법은 서로 다른 데이터 모달리티의 구조적 특성을 무시하는 무작위 마스킹에 의존합니다. 비디오 및 오디오 데이터의 시공간적 및 스펙트럼 특성에 맞추기 위해, 본 논문에서는 구조화된 노이즈 기반의 마스킹 접근법을 소개합니다. 백색 노이즈(white noise)를 다양한 유색 노이즈(color noise) 분포로 필터링함으로써, 수작업 휴리스틱이나 데이터 접근 없이도 모달리티 특화 패턴을 포착하는 구조화된 마스크를 생성합니다. 본 연구의 접근법은 추가적인 계산 비용 없이 마스크드 비디오 및 오디오 모델링 프레임워크의 성능을 향상시킵니다. 실험을 통해 구조화된 노이즈 마스킹이 무작위 마스킹을 일관되게 능가함을 보여주며, 이는 표현 학습(representation learning)을 위한 모달리티 인식 마스킹 전략의 가치를 강조합니다.

arXiv:2502.04892v2cs.LG

연속 시간 fMRI 표현 학습을 위한 확률적 최적 제어

Stochastic Optimal Control for Continuous-Time fMRI Representation Learning

기능적 자기공명영상(fMRI)으로부터 강건한 표현을 학습하는 것은 이종 출처 데이터에 내재된 시간적 불규칙성과 노이즈로 인해 근본적인 어려움을 겪습니다. 기존의 자기지도학습(SSL) 방법들은 fMRI 신호를 이산화하거나 평균화함으로써 중요한 시간 정보를 버리는 경우가 많습니다. 이를 해결하기 위해, 우리는 자기지도학습을 확률적 최적 제어(SOC) 문제로 재구성하는 새로운 프레임워크를 소개합니다. 제안하는 접근법은 뇌 활동을 연속 시간 잠재 역학(continuous-time latent dynamics)으로 모델링하며, 시간적 불규칙성에 구애받지 않는 제어 정책을 최적화함으로써 뇌 역학의 강건한 표현을 학습합니다. 이러한 SOC 프레임워크는 마스크드 오토인코딩(MAE)과 결합 임베딩 예측(JEPA)을 자연스럽게 통합하여 간결한 제어 기반 표현을 추출합니다. 나아가, 시뮬레이션이 필요 없는(simulation-free) 추론 전략을 통해 대규모 fMRI 데이터셋에 대한 계산 효율성과 확장성을 보장합니다. 본 모델은 다양한 다운스트림 응용 전반에 걸쳐 최고 수준(SOTA)의 성능을 입증하며, SOC 기반 연속 시간 표현 학습 프레임워크의 잠재력을 강조합니다.

arXiv:2604.01997v2cs.AI

GenGait: 인간 보행 이상 탐지 및 규범적 트윈 생성을 위한 트랜스포머 기반 모델

GenGait: A Transformer-Based Model for Human Gait Anomaly Detection and Normative Twin Generation

보행 분석은 보행 기능에 대한 객관적인 특성화를 제공하며, 신경계 및 정형외과적 질환 전반에 걸친 진단 및 재활 모니터링을 지원하는 데 널리 활용됩니다. 이 분야에 심층 학습(deep learning)의 적용이 점차 확대되고 있으나, 대부분의 접근법은 질환 라벨이 부착된 데이터로 학습된 지도 분류기에 의존하여 이질적인 병적 양상에 대한 일반화가 제한적입니다. 본 연구의 방법론적 목표는 마커리스 멀티 카메라 모션 캡처 시스템으로 획득한 성인 150명의 규범적 보행 시퀀스만으로 학습된 트랜스포머(Transformer) 마스크드 오토인코더를 기반으로, 관절 수준의 이상 탐지 및 운동학적 교정을 수행하는 무라벨(label-free) 프레임워크를 개발하는 것입니다. 추론(inference) 시에는 병적 상태일 가능성이 있는 입력 시퀀스에 2단계 절차가 적용됩니다. 먼저 개별 관절을 가리고 학습된 규범적 사전 확률(prior)로부터의 편차를 측정하여 관절 불일치 점수를 추정합니다. 그런 다음 플래그가 지정된 관절을 인코더 입력에서 제외하고 남아 있는 시공간적 컨텍스트로부터 전체 골격을 재구성하여, 플래그가 지정된 위치에서 교정된 운동학적 궤적을 산출합니다. 검증(validation) 목표는 이 프레임워크가 보지 못한 규범적 보행을 보존하고 시뮬레이션된 비정상 보행 패턴에서 각도 편차를 줄이는지 평가하는 것입니다. 개념 증명 평가에서 7가지 시뮬레이션 비정상 보행 패턴을 수행한 10명의 미공개(held-out) 규범적 참가자 데이터를 통해 큰 효과 크기(effect size)로 분석된 모든 관절에서 각도 편차의 유의미한 감소와 규범적 운동학 보존이 입증되었습니다. 제안된 접근법은 질환 라벨 없이도 학습된 규범적 보행 패턴과 일치하지 않는 관절을 해석 가능하고 대상자 맞춤형으로 국소화하며, 개인화된 규범적 재구성을 생성할 수 있도록 지원합니다. 비디오는 https://youtu.be/Rcm3jqR5pN4 에서 확인할 수 있습니다.

arXiv:2610.02114v1cs.CV

유전적 발견을 위한 뇌 MRI의 표면-볼륨 자기지도 표현 학습

Surface-volume self-supervised representation learning of brain MRI for genetic discovery

뇌 영상에 대한 기존 전장 유전체 연관성 분석(GWAS)은 사전에 정의되었거나 딥러닝으로 도출된 영상 표현형을 제공하지만, 이러한 표현형은 볼륨(volumetric) 스캔 또는 대뇌 피질 표면 메시(cortical surface mesh) 중 하나에서만 추출되므로 각각 뇌 해부학적 구조의 유전적 변이 중 일부만을 포착합니다. 본 연구에서는 복셀 수준의 이미지 강도와 각 표면 정점(vertex)에서의 곡률 및 피질 두께를 포함한 피질 메시 기하학적 정보를 하나의 공유된 영상 특징 세트로 함께 인코딩하는 자기지도(self-supervised) 프레임워크인 MEVA(Mesh-Enhanced Volumetric Autoencoder)를 소개합니다. MEVA에서 메시와 볼륨 입력을 결합하면 두 입력 중 하나만 사용하는 모델에 비해 연령 및 성별 예측에서 소폭의 성능 향상을 얻을 수 있습니다. 이러한 특징들을 UK 바이오뱅크(UK Biobank)의 GWAS 표현형으로 활용했을 때, 볼륨만으로 학습된 특징이나 메시만으로 학습된 특징보다 더 많은 전장 유전체 유의 수준(genome-wide significant) 유전자 좌(loci)를 발견했습니다. 이러한 결과는 볼륨 기반 자기지도 학습에 대뇌 피질 표면 기하학을 추가함으로써 추가적인 유전적 변이를 포착하고 이를 통해 검출되는 유전자 좌의 수를 증가시킬 수 있음을 시사합니다.

arXiv:2610.01388v1cs.CV

야생의 자기 움직임을 통한 음향 위치 파악의 지도 학습

Supervising Sound Localization by In-the-wild Egomotion

본 논문에서는 자기 움직임(egomotion)을 지도 신호로 활용하여 바이노럴 음향 위치 파악(binaural sound localization)을 학습하는 방법을 제시합니다. 비디오가 진행되는 동안 카메라가 움직임에 따라 음원(sound source)을 향한 카메라의 방향도 변화합니다. 우리는 다중 시점 기하학(multi-view geometry)의 전통적인 방법으로 얻은 카메라 움직임에 대한 시각적 추정치와 일치하도록 음향 방향을 예측하는 오디오 모델을 학습시킵니다. 이는 전통적인 바이노럴 단서와 결합할 수 있는 약하지만 풍부한 형태의 지도 신호를 제공합니다. 이 방법을 평가하기 위해, 자기 움직임이 포함된 실제 환경의 시청각 비디오 데이터셋을 제안합니다. 실험을 통해 본 모델이 실제 데이터로부터 성공적으로 학습할 수 있으며 음향 위치 파악 작업에서 우수한 성능을 발휘함을 보여줍니다.

arXiv:2610.01201v1cs.CV

iSEE: 자기지도학습을 통한 대상 영속성

iSEE: Object Permanence Through Self-Supervision

물체가 가려져 있는 동안에도 해당 물체의 정체성과 위치를 계속 추적하는 대상 영속성(Object permanence)은 추적, 예측, 계획을 수행하는 비디오 표현에서 핵심적인 요소입니다. 이를 달성하는 기존 추적기(tracker)들은 바운딩 박스, 트랙 정체성, 가시성 라벨로부터 학습합니다. 반면, 자기지도 객체 중심(object-centric) 방식은 라벨 없이 물체를 찾아냅니다. 즉, 슬롯 어텐션(slot attention)을 통해 비디오를 물체에 결합되어 프레임 전반에 걸쳐 물체를 따라가는 슬롯들로 표현합니다. 그러나 이러한 슬롯은 가려짐(occlusion)이 발생하면 소실되어 원하는 영속성을 유지하기 불가능해집니다. 영속성을 추론하는 것은 물체가 가려지는 시점을 감지하고, 다시 나타날 때 재식별하며, 다시 나타남만을 유일한 학습 단서로 활용하여 물체의 숨겨진 위치를 연속적으로 유지해야 하므로 매우 어려운 문제입니다. 이를 해결하기 위해 본 논문에서는 어떠한 라벨도 전혀 사용하지 않고 앞서 언급한 세 가지 요구사항을 모두 충족하는 새로운 프레임워크인 iSEE를 제안합니다. iSEE는 다음과 같이 제안된 세 가지 구성 요소를 기반으로 구축되었습니다: (i) 객체 증거 모델링(Object evidence modelling): 슬롯의 어텐션을 해당 슬롯의 과거와 비교하여 물체가 숨겨진 시점을 파악합니다. (ii) 외형-위치 분리(Appearance-position separation): 두 개의 슬롯 스트림을 통해 위치가 지속적으로 변하는 동안에도 재식별을 위해 외형을 유지하도록 합니다. (iii) 재출현 기반 영속성(Permanence from reappearance): 워커(walker)가 숨겨진 물체의 위치를 추적하며, 물체가 다시 나타나는 지점만을 기반으로 학습됩니다. LA-CATER static 벤치마크에서 iSEE는 가려짐 발생 후 86%의 비율로 다시 나타난 물체를 본래 슬롯으로 되돌려 놓았으며(SlotContrast의 32% 대비), 가려진 상태에서도 라벨 기반으로 학습된 최고 성능(SoTA) 모델인 RAM과의 mAP 격차를 4.1 이내로 유지하며 위치를 파악(localise)했습니다. 또한 이 두 스트림을 통해 위치 스트림을 월드 모델의 행동(action)으로 활용함으로써 다운스트림 계획도 가능하게 합니다. 프로젝트 페이지: https://insait-institute.github.io/iSEE/

arXiv:2610.00686v1cs.CV

SemanTok: 효율적인 자기회귀 비디오 생성을 위한 예측 가능한 시맨틱 토큰

SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation

최근 비디오 기반 월드 모델은 자기회귀(AR) 예측의 확장성과 확산 모델(diffusion model)의 시각적 품질을 결합하고 있습니다. 충실도와 시맨틱 측면 모두에서 최적의 성능을 달성하려면 장면 토크나이저의 선택이 매우 중요합니다. 가변 길이의 조잡-정밀(coarse-to-fine) 토크나이저는 바로 이러한 점을 제공합니다. 즉, 초기의 대략적인 토큰들이 클립의 전역적 시맨틱을 전달하는 한편, 이후의 토큰들은 세부 사항을 추가로 구체화합니다. 기존의 가변 토크나이저는 초기 디코더 은닉 상태에 표현 정렬(REPA) 손실만을 적용하는데, 디코더는 노이즈가 추가된 입력으로부터도 이 목표를 부분적으로 충족할 수 있습니다. 본 논문에서는 동결된 DINO 특징을 인코더에 입력하고, 유지된 각 토큰 접두 문맥만으로 이를 재구성하는 경량 헤드를 추가한 가변 비디오 토크나이저인 SemanTok을 소개합니다. SemanTok은 모든 AR 모델 크기에서 높은 시맨틱 정렬과 비디오 충실도를 달성합니다. 201M 크기의 SemanTok AR 모델은 크기가 $3.4\times$에 달하는 VideoFlexTok AR 모델과 동등하거나 그 이상의 성능을 보이며, 더 큰 SemanTok AR 모델은 충실도를 더욱 향상시킵니다. 또한 분포 외(OOD) 클래스에서도 시맨틱 정렬을 유지하며, 순수 노이즈를 포함한 모든 노이즈 수준에서 디코더에 더 높은 시맨틱 정렬을 부여합니다. SemanTok은 재구성 및 생성 모두에서 우수한 성능을 발휘하며, 짧은 토큰 접두 문맥은 예측 비용이 더 저렴하면서도 픽셀 디테일을 후속 토큰으로 미룸으로써 더 우수한 생성 충실도를 제공합니다.

arXiv:2610.00006v1cs.CV

창발적 객체 바인딩은 유한한 공간적 지평을 가진다

Emergent Object Binding Has a Finite Spatial Horizon

사전학습된 비전 트랜스포머(Vision Transformer)는 두 이미지 패치가 동일한 객체에 속하는지 여부를 인코딩합니다. 이 IsSameObject 신호는 동결된 패치 임베딩(embedding)에서 높은 정확도로 디코딩할 수 있으며, 이는 자기지도 사전학습(self-supervised pre-training)만으로도 객체 바인딩(object binding)이 창발(emerge)함을 시사합니다. 본 논문에서는 이러한 단일 정확도 수치가 해당 신호의 구조를 가리고 있음을 보여줍니다. 바인딩은 국소적입니다. 동일한 객체의 두 패치가 바인딩된 것으로 디코딩될 확률은 패치 간의 거리에 따라 단조 감소하며 0이 아닌 하한선(floor)에서 평탄해지는데, 이러한 감쇠는 유한한 길이 스케일을 가진 지수 함수로 잘 설명됩니다. 이러한 감쇠 현상은 객체 크기 전반, 세 가지 프로브(probe) 계열 전반, ADE20K와 COCO 데이터셋 모두, 그리고 DINO 및 CLIP 백본 전반에서 유지되며, 이는 디코더가 아닌 표현(representation) 자체의 특성임을 나타냅니다. 바인딩을 유한한 범위를 갖는 국소적 공간 일관성으로 해석하면 종합 점수로는 설명되지 않던 일련의 동작들을 설명할 수 있습니다. 즉, 바인딩은 큰 객체에서 약화되고, 서로 다른 클래스의 객체보다 동일한 클래스의 구별되는 객체를 덜 안정적으로 분리하며, 객체의 부분들을 전체와 그룹화합니다. 반면에 객체 크기를 통제하면 가림(occlusion)에 의해서는 영향을 받지 않습니다. 저자들은 교란 변수를 통제하여 각각의 동작을 매핑합니다. 예비 관찰로서 지평(horizon)과 그 하한선은 DINOv2와 DINOv3에서 서로 다른 깊이로 구성되어 있으며, 프로브된 레이어 수가 적고 두 모델 간의 교란 변수가 존재함을 고려할 때 이는 시사점을 주는 결과로서 보고합니다.

arXiv:2610.00003v1cs.CV

STATERA: 동결된 시간 튜브릿을 활용한 제로샷 Sim-to-Real 기구학 기반 숨겨진 질량 추정

STATERA: Hidden Mass Estimation via Zero-Shot Sim-to-Real Kinematics using Frozen Temporal Tubelets

프레임 수준의 외형을 위해 사전학습(pre-training)된 비전 모델들은 종종 움직임으로부터 숨겨진 물리적 특성을 추론하는 데 어려움을 겪습니다. 본 연구에서는 자기 가림(self-occlusion)으로 인해 표면 단서와 포인트 트래킹의 신뢰성이 떨어지는 짧은 단안(monocular) 비디오로부터 불투명하고 비대칭인 강체의 질량 중심(CoM) 위치를 파악하는 문제를 다룹니다. 우리는 대부분 동결된 가중치와 경량 시간 튜브릿 믹서(temporal tubelet mixer)를 갖춘 사전학습 비디오 백본(V-JEPA)을 활용하여 프레임별 CoM 히트맵과 궤적을 예측하는 STATERA를 제안합니다. 이 태스크를 지원하기 위해 5만 개의 MuJoCo 궤적과 물리적으로 보정된 실제 CoM 정답(ground truth)이 포함된 63개 시퀀스의 실제 환경 테스트 세트로 구성된 HiddenMass 벤치마크를 도입합니다. 시뮬레이션에서 STATERA-50K-Sigma는 정규화된 CoM 오차를 41.7%(DINOv2)에서 25.2%로 개선합니다. 제로샷(zero-shot) sim-to-real 전이에서 우리는 지도 방식의 근본적인 트레이드오프를 관찰했습니다. 위상 인식(phase-aware) 타깃은 양봉(bimodal) 예측을 유도할 수 있는 반면, 위상 무관(phase-agnostic) 타깃은 통계적으로 안전한 중심점(centroid)으로 붕괴될 수 있습니다. 그럼에도 불구하고, 위상 인식 기반의 STATERA-50K-Crescent는 평가된 방법 중 실제 숨겨진 오프셋을 향해 일관된 움직임을 보여준 유일한 방법입니다. 이는 정적 기하학적 중심점에 비해 절대 유클리드 오차를 미세하게 증가시키는 단안 벡터 오버슈트 아티팩트를 유발하지만, 물리적 포착률(physics capture)을 2.6%에서 41.0%로 향상시킵니다. 이러한 결과는 동결된 시간 표현이 숨겨진 매개변수 추정을 위해 시각적 기하 구조로부터 관성 역학을 더 잘 분리할 수 있음을 시사합니다.

arXiv:2609.24031v2cs.CV

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2609.27382v1cs.SD

얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정

When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models

음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.

arXiv:2609.26347v2cs.CL

TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크

TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling

전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.

arXiv:2609.28409v1cs.LG

Clifford 변분 오토인코더를 이용한 홀로그래픽 축소 표현(Holographic Reduced Representations) 학습

Learning Holographic Reduced Representations with Clifford Variational Autoencoders

벡터 심볼릭 대수(Vector Symbolic Algebras, VSA)는 무작위로 생성된 원자 벡터 심볼과 실수값 데이터의 분수 거듭제곱 인코딩(fractional power encoding)에 벡터 대수를 적용하여, 데이터 구조를 초고차원 벡터 공간으로 사영한다. 비정형 데이터를 임베딩하는 문제는 여전히 해결되지 않은 과제로 남아 있다. 본 논문에서는 임의의 차원에서 데이터를 Clifford 토러스(Clifford torus)로 사영하는 방법을 학습하는 변분 오토인코더(variational autoencoder)인 \textit{Clifford-VAE}를 제안한다. MNIST, FashionMNIST, CIFAR-10 데이터셋을 사용한 실험 결과, Clifford-VAE는 준지도 분류(semi-supervised classification) 과제에서 Gaussian VAE 및 Hyperspherical VAE가 생성하는 표현과 대등한 수준의 표현을 생성하는 동시에, 자기 바인딩 및 언바인딩(self-binding and unbinding), 역할-채움자 복원(role-filler recovery), 번들 용량(bundle capacity)에 대한 VSA 벤치마크 테스트에서는 Gaussian 및 Hyperspherical 대응 모델보다 우수한 성능을 보인다. Clifford-VAE는 지각 데이터(perceptual data)를 심볼릭 추론 프레임워크에 그라운딩(grounding)하기 위한 원리적인 기법을 제공하며, VSA 문헌에서 오랫동안 이어져 온 문제에 대한 새로운 접근법을 제시한다.

arXiv:2609.28199v1cs.LG

종단적 혈당 표현을 위한 전이 가능한 근거 재구성

Transferable Evidence Reconstruction for Longitudinal Glucose Representations

긴 생체 신호 기록에는 일상적인 측정값이 다수 포함되어 있지만, 예측 정보는 희귀 사건, 지속적인 부담, 반복적인 시계열 패턴에 집중되어 있는 경우가 많습니다. 마스크드 오토인코딩(masked autoencoding)은 측정값을 복원하고, 대조 학습(contrastive learning)은 뷰(view)를 정렬합니다. 본 연구에서는 구조화된 신호 근거를 명시적으로 우선시하는 자기지도학습(self-supervision)을 연구합니다. 저자들은 레이블이 지정되지 않은 기록에서 근거를 구축하고, 한 기록 그룹에 새로운 저용량 리더(reader)를 적합(fit)시킨 뒤, 해당 리더가 재적합 없이 다른 그룹에서도 동일한 근거를 복원하도록 요구하는 전이 가능한 근거 재구성(transferable evidence reconstruction, TER)을 도입합니다. 이러한 교차 그룹 테스트를 통해 역전파 미분을 수행함으로써 전이 가능한 근거 디코딩 규칙을 갖는 표현을 학습하며, 이때 근거는 자기지도학습을 유도하지만 다운스트림 특징(feature)으로는 사용되지 않습니다. 연속 혈당 측정(CGM)을 위해 관측 인지 일간 인코더와 시계 인지 다일 메모리는 최대 7일간의 기록을 정리하면서 혈당 수치 및 변화를 기록된 시간과 결합합니다. 14개 작업으로 구성된 리더보드에서 TER은 기존 최강 모델의 전반적인 PR-AUC/ROC-AUC/Macro-F1 점수를 각각 5.51/4.43/2.80%포인트 향상시키고 12/14개 작업에서 최고 지표를 경신했습니다. 이러한 리더보드 성능 향상은 상위 두 베이스라인 간 격차의 각각 2.0~2.9배에 달합니다. 공개 사전학습(pre-training) 데이터, 폴드, 선형 프로브(linear probe) 조건을 일치시켰을 때, TER은 저자들이 재현한 GlucoFM 대비 6.09/5.52/2.72포인트 더 우수한 성능을 보였습니다. 타깃 리더 소거 연구(ablation), 동일 이력 대조군, 교차 개인 판독 실험은 구조화된 근거, 교차 그룹 리더 적합, 학습된 다일 정리의 결합을 뒷받침합니다.

arXiv:2609.28105v1cs.LG

Fed-ReMasker: 특징 수준 결측 하의 연합 표 형식 대치

Fed-ReMasker: Federated Tabular Imputation under Feature-Level Missingness

다기관 임상 연구와 생의학 연구 협력은 점점 더 여러 기관에 걸친 데이터를 활용해 단일 기관을 넘어 일반화되는 모델을 구축하려 한다. 이는 두 가지 뚜렷한 과제를 만든다. 데이터 보호 규제는 기관 간 원시 환자 데이터 공유를 제한할 수 있고, 기관마다 서로 다른 프로토콜 아래 부분적으로만 겹치는 특징 집합만 수집할 수 있다. 연합 학습(federated learning)은 원시 데이터를 중앙에 모으지 않고 협력적으로 모델 학습을 가능하게 한다. 그러나 기존 연합 대치(imputation) 방법은 일부 기관에서 전체 특징이 관측되지 않는 특징 수준 결측(feature-level missingness)을 거의 평가하지 않는다. 이 설정을 다루기 위해, 우리는 ReMasker 마스크드 오토인코더를 연합 학습에 맞게 확장한 Fed-ReMasker를 제안하여, 협력 기관들에서 학습한 지식을 활용해 로컬에서 한 번도 관측되지 않은 특징을 기관이 대치할 수 있게 한다. Fed-ReMasker는 선형·비선형 관계를 갖는 합성 데이터셋과 임상 데이터를 포함한 실제 표 형식 데이터셋에 걸친 벤치마크에서 평가한다. 이 벤치마크는 기관 수, 결측 비율, 클라이언트 이질성(heterogeneity)을 변화시킨다. Fed-ReMasker는 동질(homogeneous) 벤치마크에서 값 수준(value-level) 시나리오의 93.2%, 특징 수준 시나리오의 96.7%에서 최저 대치 오차를 달성한다. 단순 연합 평균(federated averaging)만으로도 클라이언트 이질성에 견고하며, 값 수준 36개 시나리오 전부에서 모든 기준선을 능가하고, 특징 수준 36개 시나리오 각각에서 최소 35개에서 각 기준선을 능가하며, 풀링(pooled) 데이터로 학습한 중앙집중식 모델 대비 평균 3.0% 이내에 머문다.

arXiv:2609.28022v1cs.LG

PISCES: 우주 날씨 이상 탐지 및 조기 경보를 위한 물리 정보 기반 태양풍 합성곱 오토인코더

PISCES: Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather Anomaly Detection and Early Warning

우주 날씨 조기 경보는 태양풍 과도현상(transients)이 지구에 도달하기 전 제1 태양-지구 라그랑주 점(L1)의 현장(in-situ) 측정치에서 이를 감지하는 데 의존합니다. 고정된 임계값은 복합적인 자기장 및 플라즈마 구조를 놓칠 수 있으며, 많은 학습 방법은 단일 이상 점수만을 제공합니다. 본 논문에서는 물리적 제약 조건 하에서 카탈로그 레이블 없이 OMNI 태양풍 측정 데이터를 학습한 합성곱 오토인코더인 PISCES(Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather)를 제시합니다. 본 모델의 손실(loss)에는 자기장 일관성, 온도와 속도 간의 경험적 관계, 파커 스파이럴(Parker spiral) 각도, 그리고 재구성 결과로부터 계산된 유도 물리량들에서 연속된 1분 단위 샘플 간의 변화에 대한 페널티가 포함됩니다. 추론(inference) 시 PISCES는 이상 점수를 자기장 및 플라즈마 재구성 오차, 물리적 관계, 잔차 보정값으로 분리하여 각 기여도의 크기를 보고합니다. 검증(validation) 데이터를 통해 선택된 스킵 연결(skip connection)의 감쇠는 학습된 모델의 평균 정밀도(precision)를 향상시키는 반면, 학습되지 않은 점수는 거의 동일하게 유지됩니다. 또한 학습된 모델은 이러한 물리적 기여도 간의 보다 일관된 순위를 제공합니다. 후행 중앙값(trailing median)으로 스무딩을 거친 후 경보는 양의 급변 임펄스(positive sudden impulses)를 포함하여 독립적으로 관측된 급성 시작(sudden commencements)보다 앞서 발생할 수 있습니다.

arXiv:2609.27866v1cs.LG

공유 인코더가 곧 공유 태스크를 의미하지는 않는다: 딥 전문가 풀을 위한 조건부 비교

A Shared Encoder Is Not a Shared Task: Conditional Comparison for Deep Expert Pools

딥 인코더(deep encoder)를 공유하는 것만으로는 태스크 비교 점수의 핵심적인 교란 요인(confound)을 해결하지 못한다. 본 연구에서는 고정된 공유 표현 위에서 교차 평가된 헤드들이 얕은 교환 점수(shallow exchange score)의 외삽 교란을 그대로 물려받음을 보인다. 고정된 레이블 상태에서 순수한 입력 회전만으로도 딥 교환 점수가 약 0에서 0.80으로 부풀려지는 반면, 표현 새로움 점수(representation-novelty score)는 상보적인 방향에서 맹점을 드러낸다(태스크를 완전히 변경하는 레이블 순열 치환에서도 변화가 없음). 조건부 2-판별자 불일치(conditional two-discriminator discrepancy)를 임베딩 공간으로 이식하면 두 맹점이 모두 해결된다. 즉, 기능적 축은 회전 시에도 ±0.001 이내를 유지하며, 레이블 순열 드리프트 질량을 단조롭게 추적한다. 헤드 혼합(mixture-of-heads) 라이프사이클에 구축된 이 2축 게이트는 동일한 학습 예산 하에서 교환 또는 새로움 트리거보다 더 적은 수의 헤드로 더 우수한 결정 품질을 달성한다. 일반화된 카테고리 발견(generalized category discovery)에서, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)가 해당 구분을 거의 무작위 수준으로 수행하는 반면, 동일한 청크 단위 기능적 축은 의미론적 새로움과 측광학적 변화(photometric shift)를 AUROC 0.98~0.99로 분리한다. 모든 연구 결과는 CIFAR-100에서 고정된 ImageNet-21k ViT-B/16 및 자기지도학습 DINOv2 백본 전반에 걸쳐 재현되며, 순환(recurrence) 구조를 가진 잔차 어댑터 풀로도 확장된다. 여기서 영점 보정된 새로움 트리거는 메커니즘 변화에 전혀 작동하지 않지만, 2축 게이트는 완전한 순환 재사용을 통해 이를 처리한다. 마지막으로, 임베딩 공간의 결론이 원래 메커니즘으로 전이되기 위한 공통 인수분해 조건(common-factoring condition)을 명시적으로 제시한다.

arXiv:2609.27865v1cs.LG

무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지

What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis

깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.

arXiv:2609.27554v1cs.LG

PhyMo: 다중모달 AI4Physics를 위한 물리장 모달리티

PhyMo: A Physical-Field Modality for Multimodal AI4Physics

다중모달 학습(Multimodal learning)은 물리 시스템을 예측할 때 이종의 관측치, 측정값, 도메인 지식에 대한 공동 해석이 요구되는 물리 특화 인공지능(AI4Physics)을 위한 강력한 패러다임으로 부상하고 있습니다. 그러나 기존 접근 방식은 일반적으로 물리량과 지배 방정식을 일반적인 수치 또는 텍스트 토큰(token)으로 표현하여, 이들의 시공간적 상호작용을 결정하는 물리적 제약 조건을 간과합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 물리장 모달리티(physical-field modality)를 도입하고 편미분 방정식(PDE) 관련 연산자를 통해 이종 측정값을 구성하는 물리 기반 다중모달 프레임워크인 PhyMo를 제안합니다. PhyMo는 3단계 학습(training) 절차를 따릅니다. 먼저 물리장 인코더를 PDE 잔여 오차 감독 하에 장 재구성을 통해 사전학습(pre-training)하고, 이후 그 표현을 공유 잠재 공간에서 시각적 임베딩(embedding)과 정렬(alignment)하며, 마지막으로 융합된 다중모달 표현을 해당 다운스트림 예측 헤드에서 처리합니다. 다양한 물리 환경에 걸친 5개의 데이터셋(dataset)에 대한 실험에서 PhyMo는 각 데이터셋의 가장 강력한 기준선(baseline) 대비 최고 성능(state-of-the-art)을 달성하여, AI4Physics의 다중모달 표현 학습에서 PhyMo의 우수성을 입증합니다.

arXiv:2609.27018v1cs.LG

GeoRVQ: 생체 신호의 잔차 토큰 예측을 위한 디코더 인식 기하학

GeoRVQ: Decoder-aware geometry for residual-token prediction in physiological signals

잔차 벡터 양자화(RVQ)는 생체 파형을 조밀한 토큰 시퀀스로 변환하지만, 기존의 마스크 모델링은 모든 잘못된 토큰을 동일한 비용으로 취급합니다. 본 논문에서는 목적 함수가 고정된(frozen) 파형 디코더의 국소 반응을 반영하는 대략적인 수준에서 세밀한 수준까지(coarse-to-fine) 마스크 토큰 모델인 GeoRVQ를 제안합니다. 디코더 유도 비용은 기하학 인식 소프트 타깃과 기대 왜곡을 정의하는 한편, 양자화기 인과적(quantizer-causal) 예측은 대략적인 수준부터 세밀한 수준까지 잔차 의존성을 따릅니다. MIMIC-IV Waveform, VitalDB 및 CODE-15%에 대한 종합 평가에서, GeoRVQ는 일치된 모델 및 학습 조건 하에 정확한 토큰 정확도를 $.133\pm.004$에서 $.143\pm.003$으로 높이고, 디코딩 거리를 $.606\pm.006$에서 $.393\pm.007$로 감소시키며, R-peak F1 점수를 $.784\pm.004$에서 $.837\pm.008$로 향상시킵니다. 45개의 미공개(held-out) 코드 대체 전반에서, 유클리드 코드워드 거리의 경우 $.54$인 데 반해 디코더 유도 비용은 실제 디코딩된 비용과 $.85$의 스피어만 상관계수를 보입니다. 이러한 결과는 디코더 인식 목적 함수가 정확한 토큰 정확도의 큰 증가를 요구하지 않고도 파형 및 이벤트 보존 능력을 향상시킬 수 있음을 나타냅니다.