PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10087v1cs.CV

CVKD-UDA: 3D 비지도 도메인 적응 분할을 위한 교차 뷰 지식 증류

CVKD-UDA: Cross-View Knowledge Distillation for 3D Unsupervised Domain Adaptive Segmentation

3D 비지도 도메인 적응(UDA) 분할은 새로운 도메인 데이터의 수동 어노테이션에 소요되는 높은 비용을 줄여준다. 이 분야에서는 셀프 트레이닝(self-training)이 주류 접근법으로 자리잡았으며, 그 성공은 신뢰할 수 있는 의사 레이블(pseudo label)을 생성하기 위한 잘 초기화된 웜업 모델에 크게 의존한다. 그러나 기존 방법들은 웜업 모델을 얻기 위해 소스 지도학습 또는 출력 수준의 적대적 정렬(adversarial alignment)에 의존하는 경우가 많으며, 도메인 간 큰 도메인 격차로 인해 제한된 일반화 성능과 학습 불안정성 문제를 겪는다. 도메인 유사 표현을 구성하는 것은 이 격차를 좁히는 효과적인 방법이다. 본 연구에서는 CVKD-UDA를 제안하며, 복셀 크기(voxel size)를 도메인 유사 표현 구성의 핵심 설계 요소로 재조명하고, 교차 뷰(cross-view) 상보적 단서를 활용하여 웜업 모델의 전이 가능성(transferability)과 판별 가능성(discriminability)을 균형 있게 조율한다. 먼저, 복셀 크기를 변화시켜 두 가지 상보적 뷰를 생성하고, 교차 뷰 지식 증류(CVKD)를 도입하여 모델의 일반화 성능과 타겟 도메인 인식 능력을 향상시킨다. 다음으로, 전이 가능성과 판별 가능성의 균형을 맞추기 위해 경량 Decouple-Adapter와 보조 모방 분류기(auxiliary imitation classifier)를 설계하여 교차 뷰 지식 전이를 분리한다. 두 가지 벤치마크에 대한 광범위한 실험을 통해 CVKD-UDA가 셀프 트레이닝 방법의 성능을 효과적으로 향상시키고 3D UDA 분할에 새로운 관점을 제시함을 입증한다. 코드는 GitHub에 공개될 예정이다.

arXiv:2607.09829v1eess.IV

자기 학습 시각 특징을 이용한 간헐적 입자 추적

Tracking Intermittent Particles with Self-Learned Visual Features

시간 경과 형광 이미징에서 단일 입자 추적(single-particle tracking)은 관심 객체의 동역학을 모니터링하고 생물학적 과정에 대한 정보를 추출하는 강력한 도구다. 그러나 추적된 입자는 가림(occlusion)과 간헐적 검출 가능성의 영향을 받을 수 있다. 이러한 현상이 몇 프레임에 걸쳐 지속되면, 추적 알고리즘은 동일한 입자에 대해 여러 개의 트랙렛(tracklet)을 생성하는 경향이 있다. 본 연구에서는 추적된 입자를 비교하기 위한 시각 특징의 자기 지도 학습(self-supervised learning)을 도입하고, 시각적 거리와 위치적 거리를 모두 활용하여 동일한 입자를 나타내는 트랙렛들을 강건하게 이어 붙인다(stitch). Hydra vulgaris 뉴런의 시간 경과 형광 시퀀스에서 본 이어 붙이기 프레임워크의 성능을 검증한다. 결과는 높은 이어 붙이기 정밀도를 보여주며, 동일 데이터에 대한 기존 알고리즘의 오류를 2배 감소시켰다.

arXiv:2607.09785v1cs.CV

평생 표현: 비전 모델을 위한 지속적 자기지도 학습 서베이

Lifelong Representations: A Survey on Continual Self-Supervised Learning for Vision Models

전통적으로 지속적 학습은 레이블 데이터에 대한 접근을 가정해 왔지만, 평생 로보틱스와 같은 많은 실세계 응용 분야에서는 모델이 비레이블 스트림으로부터 지속적으로 적응해야 한다. 이로 인해 지속적 자기지도 학습(CSSL)이 발전해 왔으나, 이 빠르게 성장하는 분야는 전용적이고 체계적인 리뷰가 부재한 상황이다. 본 연구에서는 새롭게 부상하는 비전-언어 설정과의 연결점을 포함하여 비전을 위한 CSSL에 대한 포괄적인 서베이를 제시한다. 먼저, 기존 평가 프로토콜을 분석하고 공정한 비교를 저해하는 불일치점을 부각한다. 이어서 자기지도 목적함수가 파국적 망각(catastrophic forgetting)에 대해 향상된 강인성을 보이는 이유를 태스크 무관 표현 및 더 완만한 손실 경관과 연관지어 살펴본다. 다음으로, 지식 증류, 리플레이, 정규화, 아키텍처 접근법, 모델 병합, 목적함수 수준 적응을 포함한 망각 완화 전략을 기반으로 기존 방법들을 통합된 분류체계로 정리한다. 마지막으로, 확장성 및 빠른 적응성의 필요성과 같은 미해결 과제를 도출한다. 우리는 CSSL의 발전이 소규모 벤치마크를 넘어 대규모 시스템을 위한 지속적 사전학습 패러다임으로 나아가야 한다고 주장한다.

arXiv:2607.09754v1cs.CV

아틀라스 정렬 시공간 토큰화를 통한 와이드필드 칼슘 이미징의 피험자 간 모델링

Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

대규모 다중 피험자 와이드필드 칼슘 이미징(widefield calcium imaging)은 뇌 전체 피질 역학에 전례 없는 접근을 제공합니다. 그러나 와이드필드 기록의 높은 차원성, 복잡한 시공간 구조, 그리고 상당한 과제 무관 활동으로 인해 모델링 노력은 대부분 단일 세션 분석에 국한되어 확장성과 일반화가 제한되어 왔습니다. 일부 신경 모달리티에서 다중 피험자 사전학습 모델이 탐구된 바 있으나, 와이드필드 칼슘 이미징을 위한 다중 피험자 모델은 아직 입증된 바 없으며, 더 나아가 신경 모달리티 전반에 걸쳐 다중 피험자 모델에서 피험자 불변 제로샷 행동 디코딩은 여전히 달성하기 어려운 과제로 남아 있습니다. 와이드필드 데이터의 파운데이션 모델링을 향한 첫 단계로, 우리는 WiCAT를 소개합니다. WiCAT는 자기지도(self-supervised) 사전학습을 활용하여 단일 세션 모델을 능가하는 동시에 미확인 피험자에 대한 제로샷 행동 디코딩을 가능하게 하는 다중 피험자 모델입니다. WiCAT는 세션별 구성 요소 없이 아틀라스 기반 토큰화 방식을 도입하고 전역적으로 공유되는 시공간 표현을 학습합니다. 여러 와이드필드 데이터셋에 걸쳐, 사전학습된 모델은 경량 다운스트림 디코딩을 지원하고, 피험자·과제·데이터셋 간 전이가 가능하며, 기준선 모델을 능가합니다. 특히, 이 모델은 미확인 피험자에 대한 강인한 제로샷 연속 행동 디코딩과 제외된 뇌 영역 재구성도 달성합니다.

arXiv:2607.11578v1cs.LG

DiffEEG: EEG 일반 표현 학습을 위한 자기지도 디노이징 확산 모델

DiffEEG: A Self-Supervised Denoising Diffusion Model for Learning EEG Generic Representations

EEG 기반 발작 감지를 위한 심층 학습은 두 가지 핵심 과제에 직면해 있다: 심각한 어노테이션 부족과 극단적인 클래스 불균형으로, 발작 발현(ictal) 이벤트는 임상 기록의 10% 미만을 차지한다. 우리는 9.6M 매개변수의 자기지도 파운데이션 모델인 DiffEEG를 제안한다. 이 모델은 디노이징 확산 사전학습과 강화학습(RL) 기반 미세조정을 통해 두 가지 한계를 모두 해결한다. Temple University Hospital Seizure Corpus(TUHSZ)의 130만 개 비레이블 세그먼트로 사전학습된 DiffEEG는 멀티헤드 셀프 어텐션을 갖춘 1D U-Net을 통해 일반적인 신경 표현을 학습한다. 다운스트림 적응을 위해, 강화된 결정 층은 정책 그래디언트 최적화를 사용하여 F1-score를 직접 최대화하며, 전체 정확도보다 희귀 발작 이벤트에 대한 민감도를 우선시한다. 엄격한 환자별 평가(279명, Leave-One-Fold-Out)에서 DiffEEG는 4-클래스 발작 하위유형 분류에서 61% 정확도와 59% F1을 달성하고, 이진 감지에서 81% 정확도와 85% 가중 F1을 달성하며, 극단적인 불균형(6.7% 유병률)에도 불구하고 임상적으로 실용 가능한 발작 재현율(59%)을 유지한다. 세그먼트 수준 평가에서는 97.6%의 정확도 상한을 확립하여 강력한 아키텍처 용량을 확인한다. DiffEEG는 확산 기반 사전학습과 메트릭 인식 강화학습의 결합이 최소한의 레이블 데이터 요구사항으로 임상 배포 가능한 발작 모니터링을 가능하게 함을 입증한다.

arXiv:2607.11577v1cs.LG

교번 제약 최적화를 통한 구조-특징 정렬 그래프 학습

Structure-Feature Aligned Graph Learning via Alternating Constrained Optimization

우리는 앵커 모델이 학습한 구조 독립적 특징 사전(prior)과 구조 조건부 GNN 임베딩을 정렬하는, 노드 예측을 위한 제약 이중 뷰 프레임워크를 제안한다. 기존의 그래프 신경망(GNN)은 특징 변환과 이웃 집계를 결합하여 위상 노이즈(topology noise)와 이질적 연결(heterophilous connections)에 취약하다. 이러한 의존성을 분리하기 위해, 본 프레임워크는 자기지도 재구성 목적 함수를 통해 본질적인 속성 특징을 포착하는 독립적인 앵커 네트워크를 활용한다. 나아가, 노드별 게이팅 메커니즘을 통해 전역 스펙트럴 스무딩(spectral smoothing)과 지역 공간적 판별(spatial discrimination) 사이에서 표현을 동적으로 라우팅하는 채널 분할 적응형 게이팅 GNN(CSAG-GNN)을 제안한다. 학습 중 상호 표현 드리프트(representation drift)를 방지하기 위해, 결합된 이중 수준 목적 함수를 해결하는 안정적인 순환 교번 최적화 전략을 제안한다. 동질적(homophilous) 및 이질적(heterophilous) 벤치마크 모두에서의 실험 결과는 경쟁 기준선 대비 균형 잡힌 성능 향상과 구조적 강건성을 보여준다.

arXiv:2607.09798v1cs.LG

AI 네이티브 6G를 위한 JEPA: 예측적 표현과 미해결 과제

JEPA for AI-Native 6G: Predictive Representations and Open Challenges

6세대(6G) 네트워크는 학습 모듈이 무선 접속 네트워크(RAN), 에지, 코어 전반에 임베딩되는 AI 네이티브 운용 방식으로 이행하고 있다. 이러한 전환은 제한된 레이블, 이종(heterogeneous) 무선 및 네트워크 데이터, 부분 관측, 비정상(non-stationary) 전파, 지연 제약 제어 루프로부터의 학습을 필요로 한다. 결합 임베딩 예측 아키텍처(JEPA)는 원시 측정값을 재구성하거나 대조적 부정 샘플을 사용하는 대신 잠재 공간에서 누락되거나 미래의 표현을 예측하기 때문에 이러한 환경에 적합한 유망한 자기지도(self-supervised) 패러다임이다. 본 논문은 6G 인텔리전스를 위한 JEPA의 무선 지향 튜토리얼을 제시한다. JEPA 학습 메커니즘을 정의하고, CSI(채널 상태 정보), 빔 측정값, KPI, 토폴로지 그래프, 센싱 관측값을 토큰화 및 마스킹하는 방법을 설명하며, 학습된 인코더를 RAN, O-RAN, 에지, 코어 기능을 위한 예측적 표현 층으로 위치시키고 태스크별 헤드 또는 컨트롤러가 최종 결정을 생성하도록 한다. 이어서, 자기지도 사전학습 중 무선 인식 목표—구체적으로 보조적 미래 빔 에너지 목표—가 지도 학습 소스 도메인 대비 분포 이동된 배포 환경에서 레이블 효율성과 견고성을 향상시킬 수 있음을 시사하는 예시적 빔 관리 사례 연구를 제시한다. 마지막으로, 다중 시간 스케일 예측, 행동 조건부 모델링, 분산 학습, 신뢰성, 효율적 배포, 벤치마킹, 표준화에 관한 미해결 과제를 제시한다.

arXiv:2607.09749v1eess.SP

MorphologyFM: ECG 및 맥박 산소측정 파형의 형태 인식 표현 학습을 위한 파운데이션 모델

MorphologyFM: A Foundation Model for Morphology-Aware Representation Learning from ECG and Pulse Oximetry Waveforms

파운데이션 모델은 최근 대규모 생의학 데이터로부터 전이 가능한 표현을 학습하는 강력한 패러다임으로 부상하고 있으나, 생리적 파형에 대한 기존 접근법들은 임상적으로 의미 있는 파형 형태를 명시적으로 보존하지 않는 재구성 또는 예측 목적 함수를 주로 최적화한다. 심전도(ECG)와 맥박 산소측정(SpO2) 파형은 그 형태학적 구조를 통해 풍부한 심혈관 및 혈역학 정보를 인코딩한다. 본 연구에서는 형태 인식 자기지도 학습 목적 함수를 사용하여 MIMIC 중환자 데이터베이스의 ECG 및 SpO2 파형 쌍으로 사전학습된 멀티모달 파운데이션 모델인 MorphologyFM을 소개한다. MorphologyFM은 형태 유도 마스킹, 교차 모달 표현 학습, 대조적 잠재 정렬을 결합하여 수동 어노테이션 없이 임상적으로 관련된 생리적 구조를 포착하는 표현을 학습한다. 우리는 부정맥 분류, 저산소혈증 예측, 사망률 예측, 재원 기간 추정 등 다양한 다운스트림 예측 태스크에서 MorphologyFM을 평가하여, Masked Autoencoders(MAE), 대조 학습, Barlow Twins, Joint Embedding Predictive Architectures(JEPA)를 포함한 대표적인 자기지도 학습 방법들 대비 일관된 성능 향상을 입증한다. 또한 ECG와 SpO2 파형을 공동으로 모델링하면 단일 모달리티 사전학습보다 더 전이 가능한 표현이 생성됨을 보인다. 본 연구 결과는 파형 형태가 자기지도 생리적 표현 학습을 위한 강력한 귀납적 바이어스임을 확립하고, MorphologyFM을 연속 생리 모니터링을 위한 범용 파운데이션 모델로 제시한다.

arXiv:2607.09727v1eess.SP

CSI의 보편 언어: 기기와 환경을 아우르는 무선 센싱의 통합

The Universal Language of CSI:Unifying Wireless Sensing Across Devices and Environments

채널 상태 정보(CSI)를 기반으로 한 WiFi 센싱은 기기 부착 없는 어디서나 가능한 인식을 약속하지만, 현재 연구는 여전히 바벨탑에 갇혀 있다. 즉, 특정 하드웨어 방언, 고정된 환경, 좁은 태스크에 맞춤화된 모델들이 고립된 사일로로 파편화되어 있다. 주요 병목은 이질성 격차(Heterogeneity Gap)로, 신호 차원, 샘플링 속도, 의미 레이블의 불일치가 시스템 간 상호 이해를 가로막는다. 이 격차를 해소하기 위해, 우리는 CSI를 단순한 원시 신호가 아니라 학습 가능한 보편 문법을 갖춘 구조화된 언어로 취급하는 기반 모델(foundation model) 프레임워크를 제안한다. 먼저 다양한 실세계 CSI 데이터셋을 대규모로 수집하고 표준화하여, 호환되지 않는 신호 형식을 단일 코퍼스로 처리할 수 있는 통합 인프라를 구축한다. 다음으로, 보편 번역기 역할을 하는 모듈형 아키텍처를 도입한다. 경량의 데이터셋별 어댑터가 다양한 신호 입력을 공유 잠재 어휘로 토큰화하는 한편, 공유 자기지도(self-supervised) 트랜스포머 백본이 인체 동작과 환경 역학의 시간적 문법을 학습한다. 이 설계는 센싱 의미론을 하드웨어 문법으로부터 분리한다. 광범위한 평가를 통해, 이 보편 언어를 습득함으로써 우리의 접근법이 태스크별 기준선을 일관되게 능가하고, 새로운 환경에서 강한 일반화 능력을 보이며, 퓨샷(few-shot) 시나리오에서 우수한 효율성을 달성함을 확인하였다. 이질성을 효과적으로 흡수함으로써, 이 프레임워크는 대규모 언어 모델(LLM)에서 관찰되는 언어적 일반화를 반영하는, 강건하고 범용적인 무선 센싱으로 나아가는 경로를 제시한다. 코드 구현은 https://github.com/cjychenjiayi/WiLLM 에서 확인할 수 있다.

arXiv:2607.09291v1cs.CL

문자 표제어 추출: 중세 문서의 문자 집합 단순화 및 약어 복원을 위한 일대일 및 밴드 RNN

Letter Lemmatization: One-to-one and Banded RNNs for Reversing Character-Set Simplification and Abbreviation in Medieval Text

중세 문서 전사자들은 매우 다양한 관행을 가지고 있으며, 이에 더해 이질적인 디지털화 정책으로 인해 문자 집합을 유동적으로 간주해야 하는 코퍼스가 생성되었다. 본 논문에서는 문자 집합 간 변환 문제를 유연한 방식으로 해결한다. 우리는 일대일 문자 매핑에 초점을 맞추고, 자기지도학습으로 이를 되돌리기 위해 문자 수준의 일대일 RNN을 학습시킨다. 텍스트 20줄만으로도 CER의 절반을 회복할 수 있다. 이러한 일대일 네트워크를 HTR 후처리 교정에 활용한 결과, 삽입-삭제를 완전히 무시함에도 불구하고 유의미한 성능 향상이 나타남을 확인하였다. 이후 병렬 코퍼스에서 컴파일한 문자 수준 정렬 그라운드트루스를 동일한 네트워크에 적용하여 밴드 RNN(Banded RNNs)이라 부르는 학습 및 추론 방식으로 활용한다. 이 네트워크를 이용하여 중세 헌장 전사본의 약어를 성공적으로 확장하였다. 마지막으로, 임의의 두 문자 집합의 문자를 입력받아 우리가 문자의 의미적 유사도로 간주하는 것을 포착하는 메트릭을 정의하는 정교한 휴리스틱을 소개한다. 이러한 매핑 구성을 문자 표제어 추출(letter lemmatization)이라 명명하고, 제시된 모든 방법을 효율적으로 수행하는 풍부한 Python 라이브러리를 공개한다.

arXiv:2407.21082v3cs.CL

자기지도 조기 종료를 활용한 대규모 언어 모델 추론 가속화

Accelerating Large Language Model Inference with Self-Supervised Early Exits

본 논문은 중간 트랜스포머 레이어에 조기 종료 헤드를 추가하여 대규모 언어 모델(LLM)의 추론을 가속화하는 모듈형 접근법을 제시한다. 각 헤드는 메인 모델의 예측을 모방하도록 자기지도(self-supervised) 방식으로 학습되며, 보정된 신뢰도 임계값에 도달하면 연산을 조기에 중단할 수 있다. 여러 신뢰도 지표를 평가한 결과, 엔트로피(entropy)가 정확한 예측과 부정확한 예측 간의 가장 신뢰할 수 있는 분리 기준을 제공함을 보인다. Pythia 모델 스위트(70M~2.8B 파라미터)에 대한 실험을 통해, 본 방법이 다수의 벤치마크에서 정확도를 유지하면서 추론 비용을 크게 절감함을 입증한다. 나아가 이 접근법을 투기적 디코딩(speculative decoding)에 적용하여 Dynamic Self-Speculative Decoding(DSSD)을 제안하며, 이는 최소한의 하이퍼파라미터 튜닝으로 수동 조정된 LayerSkip 기준선 대비 1.66배 높은 토큰 수용률을 달성한다.

arXiv:2607.09543v1cs.LG

CoCoT-EEG: EEG 디코딩을 위한 대조 사전학습 기반 다중 스케일 합성곱 트랜스포머

CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

자기지도 사전학습 기반 파운데이션 모델(FM)은 비침습적 뇌전도(EEG) 디코딩 응용 분야에서 초기 가능성을 보여주고 있다. 최근의 대규모 모델 다수는 원시 EEG를 토큰화한 후 마스크 재구성 사전학습을 적용하는 방식으로 수렴하였다. 그러나 이 방식은 높은 노이즈 진폭을 가지며 좁은 주파수 대역과 같이 제한된 차원에 정보가 집중된 EEG와 같은 데이터에는 최적이 아님이 밝혀졌다. 이러한 통찰을 바탕으로, 우리는 다중 스케일 시간적 합성곱 입력 레이어와 트랜스포머 인코더 블록을 결합한 새로운 대조 사전학습 EEG 모델(CoCoT)을 개발하였다. CoCoT는 이질적인 전극 구성을 갖는 광범위한 벤치마크 디코딩 태스크에서 최신 재구성 사전학습 EEG 모델과 동등하거나 이를 능가하는 성능을 달성하였다. 나아가, 처음부터 학습된 CoCoT는 기존 단일 태스크 디코딩 모델을 능가하며 사전학습 모델과도 견줄 수 있는 성능을 보여, 아키텍처의 유연성과 데이터 효율성을 입증하였다. 모델 아키텍처 및 사전학습 목적 함수를 포함한 체계적인 절제 실험을 통해, 우리는 EEG FM 구축에 대조학습의 실현 가능성을 입증하는 동시에 핵심 아키텍처 설계 고려 사항을 제시하며, 대안적인 대규모 사전학습 전략에 대한 추가 연구를 촉구한다.

arXiv:2607.09405v1cs.LG

InfoNCE 손실을 이용한 대조 학습에서의 유사도 검색 일반화

Similarity search generalisation in contrastive learning with InfoNCE loss

유사도 검색(Similarity search)은 대조 학습(contrastive learning)으로 학습된 임베딩 모델의 주요 응용 분야입니다. 가장 널리 사용되는 대조 학습 손실 함수 중 하나인 InfoNCE에 대해, $k$개의 네거티브 샘플을 사용하는 모집단 리스크(population risk)가 기대 교차 엔트로피에 $O(1/k)$ 가깝다는 것을 보입니다. 이 교차 엔트로피는 i) 학습된 임베딩 함수를 사용하여 미관측 데이터에 대해 소프트맥스 유사도 검색을 수행하는 것과 ii) 포지티브 샘플 생성기에 암묵적으로 표현된 유사도를 사용하여 동일한 데이터에 대해 이상적인 소프트맥스 검색을 수행하는 것 사이의 편차를 정량화합니다. 이는 상호 정보량(mutual information) 및 임베딩의 정렬(alignment)과 균일성(uniformity) 측면에서 서술된 $k\to\infty$ 극한에서의 기존 InfoNCE 해석을 보완합니다. 일반화 성능을 정량화하기 위해, 가토 미분(Gâteaux differentiation)을 통해 도출된 InfoNCE 손실에 대한 새로운 연속성 경계(continuity bound)를 도입합니다. 이 경계는 손실 함수에 포함된 네거티브 샘플에 대한 평균화 구조를 보존하며, 알고리즘 온도(algorithmic temperature)를 반영하도록 조정 가능한 '역온도(inverse temperature)' 매개변수를 포함합니다. 매개변수에 대해 립시츠(Lipschitz) 조건을 만족하는 임베딩 함수의 경우, 이로부터 InfoNCE 손실에서 $k$개의 네거티브 샘플에 의한 평균화 효과가 $k$가 증가함에 따라 일반화 오류의 안정화로 이어진다는 것을 간단히 보일 수 있습니다.

arXiv:2607.09020v1eess.AS

음운 활성화 매핑을 통한 음소 분할 및 인식

Phone Segmentation and Recognition through Phonological Activation Mapping

음소 분할과 음소 인식은 본질적으로 연관된 과제임에도 불구하고, 현대적 접근법들은 대개 이 두 과제를 별도로 모델링한다. 우리는 음성 구조가 자기지도 음성 모델(S3M)의 표현에 이미 잠재되어 있으며, 두 과제를 동시에 해결하기 위해서는 모델을 적절히 유도하는 것으로 충분하다고 주장한다. 우리는 S3M 기반의 음운 활성화 매핑(SPAM, Phonological Activation Mapping)을 활용하는데, 이는 각 S3M 표현 프레임을 유성음 여부(voicing) 및 비음성(nasality) 등의 음운적 특징(phonological feature) 활성화 벡터로 매핑한다. SPAM 위에 우리는 그래디언트 하강 없이 동작하는 경량의 두 가지 간단하지만 효과적인 예측 헤드를 도입한다: 인식 헤드와 분할 헤드. 제안하는 방법은 1분 미만의 음성 전사(phonetic transcription)만을 필요로 하며, 학습 중 보지 못한 음소에도 일반화된다. 다양한 데이터셋에 걸쳐 우리의 접근법은 강력한 분할 및 인식 성능을 달성한다.

arXiv:2607.07720v2cs.LG

Omni-Sleep: 중추신경계-자율신경계 동역학의 계층적 대조 학습을 통한 수면 파운데이션 모델

Omni-Sleep: A Sleep Foundation Model via Hierarchical Contrastive Learning of CNS-ANS Dynamics

CNS/ANS 생리학적 계층 구조를 사전 정보로 활용하는 수면 파운데이션 모델 Omni-Sleep은 계층적 대조학습(intra-system consistency, inter-system synchronization)과 장기 잠재 마스크 예측을 결합하여 10만 시간 이상의 다중 모달 PSG 데이터로 사전학습되었으며, 수면 단계 분류 및 다중 질환 분류에서 기존 베이스라인 대비 레이블 효율성, 교차 데이터셋 일반화, 누락 모달리티 강건성 모두에서 우수한 성능을 보인다.

arXiv:2606.23964v2cs.LG

3D 마스크드 오토인코더는 현미경을 위한 체적 및 다중 모달 세포 표현의 강건한 학습기

3D Masked Autoencoders are Robust Learners of Volumetric and Multimodal Cellular Representations for Microscopy

형광 현미경에서의 자기지도 학습(self-supervised learning)은 세포의 본질적인 3차원 특성에도 불구하고 종종 2D 투영에 의존한다. 우리는 체적 현미경 데이터에 대한 2D 및 3D 마스크드 오토인코더(MAE-2D vs. MAE-3D)의 체계적인 비교를 제시한다. 동일한 아키텍처 및 학습 프로토콜 하에서, MAE-3D는 다운스트림 단일 세포 작업에서 2D 최대 투영(max-projection) 및 슬라이스 기반 변형에 비해 일관되게 우수한 성능을 보인다. 우리는 또한 시각적 표현을 사전학습된 단백질 언어 모델(ESM2)과 정렬하고, 교차 모달 지도(cross-modal supervision)가 체적 모델에서 더 큰 성능 향상을 가져옴을 보인다. 채널 교차 어텐션과 주파수 도메인 정규화는 3D 공간적 맥락을 활용하는 데 핵심적이다. 단백질-단백질 상호작용 예측에서 최고 모델은 ROC-AUC 0.86을 달성하였으며, 단백질 국소화(protein localization)에서는 AUC$_{\text{micro}}$ 0.95, F1$_{\text{micro}}$ 0.74를 기록하여 두 작업 모두에서 경쟁력 있는 성능을 입증한다. 전반적으로, 본 연구의 결과는 단일 세포 현미경에서의 표현 학습을 위한 체적 모델링 및 다중 모달 정렬의 잠재력을 부각한다.

arXiv:2606.03979v2cs.LG

언어 모델에게 수면이 필요하다: 자기 수정과 기억 통합 학습

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

지난 수십 년간 기계학습 알고리즘 설계에서는 초기의 과제별 얕은 모델 연구에서부터 더 범용적인 심층 대규모 언어 모델(LLM)에 이르기까지 괄목할 만한 발전이 있었다. 즉각적인 예측이나 문맥 내 학습(ICL)이 필요한 과제에서 유망한 결과를 보이고 있음에도 불구하고, 기존 모델들은 지속적으로 학습하고 일시적인 문맥 내 지식을 장기 파라미터로 효과적으로 전이하는 능력이 부족하다. 인간의 학습 과정에서 영감을 받아, 우리는 모델이 지속적으로 학습하고, 단기적이고 취약한 기억을 리플레이(replay)를 통해 안정적인 장기 지식으로 증류하며, '드리밍(Dreaming)' 과정을 통해 재귀적으로 스스로를 개선할 수 있게 하는 '수면(Sleep)' 패러다임을 제안한다. 구체적으로, 수면은 두 단계로 구성된다: (1) 기억 통합(Memory Consolidation): 지식 시딩(Knowledge Seeding)이라 불리는 상향식 지식 증류(distillation) 과정으로, 더 작은 자아(smaller-self)의 기억을 더 큰 네트워크로 증류하여 지식을 보존하면서 더 많은 용량을 확보한다. 개념 증명으로, 우리는 지식 시딩을 위한 새로운 일반화 지식 증류 과정(온-정책(on-policy) 증류와 강화학습(RL) 기반 모방 학습의 결합)을 제시한다; (2) 드리밍(Dreaming): 모델이 강화학습을 활용하여 인간의 감독 없이 새로운 지식을 연습하고 기존 능력을 정제하기 위한 합성 데이터 커리큘럼을 생성하는 자기 개선 단계. 장기 수평선(long-horizon), 지속 학습(continual learning), 지식 통합(knowledge incorporation), 퓨샷(few-shot) 일반화 과제에서 수행한 실험들은 수면 단계의 중요성을 뒷받침한다.

arXiv:2607.06988v2cs.RO

WAM-TTT: 테스트 시간에 인간 플레이 영상을 활용한 월드-액션 모델 조종

WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time

로봇 기반 모델(RFM)을 새로운 태스크 변형이나 사용자 선호 행동으로 조종하는 것은 여전히 어려운 문제로, 추가적인 로봇 시연 데이터, 태스크별 미세조정(fine-tuning), 또는 긴 컨텍스트 컨디셔닝이 필요한 경우가 많다. 우리는 원시 인간 영상으로부터 월드 액션 모델을 조종하기 위한 테스트 시간 학습(test-time training) 프레임워크인 WAM-TTT를 제안한다. WAM-TTT는 인간 영상을 모방할 궤적으로 취급하는 대신, 자기지도 비디오 예측(self-supervised video prediction)을 통해 동결된 WAM 내부의 경량 적응형 메모리에 흡수시킨다. 이 메모리를 제어에 유용하게 만들기 위해, 쌍을 이루는 인간-로봇 데이터와 키-값 메모리 재구성 목적 함수를 활용하여 인간 시연을 로봇 행동과 정렬하는 메타 학습(meta-training) 단계를 도입한다. 테스트 시간에는 레이블이 없는 인간 영상만으로 메모리를 적응시키며, 사전학습된 WAM은 동결 상태를 유지한다. 이를 통해 로봇 액션, 인간 측 어노테이션, 태스크별 미세조정 없이도 효율적이고 재사용 가능한 조종이 가능하며, 기반 모델의 일반화 능력도 보존된다. 광범위한 실험을 통해 WAM-TTT가 다양한 조작 태스크 및 일반화 설정에서 문맥 내 인간 영상 컨디셔닝 기준선을 일관되게 능가함을 보인다.

arXiv:2512.01317v3quant-ph

측정-유도 얽힘의 데이터 기반 학습 가능성 전이

Data-Driven Learnability Transition of Measurement-Induced Entanglement

측정-유도 얽힘(MIE)은 국소 측정이 장거리 양자 상관관계를 생성하고 다체 시스템에서 동역학적 상전이를 유도하는 방식을 포착한다. 그러나 MIE를 실험적으로 추정하는 것은 여전히 어려운 과제이다. 직접 평가는 측정 결과에 대한 광범위한 사후 선택을 필요로 하며, 이는 MIE가 다항식 자원만으로 접근 가능한지의 문제를 제기한다. 우리는 이 과제를 상태 준비에 대한 사전 지식을 가정하지 않는 데이터 기반 학습 문제로 재구성함으로써 해결한다. 측정 기록만을 사용하여, MIE의 불확실성 지표—평균 측정 후 이분 얽힘의 상한과 하한 사이의 간격—를 예측하도록 신경망(neural network)을 자기지도 방식으로 학습시킨다. 1차원 전체 연결 회로망을 가진 랜덤 회로에 적용한 결과, 우리의 방법은 회로 깊이가 증가함에 따라 학습 가능성 전이를 드러낸다. 임계값 이하에서는 MIE를 시스템 크기에 대해 다항식으로만 증가하는 자원으로 효과적으로 학습할 수 있는 반면, 임계값 이상에서는 필요한 자원이 지수적으로 증가한다. 이 계산적 상전이는 기저 양자 상태의 효율적인 고전 시뮬레이션의 한계와 일치한다. 또한 현재의 잡음이 있는 양자 소자에서도 이 전이의 특징을 관측한다. 이러한 결과는 MIE 학습을 위한 데이터 기반 접근법의 잠재력을 부각시키고, MIE의 고전적 학습 가능성의 실용적 한계를 규명한다.

arXiv:2607.09657v1cs.CV

언어 지능을 위한 확장 가능한 비주얼 사전학습

Scalable Visual Pretraining for Language Intelligence

대규모 파운데이션 모델의 빠른 발전은 주로 대규모 텍스트 코퍼스에 대한 사전학습을 통해 이루어져 왔다. 그러나 많은 형태의 지식은 시각적 표현을 통해 전달되며, 그림, 조판된 수식, 페이지 레이아웃에는 텍스트만으로는 충실하거나 완전하게 포착할 수 없는 풍부한 정보가 담겨 있다. 그럼에도 불구하고 현재의 사전학습 방식은 문서나 웹 페이지와 같이 시각적으로 풍부한 소스를 평문 텍스트로 변환함으로써 이러한 시각적 단서를 버리고 언어 지능을 학습한다. 본 논문은 언어 모델이 반드시 텍스트 전용 표현으로 학습되어야 한다는 기본 가정에 이의를 제기하고, 비주얼 사전학습(Visual Pretraining)이 파운데이션 모델 지능을 위한 확장 가능한 학습 방식임을 보인다. 이를 위해 텍스트 추출 없이 시각적 문서를 직접 활용하는 비지도 비주얼 사전학습 패러다임에 대한 체계적인 연구를 수행한다. 여러 백본과 벤치마크에 걸쳐, 동일한 기반 코퍼스에 대한 비주얼 사전학습은 텍스트 전용 사전학습을 일관되게 능가하며, 확장 가능한 언어 지능으로 나아가는 효율적인 경로를 제공한다.