PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2503.16311v2cs.LG

비디오, 오디오 및 그 이상을 위한 구조화된 노이즈 마스킹 모델링

Structured-Noise Masked Modeling for Video, Audio and Beyond

마스크드 모델링(masked modeling)은 강력한 자기지도학습(self-supervised learning) 프레임워크로 부상했습니다. 그러나 대부분의 방법은 서로 다른 데이터 모달리티의 구조적 특성을 무시하는 무작위 마스킹에 의존합니다. 비디오 및 오디오 데이터의 시공간적 및 스펙트럼 특성에 맞추기 위해, 본 논문에서는 구조화된 노이즈 기반의 마스킹 접근법을 소개합니다. 백색 노이즈(white noise)를 다양한 유색 노이즈(color noise) 분포로 필터링함으로써, 수작업 휴리스틱이나 데이터 접근 없이도 모달리티 특화 패턴을 포착하는 구조화된 마스크를 생성합니다. 본 연구의 접근법은 추가적인 계산 비용 없이 마스크드 비디오 및 오디오 모델링 프레임워크의 성능을 향상시킵니다. 실험을 통해 구조화된 노이즈 마스킹이 무작위 마스킹을 일관되게 능가함을 보여주며, 이는 표현 학습(representation learning)을 위한 모달리티 인식 마스킹 전략의 가치를 강조합니다.

arXiv:2607.01733v2cs.CL

ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습

Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

자동 음성 인식(ASR)에서 대규모 언어 모델(LLM)의 텍스트 사전학습 지식이 ASR 학습 데이터 증가에 따라 희석되는 문제를 해결하기 위해, 정렬된 음성-텍스트 쌍 내에서 단어 및 세그먼트 단위로 두 모달리티를 교차 배치하는 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간 ASR 데이터 실험에서 JSTIP은 ASR 전용 학습 및 단순 음성-텍스트 공동 학습 대비 일관된 개체명 인식 정확도 향상을 달성하였으며, 제로샷 음성 질의응답 능력도 보존함을 확인했다.

arXiv:2607.21384v1cs.AI

일반화 가능한 EEG 표현 학습을 위한 멀티모달 사전학습

Multimodal Pretraining for Generalizable EEG Representation Learning

간질(epilepsy)에 사용되는 뇌전도(EEG) 모델은 특정 데이터셋과 태스크에 한정되는 경우가 많다. 이러한 제한적 접근은 서로 다른 데이터셋이나 다양한 상황에 모델을 적용하기 어렵게 만들 수 있다. 그러나 파운데이션 모델(foundation model)과 자기지도 학습(self-supervised learning)에 관한 최근 연구들은, 적응 가능한 EEG 백본(backbone)이 다양한 EEG 관련 태스크를 지원할 수 있음을 시사한다. 본 연구에서는 Mamba 아키텍처 기반의 원시 신호 인코더, 시-주파수(time-frequency) 데이터용 Vision Transformer(ViT) 스타일 인코더, 텍스트용 경량 인코더를 공유 임베딩 공간 내에서 결합한 멀티모달 EEG 파운데이션 모델을 개발했다. 사전학습 과정은 마스크드 모델링(masked modeling), 교차 뷰(cross-view) 대조 정렬(contrastive alignment), 시간적 일관성 손실(temporal consistency loss) 등 여러 혁신적 기법에 기반한다. 이러한 방법들은 레이블 데이터 없이 풍부하고 발작(seizure) 관련 표현을 생성하도록 설계되었다. 사전학습된 모델의 효과와 일반화 성능을 평가하기 위해 표준 CHB-MIT 발작 검출 벤치마크와 추가 발작 검출 데이터셋에서 파인튜닝(fine-tuning)을 수행하고, 다양한 모델 변형을 비교하는 광범위한 실험을 진행했다. 표준 CHB-MIT 분할(split)에서 최고의 단일 모델은 AUROC 0.874를, 앙상블 변형은 AUROC 0.878을 달성하여 이 벤치마크에서 최첨단(state-of-the-art) 성능을 나타냈다. 표준 train-test 분할 외에도, 기존 EEG 발작 모델링 연구에서 드물게 보고되는 leave-one-subject-out(LOSO) 프로토콜 하에서 성능을 평가했으며, 이는 환자 독립적(patient-independent) 발작 검출의 어려움을 부각한다. 19명의 피험자에 걸친 평균 LOSO 균형 정확도(balanced accuracy)는 0.558이었다. 데이터셋과 평가 설정 전반에 걸쳐, 우리의 멀티모달 파운데이션 모델은 견고한 발작 검출과 새로운 발작 검출 시나리오로의 간편한 적응을 가능하게 했으며, 해석 가능한 발작 국소화(seizure localization)도 지원했다.

arXiv:2607.09657v1cs.CV

언어 지능을 위한 확장 가능한 비주얼 사전학습

Scalable Visual Pretraining for Language Intelligence

대규모 파운데이션 모델의 빠른 발전은 주로 대규모 텍스트 코퍼스에 대한 사전학습을 통해 이루어져 왔다. 그러나 많은 형태의 지식은 시각적 표현을 통해 전달되며, 그림, 조판된 수식, 페이지 레이아웃에는 텍스트만으로는 충실하거나 완전하게 포착할 수 없는 풍부한 정보가 담겨 있다. 그럼에도 불구하고 현재의 사전학습 방식은 문서나 웹 페이지와 같이 시각적으로 풍부한 소스를 평문 텍스트로 변환함으로써 이러한 시각적 단서를 버리고 언어 지능을 학습한다. 본 논문은 언어 모델이 반드시 텍스트 전용 표현으로 학습되어야 한다는 기본 가정에 이의를 제기하고, 비주얼 사전학습(Visual Pretraining)이 파운데이션 모델 지능을 위한 확장 가능한 학습 방식임을 보인다. 이를 위해 텍스트 추출 없이 시각적 문서를 직접 활용하는 비지도 비주얼 사전학습 패러다임에 대한 체계적인 연구를 수행한다. 여러 백본과 벤치마크에 걸쳐, 동일한 기반 코퍼스에 대한 비주얼 사전학습은 텍스트 전용 사전학습을 일관되게 능가하며, 확장 가능한 언어 지능으로 나아가는 효율적인 경로를 제공한다.

arXiv:2607.05906v1cs.CV

GaussFusion: 멀티모달 3D 가우시안 사전학습을 향하여

GaussFusion: Towards Multimodal 3D Gaussian Pretraining

GaussFusion은 3D 가우시안 표현을 위한 멀티모달 사전학습 프레임워크로, 교차 모달 의미 정렬을 통해 이미지·텍스트 감독을 마스킹 가우시안 모델링에 통합하고, 가우시안 현저성 기반 다중 스케일 홀 마스킹(GSHM)으로 비균일 분포 문제를 해결한다. ModelNet40과 ScanObjectNN에서 Gaussian-MAE 대비 각각 0.61%, 3.85% 향상된 성능을 달성하며 가우시안 표현의 전이 가능성을 입증했다.

arXiv:2607.00293v1cs.CV

Rosetta: 조합 가능한 네이티브 멀티모달 사전학습

Rosetta: Composable Native Multimodal Pretraining

새로운 모달리티를 통합할 때 발생하는 치명적 망각(catastrophic forgetting) 문제를 해결하기 위해, 전역 공유 전문가와 플러그 앤 플레이 모달리티별 전문가를 결합한 조합 가능한 사전학습 프레임워크 Rosetta를 제안한다. 핵심 기법인 MAOP(Momentum-Anchored Orthogonal Projection)는 옵티마이저의 모멘텀 상태를 암묵적 의미 앵커로 활용하여 추가 메모리 오버헤드 없이 충돌하는 그래디언트를 선택적으로 중화함으로써, 표준 MoE·MoT 대비 기존 언어·시각 이해 능력을 보존하면서 우수한 이미지 생성 성능과 크로스 모달 시너지를 동시에 달성한다.