PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25225v1cs.CV

MJEPA: 오디오-비주얼 학습을 위한 간단하고 확장 가능한 결합 임베딩 예측 아키텍처

MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning

대규모 비디오 데이터로부터의 자기지도 학습(self-supervised learning)은 시각적 표현 학습의 지배적인 패러다임으로 부상하였다. 오디오와 시각 스트림은 비디오 데이터에서 자연스럽게 공존하므로, 이 성공을 두 모달리티의 공동 학습으로 확장하는 것은 자연스러운 다음 단계이지만 여전히 어려운 과제로 남아 있다. 기존의 오디오-비주얼 자기지도 방법들은 모달리티별 인코더와 대조 또는 재구성 목적함수의 복잡한 조합에 의존하여, 교차 모달 시너지와 확장성을 제한한다. 결합 임베딩 예측 아키텍처(JEPA)는 간단하고 모달리티에 무관한 대안을 제공하지만, 지금까지는 주로 개별 모달리티에만 적용되어 왔다. 우리는 두 모달리티 모두에 단일 통합 인코더를 사용하는 오디오-비주얼 학습을 위한 결합 임베딩 예측 아키텍처인 MJEPA를 소개한다. 우리의 접근 방식은 모달리티 내부 및 모달리티 간 모두에 적용되는 단 하나의 예측 목적함수만을 사용한다. 우리는 교차 모달 예측이 핵심임을 보인다: 이것이 없으면 공유 인코더의 성능이 단일 모달 기준선 이하로 저하되며, 이것을 적용하면 각 모달리티의 표현이 다른 모달리티로부터 이점을 얻는다. 우리의 프리징된 ViT-g 모델은 AudioSet-20K에서 최고의 기존 프리징 기준선을 6.8 mAP 이상 능가하고, ESC-50 및 FSD50K에서 완전히 파인튜닝된 모델들을 능가하며, 10배 적은 비디오 데이터를 사용함에도 비디오 벤치마크에서 경쟁력을 유지한다.

arXiv:2606.24570v2cs.CV

Jolia: 3D CT 대조 학습을 위한 개념 수준 비전-언어 정렬

Jolia: Concept-Level Vision-Language Alignment for 3D CT Contrastive Learning

비전-언어 대조 사전학습은 임상 현장에서 생성되는 대규모의 쌍을 이룬 스캔과 리포트를 활용하여 3D 의료 기반 모델의 지배적인 방법론으로 자리잡았다. 그러나 의료 영상은 수십 개의 장기에 걸쳐 있으며, 방사선 리포트는 일반적인 자연 이미지 캡션보다 훨씬 길고 여러 구조화된 섹션으로 구성된다. CLIP 방식의 사전학습은 각 모달리티를 단일 전역 토큰으로 인코딩하여 이러한 구조를 압축하므로 중요한 세부 정보가 손실될 위험이 있다. 우리는 개념 쿼리(Concept Queries, ConQuer)를 소개한다. 이는 CLIP의 전역 정렬에 개념별 지역 정렬을 추가하는 이미지-텍스트 사전학습 방법이다. ConQuer는 리포트를 개념별 섹션으로 분리하고, 분할 마스크나 공간적 감독 없이 일치하는 이미지 특징을 풀링하는 교차 어텐션 쿼리를 학습한다. 이후 대조 학습이 각 개념에 대해 독립적으로 적용된다. 개념은 의미적 지역화의 어떤 단위도 될 수 있으며, 여기서는 해부학적 영역, 즉 장기 또는 대략적인 신체 부위당 하나의 쿼리가 사용된다. 부산물로, 각 쿼리는 해당 개념에 집중된 어텐션 맵을 학습하여 내재적인 공간적 해석 가능성을 제공한다. 우리는 ConQuer를 사용하여 흉부 및 복부 CT에 대한 3D CT 기반 모델인 Jolia를 학습하였다. Jolia는 소견 분류, 리포트 생성, 센터 간 전이에서 CLIP 기준선을 일관되게 능가하며, 다수의 공개 벤치마크에서 새로운 최첨단 성능을 달성한다. Jolia의 가중치는 https://huggingface.co/raidium/Jolia 에서 제공된다.

arXiv:2603.28090v2cs.CV

To View Transform or Not to View Transform: NeRF-based Pre-training Perspective

Neural radiance fields (NeRFs) have emerged as a prominent pre-training paradigm for vision-centric autonomous driving, which enhances 3D geometry and appearance understanding in a fully self-supervised manner. To apply NeRF-based pretraining to 3D perception models, recent approaches have simply applied NeRFs to volumetric features obtained from view transformation. However, coupling NeRFs with view transformation inherits conflicting priors; view transformation imposes discrete and rigid representations, whereas radiance fields assume continuous and adaptive functions. When these opposing assumptions are forced into a single pipeline, the misalignment surfaces as blurry and ambiguous 3D representations that ultimately limit 3D scene understanding. Moreover, the NeRF network for pre-training is discarded during downstream tasks, resulting in inefficient utilization of enhanced 3D representations through NeRF. In this paper, we propose a novel NeRF-Resembled Point-based 3D detector that can learn continuous 3D representation and thus avoid the misaligned priors from view transformation. NeRP3D preserves the pre-trained NeRF network regardless of the tasks, inheriting the principle of continuous 3D representation learning and leading to greater potentials for both scene reconstruction and detection tasks. Experiments on nuScenes dataset demonstrate that our proposed approach significantly improves previous state-of-the-art methods, outperforming not only pretext scene reconstruction tasks but also downstream detection tasks.

arXiv:2603.13432v5cs.CV

Spatial Transcriptomics as Images for Large-Scale Pretraining

Spatial Transcriptomics (ST) profiles thousands of gene expression values at discrete spots with precise coordinates on tissue sections, preserving spatial context essential for clinical and pathological studies. With rising sequencing throughput and advancing platforms, the expanding data volumes motivate large-scale ST pretraining. However, the fundamental unit for pretraining, i.e., what constitutes a single training sample, remains ill-posed. Existing choices fall into two camps: (1) treating each spot as an independent sample, which discards spatial dependencies and collapses ST into single-cell transcriptomics; and (2) treating an entire slide as a single sample, which produces prohibitively large inputs and drastically fewer training examples, undermining effective pretraining. To address this gap, we propose treating spatial transcriptomics as croppable images. Specifically, we define a multi-channel image representation with fixed spatial size by cropping patches from raw slides, thereby preserving spatial context while substantially increasing the number of training samples. Along the channel dimension, we define gene subset selection rules to control input dimensionality and improve pretraining stability. Extensive experiments show that the proposed image-like dataset construction for ST pretraining consistently improves downstream performance, outperforming conventional pretraining schemes. Ablation studies verify that both spatial patching and channel design are necessary, establishing a unified, practical paradigm for organizing ST data and enabling large-scale pretraining.

arXiv:2507.00028v2cs.LG

HiT-JEPA: A Hierarchical Self-supervised Trajectory Embedding Framework for Similarity Computation

The representation of urban trajectory data plays a critical role in effectively analyzing spatial movement patterns. Despite considerable progress, the challenge of designing trajectory representations that can capture diverse and complementary information remains an open research problem. Existing methods struggle in incorporating trajectory fine-grained details and high-level summary in a single model, limiting their ability to attend to both long-term dependencies while preserving local nuances. To address this, we propose HiT-JEPA (Hierarchical Interactions of Trajectory Semantics via a Joint Embedding Predictive Architecture), a unified framework for learning multi-scale urban trajectory representations across semantic abstraction levels. HiT-JEPA adopts a three-layer hierarchy that progressively captures point-level fine-grained details, intermediate patterns, and high-level trajectory abstractions, enabling the model to integrate both local dynamics and global semantics in one coherent structure. Extensive experiments on multiple real-world datasets for trajectory similarity computation show that HiT-JEPA's hierarchical design yields richer, multi-scale representations. Code is available at: https://anonymous.4open.science/r/HiT-JEPA.

arXiv:2606.25328v1cs.SD

Supervised Post-training of Speech Foundation Models for Robust Adaptation in Speech Deepfake Detection

Large speech foundation models have shown strong potential for speech deepfake detection, but direct fine-tuning is limited by a mismatch between self-supervised pre-training objectives and spoof-specific artifacts. To address this, we propose a mix-frame post-training strategy to create localized spoof-oriented perturbations and use frame-level supervision to encourage the SSL model to learn local inconsistencies that are critical for robust spoof detection. On ASVspoof5, we achieve state-of-the-art EER 4.50% for a single model without data augmentation. On ASVspoof2021 LA/DF, it further achieves only 0.16\% absolute EER gap between LA and DF, indicating strong and balanced robustness across distinct distortion conditions. These results show that supervised post-training provides an effective and practical way to adapt speech foundation models for robust deepfake detection.

arXiv:2606.25116v1eess.AS

BCoughBench: Benchmarking Respiratory Acoustic Foundation Models Under Body-Coupled Wearable Sensor Conditions

Respiratory acoustic foundation models (FMs) are benchmarked exclusively on smartphone recordings, yet clinical deployment increasingly targets body-coupled (BC) wearables whose sensors attenuate high-frequency content through tissue and bone, leaving FM reliability uncharacterised. We introduce BCoughBench, evaluating five FMs (OPERA-CT/CE/GT, HeAR, M2D+Resp) on nine classification tasks (AUROC, sensitivity at 95% specificity, Expected Calibration Error) and three age regression tasks (MAE vs. a mean-predictor baseline) across five EBEN-simulated BC sensor conditions on five labeled cough datasets. Mean AUROC declines from 0.785 (smartphone) to 0.689-0.723, degrading most under temple vibration pickup ($Δ$ = -0.096) and least under the soft in-ear ($Δ$ = -0.062). No FM meets the clinical sensitivity threshold (Se@Sp95 $\geq$ 0.20) on most disease tasks under any BC sensor. Sex classification on the CIDRZ cohort collapses (AUROC 0.954 to 0.596-0.628, $Δ$ = -0.341) while COVID detection is nearly unaffected ($Δ$ = -0.004). Age regression is robust, improving under the forehead accelerometer on CoughVID (MAE 9.61 to 8.97 yr); HeAR leads on regression and demographic tasks, M2D+Resp on disease and characteristic tasks. BCoughBench provides a reproducible framework for FM evaluation under wearable conditions.

arXiv:2606.24910v1eess.AS

End-to-End Voice Intent Recognition for Spontaneous Human-Drone Interaction with Naive Users

Voice control offers an intuitive alternative to manual drone piloting, yet most existing systems rely on rigid command vocabularies that fail to handle the spontaneous, disfluent speech of naive users. This paper addresses this gap by proposing an End-to-End Spoken Language Understanding architecture for real-time human-drone interaction in French. Our model combines a frozen Self-Supervised Learning acoustic encoder with a lightweight LSTM-based classification head, augmented by a cross-modal knowledge distillation objective that aligns acoustic representations with semantic embeddings from a text teacher, without requiring transcription at inference time. We evaluate our approach on VoiceStick, a novel French corpus of spontaneous speech collected during real teleoperation sessions with 29 nonexpert dyads. On simple voice commands, our best configuration achieves 93% accuracy at 7 ms inference latency, outperforming cascade baselines (79%, 202 ms) with a 29x speedup. On the full spontaneous speech test set, our architecture reaches 82% accuracy, with crossmodal distillation consistently improving robustness across all configurations. These results demonstrate that End-to-End architectures are not only feasible but preferable for spontaneous voice-guided UAV teleoperation, combining semantic robustness, low latency, and calibrated confidence.

arXiv:2606.23948v1cs.CL

Layer-wise Probing of wav2vec 2.0 and Whisper for Consonant Cluster Reduction in African American English

AAE(아프리카계 미국인 영어)의 자음군 축약(consonant cluster reduction)이 wav2vec 2.0과 Whisper-small 내부 표상에 어떻게 담기는지, 화자 독립적 층별 프로빙(probing)으로 축약 탐지와 원형 클러스터 복원 과제를 통해 분석했다. 두 모델 모두 축약형과 정형을 높은 정확도로 구분했고, 축약 구간에도 원래 폐쇄음 단서가 남아 CCR이 단순 삭제가 아니라 구조화된 음운 변이로 인코딩됨을 보였다.

arXiv:2606.19910v2cs.CL

이산 음성 토큰 서프라이절을 통한 경량 발음 평가

Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal

자동 발음 평가 학습은 종종 수집 비용이 높은 라벨링된 학습자 오류나 비원어 말뭉치에 의존합니다. 우리는 원어 음성 리소스로만 학습되며, 비지도 방식으로 작동하거나 소수의 점수가 매겨진 발화로 미세 보정되는 경량 프레임워크를 제안합니다. 추론 시 학습자 음성은 SSL 인코더와 K-means 코드북을 통해 이산화됩니다. 원어 시퀀스로 학습된 토큰 언어 모델이 서프라이절(surprisal)을 계산하며, 높은 서프라이절은 음운론적 편차를 나타냅니다. 우리는 참고 텍스트에서 원어 토큰 시퀀스를 예측하고 이를 음향 토큰과 정렬하여 오류에 민감한 특징을 도출하는 대본 기반 Text2DUnit--DTW 모듈을 추가했습니다. 서프라이절과 정렬 특징은 간단한 회귀를 통해 융합됩니다. SpeechOcean762 데이터셋에서 대본 기반 방식을 통해 PCC가 0.60에서 0.66으로 향상되어 지도 학습 기준선에 근접했습니다. L2-ARCTIC에 대한 교차 데이터셋 평가에서도 일관된 개선 효과를 보여주었습니다.

arXiv:2505.13087v2cs.LG

Graph Alignment for Benchmarking Graph Neural Networks and Learning Positional Encodings

We propose a novel benchmarking methodology for graph neural networks (GNNs) based on the graph alignment problem, a combinatorial optimization task that generalizes graph isomorphism by aligning two unlabeled graphs to maximize overlapping edges. We frame this problem as a self-supervised learning task and present several methods to generate graph alignment datasets using synthetic random graphs and real-world graph datasets from multiple domains. For a given graph dataset, we generate a family of graph alignment datasets with increasing difficulty, allowing us to rank the performance of various architectures. Our experiments prove that there is an optimal task difficulty for having a statistically relevant ranking of different models and that, even on a structure-only task, anisotropic models perform better compared to isotropic ones. To further prove that our synthetic task capture meaningful information, we show its effectiveness for self-supervised GNN pre-training: the learned node embeddings can be leveraged as positional encodings by transformers for graph regression or can be used to reconstruct the full structure of the graph with $98\%$ accuracy. To support reproducibility and further research, we provide an open-source Python package to generate graph alignment datasets and benchmark new GNN architectures. The source code is available at https://github.com/adrien-lagesse/graph-alignment-benchmark.

arXiv:2606.24297v1cs.CV

강건한 의미론적 표현과 매칭을 통한 학습 없는 크로스 도메인 퓨샷 세그멘테이션

Training-free Cross-domain Few-shot Segmentation via Robust Semantic Representation and Matching

크로스 도메인 퓨샷 세그멘테이션(CD-FSS)은 소스 도메인에서 학습한 지식을 서로 다른 타겟 도메인으로 전이하여, 소수의 어노테이션 샘플만으로 미학습 타겟 클래스를 세그멘테이션하는 것을 목표로 한다. 기존 방법들이 상당한 발전을 이루었음에도 불구하고, 여전히 높은 계산 비용과 과적합 위험을 수반하는 학습 또는 미세조정 과정에 의존한다. 강력하고 범용적인 비전 파운데이션 모델을 이러한 방법에 통합할 경우, 과적합으로 인해 성능 향상이 미미하거나 오히려 저하되는 현상을 관찰하였다. 이를 해결하기 위해 학습 가능한 파라미터를 제거하고, 학습 오버헤드와 과적합을 모두 방지하는 학습 없는 프레임워크를 제안한다. 자기지도 비전 인코더 DINOv3를 기반으로 구축된 본 프레임워크는 세 가지 핵심 모듈을 통해 크로스 도메인 문제를 해결한다. 먼저, 의미론적 인식 특징 재융합(SAFR) 모듈은 의미론적 패턴을 강조하는 특징을 식별하고 재융합하여 향상된 의미론적 판별력을 지닌 표현을 생성한다. 또한, 적응형 서포트 강화(ASE) 모듈은 강건한 쿼리 정보 집계를 통해 서포트와 쿼리 간의 의미론적 격차를 좁힌다. 마지막으로, 하이브리드 프로토타입 매칭(HPM) 모듈은 다양한 프로토타입의 매칭 결과를 통합하여 도메인 간 다양한 의미론적 복잡성에 적응한다. 네 개의 타겟 도메인 데이터셋에 대한 광범위한 실험을 통해, 본 방법이 어떠한 학습 없이도 CD-FSS에서 최고 수준의 성능을 달성함을 입증한다.

arXiv:2606.24263v1cs.CV

MotifGen: 다중 소스 생성 모델링을 통한 정렬되지 않은 위성 이미지의 시공간 보간, 열대성 저기압 적용 사례

MotifGen: Spatiotemporal interpolation of misaligned satellite images via multi-source generative modeling, in an application to tropical cyclones

마이크로파 위성 영상은 전 세계 열대성 저기압의 강수량과 강도를 모니터링하는 데 중요한 역할을 하지만, 재방문 주기가 길어 폭풍의 급격한 발달 단계를 놓칠 수 있다는 문제가 있습니다. 이로 인해 보간 방법의 필요성이 제기되나, 서로 다른 관측 장비에서 수집되는 마이크로파 데이터의 높은 이질성으로 인해 구현이 어렵습니다. 본 연구에서는 샘플마다 변화하고, 불규칙한 시간 간격으로 발생하며, 지리적으로 정렬되지 않고, 특성이 다양한 장비에서 수집되는 다중 지리공간 소스에 적용 가능한 최초의 생성 모델을 소개합니다. 이 모델을 다른 마이크로파 및 적외선 관측 장비로부터 획득한 열대성 저기압 마이크로파 영상의 시공간 보간에 적용합니다. 무작위 소스를 마스킹하고 재구성하는 자기지도(self-supervised) 학습 태스크를 사용하여 학습하였으며, 이 방식이 지도학습 대비 연속 순위 확률 점수(Continuous Ranked Probability Score)를 크게 감소시킴을 보여줍니다. 또한 마이크로파 데이터만 사용하는 것에 비해 적외선 데이터와 마이크로파 데이터를 결합했을 때 성능이 추가로 향상됨을 보여줍니다. 이러한 개선을 통해 생성 모델은 결정론적 모델과 대등한 앙상블 평균을 생성하는 동시에, 실제 관측값의 파워 스펙트럼에 훨씬 더 가까운 결과를 생성합니다. 저자들이 아는 한, 이는 불규칙한 시간 간격에서 다중 마이크로파 관측 장비와 적외선 관측을 결합하여 저기압 마이크로파 영상을 보간하는 최초의 생성 모델입니다.

arXiv:2606.24175v1cs.CV

포인트 클라우드 비디오를 위한 삼중 효율적 전이학습

Tri-Efficient Transfer Learning for Point Cloud Videos

포인트 클라우드 기반 모델이 포인트 클라우드 비디오 이해 분야를 크게 발전시켰음에도 불구하고, 기존의 매개변수 효율적 미세조정(PEFT) 방법들은 여전히 두 가지 핵심적인 한계를 갖는다: 대규모 포인트 클라우드 데이터셋에 대한 과도한 어노테이션 비용과 심각한 메모리 병목 현상. 본 논문에서는 데이터셋을 무분별하게 확장하는 대신 기존 데이터에서 더 풍부한 지도 신호를 추출하는 것을 목표로 한다. 또 다른 핵심 원칙은 미세조정의 메모리 사용량이 전체 미세조정 대비 대폭 감소되어야 한다는 것으로, 이는 현재의 PEFT 기법에서 여전히 달성하기 어려운 과제이다. 이러한 과제들에 의해 동기를 부여받아, 우리는 세 가지 핵심 요건인 데이터, 매개변수, 메모리 효율성을 식별하고, 세 가지 차원 모두에서 탁월한 성능을 발휘하는 통합 프레임워크 PoinTriE를 제안한다. 사전학습 단계에서는 강체 변환을 통해 의사 모션 궤적을 합성하고, 이를 원시 포인트 클라우드에서 도출한 텍스트 코퍼스 및 2D 프로젝션과 쌍을 이룬다. 이후 다중 모달 대조 학습, 강체 회전 예측, 모션 분포 발산을 통해 최적화되는 Geometric-Motion Duality Network를 제안하여 밀집 자기지도(self-supervision)를 생성한다. 미세조정 단계에서는 사전학습된 백본을 고정하고 LoRA 유닛으로 구성된 경량의 시공간 사이드 네트워크(Spatio-temporal Side Network)만을 업데이트한다. 그래디언트 흐름 마스킹 전략을 갖춘 PoinTriE는 메모리 소비와 매개변수 오버헤드를 동시에 줄인다. 광범위한 실험을 통해 PoinTriE가 행동 인식 및 의미론적 분할 태스크에서 새로운 최첨단 결과를 달성함을 확인한다.

arXiv:2606.22220v2cs.CV

MultiMem: 다중 모달 대조 학습에서의 암기 측정 및 완화

MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learning

기계학습 모델에서의 암기는 비정형적인 패턴을 포착함으로써 희귀한 in-distribution 샘플에서 높은 성능을 가능하게 한다. 그러나 암기는 또한 노이즈와 이상치의 유해한 보존을 초래하여 일반화를 저하시킨다. 암기는 시각 도메인에서 지도 학습과 자기지도 학습 모두에서 광범위하게 연구되어 왔지만, 다중 모달 대조 학습에서는 아직 탐구되지 않았다. 우리는 이 공백을 메우기 위해 MultiMem을 도입한다. MultiMem은 다중 모달 대조 학습에서 암기를 정량화하도록 설계된 최초의 지표이다. 체계적 분석을 통해, 교차 모달 의미적 불일치가 암기에 가장 강한 영향을 미침을 보인다. 암기를 유발하는 지배적 모달리티는 텍스트이며, 그다음은 비디오, 이미지, 오디오 순이다. 모든 모달리티에 걸쳐 적용된 타겟 증강이 MultiMem 지표로 측정한 암기를 효과적으로 줄이고 모델 성능을 향상시킴을 보인다. 전반적으로 본 연구는 다중 모달 대조 학습에서 암기를 측정하고 완화하는 최초의 프레임워크를 확립하여, 유해한 데이터 보존을 방지하고 더 높은 성능의 모델에 기여한다.

arXiv:2606.20189v3cs.CV

HilDA: 자기 지도 라이다 사전학습 고도화를 위한 확산 기반 계층적 지식 증류

HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-training

비전 파운데이션 모델(VFMs)을 활용한 카메라-라이다 지식 증류(knowledge distillation)는 실제 자율 주행(AD) 환경의 광범위한 기하학적 및 운동학적 다양성을 표현하는 데 필요한 레이블링된 데이터 부족 문제에 대한 유망한 해결책을 제공합니다. 그러나 기존 접근 방식은 일반적으로 VFMs를 블랙박스 교사로 간주하여 프레임 단위 특징(feature) 유사성에만 의존합니다. 결과적으로, 교사 모델의 층별 의미론적 구조와 전역 컨텍스트(global context), 그리고 라이다 시퀀스에 내재된 풍부한 시공간 정보를 완전히 활용하지 못합니다. 본 논문에서는 주행 작업에 필요한 의미론적 '무엇(what)'과 기하학적 '어디(where)'를 더 잘 포착하는 라이다 백본을 위한 자기 지도 사전학습 프레임워크인 HilDA를 제안합니다. HilDA는 점진적 의미론적 정렬을 위한 다층 지식 증류와 장면 수준 의미론을 위한 전역 컨텍스트 지식 증류로 구성된 계층적 지식 증류와, 시공간 일관성을 강화하는 시간적 점유율 확산(diffusion) 목적 함수를 결합합니다. HilDA로 사전학습된 모델은 교차 모달 지식 증류 벤치마크에서 최첨단(SOTA) 결과를 달성했으며, 3D 객체 검출(object detection), 장면 흐름(scene flow), 의미론적 점유율 예측 작업에서 기존 지식 증류 접근 방식으로 훈련된 모델들을 능가했습니다. 코드는 https://maxiuw.github.io/hilda 에서 확인할 수 있습니다.

arXiv:2606.05347v2cs.CV

TopoPult-SSL: 자기 증류 약한 임상 사전 정보를 활용한 선 마스크 없는 크로스 디바이스 마이봄선 분할

TopoPult-SSL: Gland-Mask-Free Cross-Device Meibomian Gland Segmentation via Self-Distilled Weak Clinical Priors

새로운 임상 영상 장치가 도입될 때마다 도메인 시프트가 발생하는데, 밀집 선 마스크는 획득 비용이 높은 반면 저렴한 임상 신호—눈꺼풀 윤곽, Pult 등급, 형태계측 비율—는 일상적으로 기록된다. 본 논문에서는 크로스 디바이스 마이봄선(meibomian gland) 분할을 위한 2단계 프레임워크인 TopoPult-SSL을 제안한다. 1단계는 학습 손실에 대상 선 마스크를 사용하지 않고, 대상 눈꺼풀 마스크와 임상 메타데이터만으로 구동되는 네 가지 약한 사전 정보 앵커를 활용하여 소스 학습 모델을 적응시킨다. 2단계는 대상 선 마스크가 가용할 때, 지도 자기 증류(supervised self-distillation)를 통해 상호 보완적인 1단계 교사 모델들을 단일 경량 학생 모델로 증류한다. 본 기법은 공개 벤치마크인 MGD-1k에서 CAMG(1,000장에서 100장, 다른 장치)로의 전이 환경에서 개발 및 검증되었으며, 증류된 모델은 단일 순전파로 Dice 0.716±0.006(최고 0.726)을 달성하여 UA-MT(0.710) 및 앙상블 교사(0.720)를 능가한다. 선 마스크 없는 1단계 변형은 정밀도 0.694를 달성하여 SAM/MedSAM의 0.30–0.34 대비 우수한 성능을 보이며(p<0.001), 밀집 선 윤곽 없이도 배포가 가능하다. 코드 및 재현성 스크립트가 공개되어 있다.

arXiv:2606.24164v1eess.AS

Breaking Shortcut Learning for Cross-Trial EEG-Guided Target Speech Extraction via Two-Stage Training

Recent end-to-end models for EEG-guided target speech extraction report impressive results, underscoring potential for neuro-steered hearing technologies. However, our analysis reveals that high within-trial performance can be driven by trial-specific EEG structure that acts as shortcuts for target selection, leading to poor generalization on unseen trials. To overcome this gap, we propose TRUST-TSE, a two-stage framework to mitigate shortcut learning. By introducing contrastive pretraining with attended-speaker negative sampling, we encourage the EEG encoder to capture fine-grained EEG--speech alignment while suppressing trial-identity cues. We also employ a confidence-weighted extraction objective based on EEG--source similarity to guide extraction using the learned representations. Experiments on KUL and DTU datasets show that TRUST-TSE outperforms end-to-end baselines under strict cross-trial protocols, addressing a key reliability bottleneck of existing approaches.

arXiv:2606.22079v1cs.CL

신호는 어디에 있는가? 의료 인코더 사전학습을 위한 웹 데이터 레시피

Where Does the Signal Live? A Web Data Recipe for Medical Encoder Pretraining

전문 용어 밀집 의료 도메인 인코더의 마스킹 언어 모델링(MLM) 사전학습을 위해 의료 용어 밀도 필터링과 신호 증폭 재진술(signal-amplifying rephrasing)을 결합한 웹 데이터 큐레이션 레시피를 프랑스어 의료 NLP에 적용했다. 의료 용어 밀도 필터는 교육적 품질 필터를 하위 의료 태스크에서 능가하고 재진술과 필터링 데이터를 혼합하면 가장 큰 이득을 얻으며, FineMed 코퍼스와 DoctoBERT 인코더는 DrBenchmark 및 실제 임상 개체명 인식(NER)에서 최고 수준을 기록했다.

arXiv:2606.21803v1cs.CL

다음 토큰 예측 기반 테스트 시 학습

Test-Time Training with Next-Token Prediction

사전학습된 LLM에 드롭인으로 적용하는 테스트 시 학습(TTT) 방법 TTT-NTP는, 기존의 학습된 value 프록시 대신 모델 자체의 다음 위치 문맥 은닉 상태를 fast-weight 업데이트 지도 신호로 삼아 다음 토큰 예측(NTP)과 내부 루프 목적을 정렬한다. RULER Full-13과 LongBench-v2에서 Llama-3.1-8B, Mistral-7B-v0.3, Qwen3 시리즈 등 공개 백본의 장문맥·장문 QA 성능을 일관되게 높이면서 상식·지식 평가 성능은 유지한다.