PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.06079v2cs.LG

Scalable Perturbation Learning for Online Self-Supervised Learning in Echo State Networks

에코 상태 네트워크(Echo State Networks, ESN)에서 온라인 자기지도 학습(self-supervised learning)을 위한 섭동 기반(perturbation-based) 학습 규칙을 제안하며, 자기지도 비용 함수를 직교 분해(orthogonal decomposition)하여 입력 의존 성분에만 섭동을 적용함으로써 기울기 추정 분산의 스케일링을 저수조(reservoir) 차원 O(n_r)에서 입력 차원 O(n_in)으로 줄인다. 이를 통해 대규모 저수조와 하드웨어 제약 환경에서도 스칼라 피드백만으로 확장 가능한 온라인 자기지도 학습이 가능함을 이론 및 수치 실험으로 검증한다.

arXiv:2607.22615v1q-bio.NC

마스크드 오토인코더는 휴식 상태 신경 데이터로부터 지각 관련 표현을 학습한다

Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data

임상 신경 보철(clinical neuroprosthetics)은 데이터 병목에 직면한다. 라벨이 붙은 지각 시행은 부족한 반면, 수 시간에 달하는 자발적 신경 활동은 대부분 활용되지 않는다. 본 연구에서는 자기지도 학습(self-supervised learning)이 이러한 비라벨 데이터셋을 활용해 지각 디코딩(perception decoding)을 개선할 수 있는지 검증한다. 시각장애 참가자의 V1에 삽입된 피질내 배열(intracortical array)에서 기록한 14.6시간 분의 자발적 다단위(multiunit) 활동으로 마스크드 오토인코더를 사전학습했다. 모델은 감독 없이 해석 가능한 뇌 구조를 포착했다. V1의 공간적 조직화와 지각 상태 분리가 모두 잠재 표현(latent representations)만으로 순수하게 나타났다. 이러한 특성을 검증하기 위해, 고정된 잠재 표현에 대한 로지스틱 회귀를 이용한 선형 프로빙(linear probing)으로 자극이 주어진 데이터에서의 성능을 측정했다. 일반 심리측정(psychometric) 과제에서 지각 디코딩 정확도는 84.1%에 달했다. 더 어려운 임계값 수준(threshold-level) 과제에서는 정확도가 64.0%에 달했다. 본 연구는 자발적 피질 활동이 노이즈가 아니며, 풍부한 과제 관련 구조를 담고 있음을 보여준다. 이 데이터에 대한 비지도 사전학습은 신경 디코딩을 개선하는 유망한 전략이다.

arXiv:2607.24030v1cs.CL

MoLGE: 대규모 다국어 음성 인식의 효율적 스케일링을 위한 언어 그룹 전문가 혼합

MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition

수백 개 언어를 포괄하는 대규모 다국어 자동 음성 인식(ASR) 모델은 다양한 언어적·음향적 조건에서 견고한 성능을 유지해야 한다. 그러나 이러한 모델은 종종 다국어성의 저주(curse of multilinguality)에 직면하며, 이는 모델 용량이 여러 언어에 걸쳐 희석되는 현상이다. 이 문제를 해결하기 위해, 우리는 음성 자기지도 학습 모델(S3M)을 기반으로 한 언어 그룹 전문가 혼합(MoLGE)을 제안한다. MoLGE는 유사한 언어들의 클러스터에 전용 전문가 모듈을 할당하여, 기존의 언어별 전문가 혼합(MoE) 방식에 비해 필요한 하위 모듈 수를 줄인다. 또한 S3M 아키텍처의 분리된 음향·언어 구성요소에 계층적 저랭크 적응(LoRA) 전략을 통합하여, 매개변수 효율성을 유지하면서 언어별 특성을 효율적으로 모델링할 수 있게 한다. 또한 언어학적·데이터 기반 기준 모두에 따른 언어 그룹화 전략이 전체 성능에 미치는 영향을 조사하여, 다국어 음성 시스템에서 언어 구조가 확장성(scalability)에 어떻게 영향을 미치는지에 대한 해석 가능한 관점을 제공한다. 실험에서 우리는 495개 언어를 포괄하는 다국어 벤치마크에서 MoLGE를 평가한다. 결과는 MoLGE가 학습 가능한 매개변수의 최소한의 증가만으로 밀집(dense) 다국어 기준선을 지속적으로 능가함을 보여준다. 특히 이러한 언어 그룹화 전략은 ASR 모델링의 음성학적(phonetic) 측면과 정서법적(orthographic) 측면 모두에서 상당한 개선을 가져온다. 우리의 발견은 구조화된 언어 특화(language specialization)가 다국어 ASR의 언어 커버리지를 대규모로 확장하는 효과적인 경로를 제공함을 시사한다.

arXiv:2607.23531v1cs.CL

언어에서의 JEPA 역설: 언어적 대안의 기하학

The JEPA Paradox in Language: The Geometry of Linguistic Alternatives

Joint-Embedding Predictive Architectures(JEPA)는 이미지, 비디오, 오디오에서 효과적이지만, 결정론적 JEPA 스타일의 잠재 예측은 텍스트 인코더의 표준 목적 함수가 되지 못했다. 우리는 이러한 격차가 제곱 오차 기반 잠재 예측과 언어의 조건부 구조 사이의 불일치를 반영한다고 주장한다. 핵심 요구사항은 조건부 집중(conditional concentration)이다: 컨텍스트와 타겟 위치가 주어졌을 때, 타겟 표현은 단일한 의미 있는 점 근처에 위치해야 한다. 지역적 이미지 예측은 공간적 연속성을 통해 이를 종종 만족시키지만, 마스킹된 텍스트는 여러 유효한 토큰 또는 스팬(span) 완성을 허용할 수 있으며, 이들의 표현이 일관된 중심을 공유할 필요가 없다. 우리는 예측 가능성(predictability), 붕괴 방지(non-collapse), 낮은 조건부 분산(low conditional variance)의 세 가지 조건을 통해 이 불일치를 형식화하고, 이들의 실패가 텍스트에서 중심점 퇴화(centroid degeneracy)와 붕괴 압력(collapse pressure)을 어떻게 만드는지 보인다. 매칭된 I-JEPA 및 T-JEPA 실험은 예측된 순서를 드러낸다: 상호 정보량(mutual-information) 포화와 높아진 타겟 분산이 학습-검증 불안정성, 유효 랭크(effective-rank) 퇴화, 코사인 붕괴(cosine collapse), 낮은 다운스트림 전이 성능에 앞선다. 동일한 패턴은 5개의 독립적인 데이터 시드(seed)에서 나타나며, 이는 샘플링 아티팩트가 아님을 나타낸다. 이 결과는 언어에 대한 예측 학습을 배제하지 않는다; 이들은 텍스트 호환 JEPA 목적 함수가 여러 그럴듯한 완성을 단일 잠재 점으로 압축하기보다 보존해야 함을 보여준다.

arXiv:2607.21540v2cs.CL

DONDO: 아프리카 언어용 공개 w2v-BERT 음성 인식 베이스 모델

DONDO: Open w2v-BERT Speech-Recognition Base Models for African Languages

본 논문은 w2v-BERT 2.0 자기지도(self-supervised) 음성 인코더 위에 구축된, 아프리카 언어를 위한 공개·관대한 라이선스의 자동 음성 인식(ASR) 베이스 모델 모음인 DONDO를 제시한다. DONDO는 가나, 시에라리온, 나이지리아, 세네갈, 케냐, 짐바브웨에 걸친 27개 언어 변이를 포괄하는 21개의 단일어 모델과 5개의 다국어 모델로 구성된다. 모델은 주로 종교 텍스트에서 추출한 낭독 음성으로 미세조정되었으며, 이는 전사된 오디오가 부족한 언어에 대해 넓고 라이선스가 명확하며 철자 체계가 일관된 커버리지를 제공한다. 공유 다국어 모델을 먼저 높은 학습률로 적응시킨 다음, 강력한 단일어 기준선을 회복하고 여러 경우에는 이를 능가하도록 학습률을 점진적으로 낮추는 2단계(한 모델군의 경우 3단계) 학습률 어닐링 미세조정 절차를 설명한다. 또한 음향 특징 앞에 one-hot 언어 식별자를 접두 프레임 시퀀스로 주입하는 경량 언어 조건화(language-conditioning) 메커니즘을 설명하며, 이를 통해 단일 다국어 체크포인트를 추론 시 목표 언어로 유도할 수 있다. 5개 다국어 모델군 전반에서 어닐링된 모델은 평균 단어 오류율(WER) 10–13%에 도달하여, 단일 체크포인트로 많은 언어를 포괄하면서 단일어 모델과의 격차 대부분을 줄인다. 모든 모델은 Apache-2.0 라이선스(출처 표시만 필요)로 Hugging Face KhayaAI 조직에 공개되어, 다른 사람들이 상업적 용도를 포함해 자유롭게 미세조정할 수 있다. 다루는 언어들은 보수적으로 추정해도 약 1억 명의 모국어 화자가 사용하며, 제2언어 사용을 포함하면 훨씬 더 많다고 제시한다.

arXiv:2506.10292v2cs.CL

Flick: 다중 과제 저자원 언어를 위한 K-인식 중간 학습 기반 소수 레이블 텍스트 분류

Flick: Few Labels Text Classification using K-Aware Intermediate Learning in Multi-Task Low-Resource Languages

최소한의 감독으로 심층 학습 네트워크를 학습하는 방법은 광범위한 레이블 데이터에 대한 의존을 줄일 수 있는 잠재력으로 인해 상당한 연구 관심을 받아왔다. 자기 학습(self-training) 방법은 준지도 학습(semi-supervised learning)에서 효과적임이 입증되었지만, 노이즈가 있는 의사 레이블(pseudo label)로 인한 오류에 취약하다. 또한 소수 레이블 분류 문제에 대한 최근 대부분의 접근법은 영어와 같은 자원 풍부 언어를 위해 설계되었거나 과적합에 취약한 복잡한 계단식(cascading) 모델을 포함한다. 노이즈가 있는 의사 레이블과 도메인 적응(domain adaptation)에서 기존 방법이 종종 어려움을 겪는 진정한 저자원 언어적 맥락에서의 소수 레이블 텍스트 분류라는 지속적인 과제를 해결하기 위해, 우리는 Flick을 제안한다. 일반적인 다중 클러스터 의사 레이블링이나 복잡한 계단식 아키텍처에 의존하는 기존 방법과 달리, Flick은 더 넓은 초기 클러스터 집합에서 고신뢰도 의사 레이블을 증류(distillation)하면 의사 레이블 품질을 극적으로 개선할 수 있다는, 특히 언어적으로 다양한 저자원 환경에서 중요한 근본적인 통찰을 활용한다. Flick은 최고 성능의 의사 레이블 클러스터를 식별하고 활용함으로써 기존 의사 레이블링 전략에서 벗어난 새로운 의사 레이블 정제(refinement) 구성 요소를 도입한다. 이 구성 요소는 단일 클러스터 응집성(single-cluster cohesion)에 집중하고 적응형 top-k 선택 메커니즘을 활용하여, 초기의 넓은 집합으로부터 매우 신뢰할 수 있는 의사 레이블을 증류하는 방법을 구체적으로 학습한다. 이 표적화된 정제 과정은 저자원 데이터에 내재된 오류 전파를 완화하는 데 핵심적이며, 소수의 실제 레이블만으로 사전학습된 언어 모델의 견고한 미세조정을 가능하게 한다. 우리는 아랍어, 우르두어, 세츠와나어와 같은 도전적인 저자원 언어와 영어를 포함하는 14개의 다양한 데이터셋에서 Flick의 효과를 입증하여, 그 우수한 성능과 적응성을 보여준다.

arXiv:2607.24703v1cs.CV

Panda: 실시간 MR 영상을 위한 비지도 골반 이상 탐지

Panda: Unsupervised Pelvic Anomaly Detection for Real-Time MR Imaging

여성 골반 질환은 연구가 부족한 분야로, 진단이 종종 지연되는 특징을 보인다. 골반 MRI는 진단 및 영상 유도 시술에 우수한 연조직 대비를 제공하지만, 생리적 움직임, 조직 변형, 기구 아티팩트로 인해 실시간 이상 탐지는 여전히 어렵다. 기존 지도 학습 접근법은 이상 사건이 드물고 이질적이며 주석을 달기 어려워 실용적이지 않다. 우리는 골반 MRI에 맞게 조정한 Dinomaly 기반 비지도 이상 탐지 프레임워크를 제안한다. 이 프레임워크는 건강한 사례로부터 정상 표현을 학습하고 레이블 없이 편차를 표시한다. 우리 접근법은 동결된 DINOv3 Vision 트랜스포머 인코더와 노이즈 MLP 병목, Linear Attention 디코더를 결합하여 동일성 매핑(identity mapping)을 방지하면서 계산 효율성을 유지한다. 이상은 인코더와 디코더 표현 간 토큰별 코사인 거리를 통해 국소화되며, 공간적 이상 맵을 생성하여 방사선과의 의사결정 및 적응형 프로토콜 조정을 지원하기 위해 스캐너에서 즉각적인 피드백을 제공한다. 자궁 근종 데이터셋(Uterine Myoma Dataset)의 선별된 하위집합에서 평가한 결과, 프레임워크는 픽셀 수준 AUROC 88.06%와 프레임 수준 95.45%의 높은 특이도(specificity)를 초당 40.5 슬라이스 속도로 달성하여 실시간 임상 배포 요구사항을 충족한다. 공간적 이상 맵과 프레임 수준 점수는 활성 시술 중 방사선과의 의사결정 및 적응형 프로토콜 조정을 지원하기 위해 스캐너에서 즉각적이고 국소화된 피드백을 제공한다.

arXiv:2607.24135v1cs.CV

LoTA-N2N: 제로샷 자기지도 이미지 노이즈 제거를 위한 지역 흔적 적응

LoTA-N2N: Local Trace Adaptation for Zero-Shot Self-Supervised Image Denoising

단일 이미지 자기지도 노이즈 제거는 사용할 수 없는 깨끗한 타깃을 노이즈 관측값으로부터 구성한 대리 타깃으로 대체한다. 따라서 그 효과는 대리 목적함수가 지도 노이즈 제거와 얼마나 밀접하게 정렬(alignment)되어 있는지, 특히 노이즈가 상관되어 있거나 공간적으로 비정상(nonstationary)이거나 알려지지 않은 경우에 달려 있다. 우리는 MSE 기반 자기지도 목적함수의 넓은 클래스와 지도 MSE 사이의 불일치를 매개변수와 무관한 상수, 그리고 대리 타깃 잔차와 예측 오류 사이의 흔적(trace) 상호작용으로 표현한다. 이에 대응하는 그래디언트 불일치는 이 상호작용의 그래디언트에 의해 결정된다. 이 공식화는 paired-noise, blind-spot, weak-noise, re-corruption, sub-image 방법들에 대한 공통 관점을 제공하는 동시에, 작은 전역 상호작용이 공간적 상쇄(spatial cancellation)를 통해 상당한 양의 양성 및 음성 지역 상호작용을 숨길 수 있음을 밝힌다. 이러한 관찰을 바탕으로 2단계 제로샷 적응 프레임워크인 LoTA-N2N을 제안한다. 1단계에서는 상보적인 서브 이미지 쌍으로 노이즈 제거기를 학습하고 이를 고정하여 분리된(detached) 깨끗한 서브 이미지 프록시를 구성한다. 2단계에서는 이러한 프록시를 사용해 잔차-예측 상호작용을 추정하고 패치 단위 절대 크기를 억제한다. 지역적 구성이 공간적 상쇄를 방지하고 대응하는 전역 상호작용의 크기에 상한을 부여함을 보인다. 자연, 공초점(confocal), X-ray 이미지에 걸친 실험과, 반복 횟수를 맞춘 대조군, 제어된 노이즈 변화, 그래디언트 진단을 통해 IID, 공간적으로 변하는, 혼합 노이즈 조건에서 MSE만 사용한 적응 대비 일관된 성능 향상을 보여준다. 전반적으로 LoTA-N2N은 추정된 지역 상호작용과 공간적 상쇄 제어가, 쌍을 이룬 깨끗한 타깃, 반복 촬영, 또는 사전 정의된 re-corruption 모델 없이 단일 이미지 자기지도 노이즈 제거를 위한 효과적인 설계 원칙을 제공함을 보여준다.

arXiv:2607.23972v1cs.CV

컬러 안저 사진 분석: 멀티모달 AI를 향한 데이터, 전처리, 모델링의 공진화

Color Fundus Photography Analysis: Co-evolution of Data, Preprocessing, and Modeling toward Multimodal AI

컬러 안저 사진(Color Fundus Photography, CFP)은 안과 및 전신 질환의 대규모 스크리닝을 위한 주요 비침습적 영상 방식이다. 기존 서베이는 주로 과제별 알고리즘, 데이터셋, 또는 전처리 기법을 각각 독립적으로 요약하며, 현대 인공지능과의 공진화에 대한 통합적 관점이 부족하다. 본 리뷰는 데이터셋 진화, 전처리 패러다임, 모델링 프레임워크의 상호작용을 통해 CFP AI에 대한 통합적 개관을 제공한다. CFP 데이터셋이 과제별 라벨을 갖춘 소규모 단일 기관 수집물에서 멀티모달 페어링과 종단 임상 기록을 특징으로 하는 대규모 다기관 자원으로 진화해 왔음을 보인다. 전처리는 기존의 이미지 향상에서 신경망 기반 데이터 엔지니어링 파이프라인, 하드웨어 인식 토큰 최적화, 불완전한 전자 건강 기록(EHR)에 대한 자기지도 보간(self-supervised imputation)으로 발전해 왔다. 한편, 모델링은 합성곱 신경망(CNN)에서 비전 기반 모델(vision foundation models), 상태 공간 모델(SSM), 멀티모달 전문가 아키텍처로 발전해 왔다. 멀티모달 최전선에서 CFP는 EHR 및 종단 환자 정보와 점점 더 통합되어, 고립된 이미지 분석을 넘어 더 포괄적인 임상 추론을 가능하게 한다. 향후 발전은 데이터셋, 전처리, 멀티모달 모델링의 협력적 최적화에 달려 있으며, 이는 견고한 임상 배포, 향상된 교차 도메인 일반화, 자원 효율적인 엣지 지능을 향한 로드맵을 제공한다.

arXiv:2607.23835v1cs.CV

일관된 증거, 견고한 인식: 기하 변환 하에서의 충실한 어트리뷰션 정규화

Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations

어트리뷰션(attribution) 방법은 모델 예측의 근거가 되는 증거를 특성화하는 데 널리 사용되지만, 모델 동작을 개선할 수 있는 잠재력은 아직 충분히 탐구되지 않았다. 레이블을 보존하는 기하 변환 하에서의 어트리뷰션 불일치는 변환에 민감한 증거 의존을 나타낼 수 있으며, 이는 어트리뷰션 정규화를 동기 부여한다. 그러나 이러한 지도는 어트리뷰션이 예측을 유도하는 증거를 충실하게 반영할 때에만 유효하다. 기존 자기지도(self-supervised) 방법은 일반적으로 Grad-CAM과 같은 그래디언트 기반 맵을 정렬하는데, 이들의 제한된 충실성(faithfulness) 때문에 어트리뷰션 일관성이 반드시 근본적인 의사결정 과정의 일관성을 의미하지는 않으며, 변환 견고성 문제가 해결되지 않은 채로 남는다. 우리는 이미지 영역에 대한 부분모듈러(submodular) 탐색을 기반으로 한 주석 없는(annotation-free) 어트리뷰션 정규화 프레임워크를 제안한다. 후보 부분집합이 모델 출력에 미치는 영향을 측정함으로써, 탐색은 탐색 유도 지도(search-derived supervision)로서 간결하고 클래스 판별적인 증거를 추출한다. 우리는 추가로 경로 일관성(path-consistency) 및 종료 정렬(termination-alignment) 항을 갖춘 부분모듈러 순위 손실(submodular ranking loss)을 도입하는데, 이들은 각각 짝을 이룬 탐색 궤적을 따라 공간적으로 대응하는 후보 순위를 정렬하고, 변환된 궤적이 목표 종료 단계에서 정지 기준(stopping criterion)을 만족하도록 장려한다. 이 손실은 최종 어트리뷰션과 원래는 이산적인 증거 선택 과정 모두를 정규화하기 위한 미분 가능한 대리(surrogate)를 제공한다. ImageNet-100 실험에서 우리 방법은 ViT-B/16에서 정확도 하락을 0.28 포인트로 제한하면서 어트리뷰션 안정성, Insertion, Deletion을 크게 개선했으며, ViT-L/16에서도 유사한 향상을 보였다. ImageNet-1K에서는 ResNet-50과 ConvNeXt-B에서 변환된 입력 정확도를 개선하면서 클린 정확도(clean-accuracy) 하락을 0.30 포인트로 제한하여, 최소한의 성능 손실로 더 일관된 증거 의존을 보여준다. 코드는 곧 공개될 예정이다.

arXiv:2607.22729v1cs.CV

모델의 눈을 열다: 비디오 및 문맥 인식 멀티모달 백채널 예측

Open Your Model's Eyes: Video and Context-Aware Multimodal Backchannel Prediction

백채널(backchannel)은 공감과 이해와 같은 청자의 상태를 나타내며, 자연스러운 인간 상호작용의 기본 요소이다. 그러나 현재 접근법은 오디오와 텍스트에만 의존한다. 이는 정확한 예측에 필요한 표정과 제스처와 같은 중요한 시각적 단서뿐만 아니라 더 넓은 대화 문맥을 누락한다. 본 논문에서는 Multi-Layer Multimodal Alignment(MMA)를 통해 시각 정보를 활용하는 새로운 프레임워크인 Context-Aware Multimodal Alignment for Backchannel Prediction(CAMA-BC)을 제안한다. 정렬(alignment) 과정은 두 단계로 구성된다. 먼저 Context Alignment(MMA-CA)는 비디오가 포함된 라벨 없는 대화를 활용하여 대화 문맥을 포착한다. 다음으로 Backchannel Alignment(MMA-BA)는 백채널 예측을 위해 표현을 특화적으로 파인튜닝(fine-tuning)한다. 실험 결과, CAMA-BC는 기존 방법과 단순한 멀티모달 베이스라인 모두를 크게 능가하며, 공감과 같은 복잡한 백채널을 인식하는 데 특히 효과적임을 보여준다.

arXiv:2607.24112v1cs.AI

시각적 상태 전이를 통한 GUI 에이전트 스케일링

Scaling GUI Agents with Visual State Transitions

본 연구는 GUI 에이전트를 위한 새로운 스케일링 축으로 State Transition Pretraining(STP)을 제안한다. STP 단계에서는 역역학(inverse dynamics, 상태 변화로부터 행동 예측)과 순방향 역학(forward dynamics, 현재 상태와 행동으로부터 다음 상태 예측)을 공동 최적화하여 시각적 상태 전이에 대해 통합 멀티모달 모델을 지속적으로 사전학습한다. 이 최적화를 통해 모델은 더 나은 행동 그라운딩(action-grounded) 시각 표현과 GUI 역학에 대한 내부 세계 모델(internal world model)을 갖추게 된다. 이후 작업 지시가 포함된 궤적에 미세조정하면, STP로 학습된 모델은 데스크톱 및 모바일 GUI 시나리오(AgentNetBench, AndroidControl, GUIOdyssey)의 에이전트 벤치마크 전반에서 궤적 직접 미세조정만으로 학습된 베이스라인을 일관되게 능가한다. 추가 실험 연구는 공동 역학 최적화가 단일 목표 학습 대비 안정적인 개선을 제공하며, 하류 성능이 전이 데이터 양에 따라 꾸준히 스케일링됨을 보여준다.

arXiv:2607.24023v1cs.AI

뇌-기계 인터페이스에서 신경 디코딩 일반화를 위한 자기지도 일관성 강화 분리 학습

Self-Supervised Consistency Enhanced Disentangled Learning for Neural Decoding Generalization in Brain-Machine Interface

뇌-기계 인터페이스(BMI)는 뇌와 외부 장치 간의 직접적인 통신 경로를 제공하여, 인간이 보조 및 로봇 기술을 제어할 수 있게 하며, 재활, 인간 운동 기능 증강, 인간 중심 로봇 공학 분야에 적용될 잠재력을 지닌다. 그러나 신경 표류(neural drift)로 인해 BMI의 성능은 시간이 지남에 따라 저하되어, 특히 침습적 BMI(iBMI)의 장기적 실용성에 어려움을 초래한다. 기존 해결책은 두 가지 주요 한계를 갖는다: (i) 견고한 신경 표현(representation) 학습의 어려움, (ii) 신경 표류가 운동 파라미터(예: 속도, 방향, 속력)에 따라 달라진다는 점을 간과함. 이러한 한계를 극복하기 위해, 우리는 두 가지 핵심 혁신을 바탕으로 한 신경 디코딩 일반화 프레임워크인 자기지도 일관성 강화 분리 학습(SSCDL)을 제안한다. 먼저, 시뮬레이션된 신경 신호 교란과 함께 새로운 teacher-student 일관성 제약을 사용하여 신경 표류에 불변인 견고한 표현을 학습하는 백본 모델인 일관성 강화 신경 디코더(CND)를 설계한다. 다음, 신경 선호 이론(neural preference theory)에서 영감을 받아 운동 신호를 속도, 방향, 속력으로 분리하는 상보적 분리 일반화(CDG) 메커니즘 하에서 세 개의 전용 CND를 사용한다. 이 분리 학습을 통해 SSCDL은 다양한 신경 선호 관점에서 불변 신경 표현을 포착하여, 일간(cross-day) 일반화를 크게 향상시킨다. 광범위한 실험 결과, SSCDL은 최첨단 디코딩 성능을 달성하며, 높은 견고성과 일간 안정성을 보인다. 이러한 역량은 인간 중심 로봇 및 세밀한 보조 응용 분야에서의 장기 상호작용에 대한 강한 잠재력을 시사한다.

arXiv:2607.23258v1cs.AI

CAPT: 칼슘 군집 역학의 데이터셋 간·종 간 전이를 가능하게 하는 다중 과제 연속 자기회귀 트랜스포머

CAPT: A Multi-task Continuous Autoregressive Transformer enabling Cross-dataset and Cross-species Transfer for Calcium Population Dynamics

대규모 칼슘 이미징은 신경 군집 역학을 위한 파운데이션 스타일 모델을 구축할 기회를 만들었지만, 한 가지 핵심 질문은 여전히 해결되지 않았다: \textbf{한 기록 모음으로 사전학습한 모델이 새로운 데이터셋, 실험 패러다임, 심지어 종까지 일반화할 수 있는지 여부이다.} 기존 접근법은 종종 특정 과제에 맞춰 설계되고 단일 데이터셋에서 평가되어, 학습된 표현이 새로운 칼슘 trace 데이터셋에 재사용 가능한지 불분명하다. 이 공백을 해소하기 위해, 칼슘 군집 역학을 위한 \textbf{C}ontinuous \textbf{A}utoregressive \textbf{P}opulation \textbf{T}ransformer인 \textbf{CAPT}를 제안한다. CAPT는 연속 패치 토큰화 전략을 통해 연속 칼슘 trace를 직접 모델링하며 자기회귀적으로 학습되어, 엔드투엔드 사전학습과 다양한 다운스트림 과제에의 적응을 가능하게 한다. 먼저 대규모 마우스 칼슘 이미징 데이터셋에서 CAPT를 사전학습하고, 서로 다른 연구실에서 수집한 독립적인 마우스, 유충기 제브라피시, \textit{C. elegans} 데이터셋에 걸친 전이 가능성을 평가한다. 이러한 전이 설정에서, 사전학습된 백본은 고정하고 적응 모듈만 업데이트한다. 신경 군집 예측 및 행동 디코딩 과제 전반에 걸쳐, CAPT는 특화 및 범용 베이스라인을 일관되게 능가한다. 예측 성능과 함께, \textit{C. elegans} 데이터셋의 NeuroPAL 주석을 이용한 다중모달 분석은 CAPT 임베딩이 데이터셋 간 공유 기능 공간을 형성하고 해부학적 세포 동일성 관련 구조를 포착함을 보여준다. 이 결과는 연속 자기회귀 모델링이 데이터셋, 실험 패러다임, 종에 걸쳐 일반화할 수 있는 칼슘 이미징용 범용 신경 파운데이션 모델을 향한 단순한 경로의 가능성을 열어준다는 것을 시사한다.

arXiv:2607.22508v1cs.LG

bag-of-waves를 이용한 해석 가능한 EEG 바이오마커: 저데이터 환경을 위한 공간·시간 파형 사전

Interpretable EEG biomarkers with bag-of-waves: Spatial and temporal waveform dictionaries for low-data regimes

EEG(전기뇌파)는 신경학적 질환 진단에 널리 사용되지만, 그 분석은 보통 사전 정의된 스펙트럼 특징이나 심층 신경망에 의존한다. 사전 정의된 특징은 정보적 가치가 있는 것을 미리 고정하기 때문에 강한 바이어스를 수반하며, 심층 신경망과 파운데이션 모델은 해석하기 어렵고 대량의 데이터와 연산 자원이 필요하다. 우리는 bag-of-waves를 제안한다. 이는 레이블 없이 shift-invariant k-means를 사용하여 반복되는 EEG 파형 템플릿(atom이라고 함)의 작은 사전을 학습하는 해석 가능한 프레임워크이다. 연속 EEG 신호는 atom 토큰의 시퀀스로 변환되며, 그 토큰의 빈도는 간단한 하류 분류기 또는 클러스터링 단계에 입력된다. 이 표현을 두 가지 방식으로 확장한다: 시간적 구조를 포착하기 위해 atom 간 전이(n-gram이라고 부름)를 추가하고, 다채널 경우를 위해 단일 채널 atom에서 지역 및 채널 간 공간 atom으로 확장한다. 세 가지 상호 보완적인 데이터셋에서 방법을 검증한다. 각 데이터셋은 서로 다른 측면을 탐구한다: 동물 16마리만으로 수행한 단일 채널 마우스 유전형 클러스터링(저데이터 및 시간적 사례), 휴식 상태 치매 분류(공간적 사례), 그리고 임상 EEG 이벤트의 6분류를 위한 TUEV 벤치마크(강력한 심층 및 파운데이션 기준선과의 고데이터 비교). 세 데이터셋 모두에서 bag-of-waves는 최첨단 심층 및 파운데이션 모델과 경쟁력 있는 성능을 달성한다. 그러나 매개변수 수의 극히 일부만으로 동작하며 완전한 해석 가능성을 제공한다. 모든 atom이 검사 가능한 파형에 대응하기 때문에, 이 방법은 신경생리학자가 직접 검증할 수 있는 알려진 임상 형태학을 명시적으로 복원한다. 주요 장점은 더 무거운 모델이 적합하지 않은 저데이터 환경에서도 잘 작동한다는 점이다.

arXiv:2607.22458v1cs.LG

해양 포유류 및 조류 발성에서 오디오 파운데이션 모델이 포착한 계통발생 신호: 도메인 특화 사전학습의 제한적 이점

Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

학습된 오디오 임베딩은 아무도 학습하라고 알려주지 않은 구조를 인코딩하는가? 우리는 네 가지 대규모 사전학습 오디오 모델(AST, CLAP, BEATs-bio, BirdNET)을 학습 중 어느 것도 보지 못한 다운스트림 태스크, 즉 종 발성으로부터 계통발생 거리를 복원하는 문제로 탐색한다. 임베딩 공간의 기하가 생명의 나무를 따라간다면, 표현은 모델이 최적화 대상으로 삼았던 레이블보다 더 깊은 무언가를 포착하고 있는 것이다. 우리는 두 독립적인 방사군에 걸쳐 Mantel 검정을 수행한다. 32종 해양 포유류(왓킨스 해양 포유류 소리 데이터베이스의 1,754개 녹음)에서 파운데이션 모델은 26종 고래류 내에서 강한 계통발생 신호를 복원한다(CLAP r=0.82, BEATs-bio r=0.82, AST r=0.74; 모두 p<0.001). 이는 어떤 분류군에 대해서도 보고된 음향-계통발생 상관 중 가장 높은 수준에 해당한다. 수작업 MFCC 특징(105차원)은 아무것도 찾지 못한다(r=0.040, p=0.338). 모든 임베딩을 105차원으로 PCA 투영한 후에도 격차는 유지되므로, 이는 표현 크기의 인공물이 아니다. 지배적 주파수를 통제한 부분 Mantel 검정에서도 격차가 유지된다(부분 Mantel r=0.404, 설명 분산의 97% 유지). 따라서 이는 단순히 변장한 음높이(pitch)가 아니다. Jetz et al. (2012)의 계통수를 사용하여 20종 조류에 대해 분석을 반복하고, 이번에는 약 6,000종 조류에 대해 end-to-end로 학습된 분류기 BirdNET을 추가한다. 범용 파운데이션 모델은 다시 신호를 복원한다(AST r=0.55, CLAP r=0.52). 예상치 못한 결과는 BirdNET도 생물음향 BEATs-bio도 이들을 능가하지 못한다는 점이다(r는 약 0.32~0.36). 학습 도메인을 대상 분류군에 맞추는 것만으로는 도움이 되지 않는다. 사전학습된 오디오 임베딩은 두 독립적인 방사군에 걸쳐 진화 정보를 담고 있으며, 이것이 나타나려면 도메인 특화 사전학습이 필요하지 않다.

arXiv:2607.22430v1cs.LG

제어 월드 모델의 식별 가능성에 관하여

On the Identifiability of Controlled World Models

고차원 관측으로부터 환경 역학을 추론하고 후보 행동 하에서 결과를 예측하는 월드 모델 학습은 계획과 제어의 핵심이다. Joint-Embedding Predictive Architectures(JEPAs)는 표현 공간에서 이러한 모델을 학습하기 위한 설득력 있는 프레임워크를 제공한다. 최근의 행동 조건부 확장은 시각 제어와 잠재 공간 계획에서 유망한 성능을 보이지만, 근본적인 질문은 여전히 남아 있다: 제어된 잠재 예측은 언제 기저 상태와 제어된 역학을 모두 식별하는가? 이는 비선형 관측과 조건부 행동 변화가 제한된 행동 정책 하에서, 상태 의존적 진화와 행동 효과가 통계적으로 혼동될 수 있어 어렵다. 우리는 상태 의존적 가우시안 행동 정책 하에서 가우시안 잠재 상태를 갖는 제어 월드 모델에 대한 공동 식별 가능성 이론을 수립한다. 우리는 두 가지 정책 의존적 조건을 밝힌다: 예측 가능한 신호의 스펙트럴 분리는 표현 식별 가능성을, 비퇴화(degenerate하지 않은) 조건부 행동 변화는 전이 식별 가능성을 지배한다. 두 조건이 모두 성립할 때, JEPA 목적 함수의 모든 전역 최소화자는 직교 변환까지 잠재 상태와 제어된 전이를 식별함을 증명한다. 또한 근사 최적화 하에서 표현 및 전이 식별 가능성에 대한 정량적 경계를 유도한다. 마지막으로, 약하게 여기된(excited) 행동 방향을 따른 예측기 교란을 구성하여, 반사실적-온-정책 오차 비가 전이 식별 가능성 마진의 역수가 됨을 보이고, 이는 제한된 행동 커버리지의 비용을 드러낸다. 비선형 관측 맵과 행동 정책에 걸친 실험은 이론을 뒷받침하고, 전이 식별 가능성, 반사실적 예측, 목표 조건부 잠재 계획에 대한 함의를 보여준다.

arXiv:2607.22408v1cs.LG

LunarFM: 달 표면의 공유 다중모달 표현

LunarFM: A Shared Multimodal Representation of the Moon's Surface

현장 자원 활용(in-situ resource utilization)과 달에 대한 지속적인 인간 거주 전망에 힘입어 달 탐험이 다시 전 세계적 관심을 받으면서, 달 표면의 정확하고 대규모적인 특성화에 대한 수요가 증가하고 있다. 궤도 원격 탐사 데이터가 방대하게 수집되었음에도, 이질적인 다중 계측기 관측, 희소 라벨, 맞춤형 과제별 모델링 워크플로로 인해 과학적 분석과 자원 매핑은 여전히 파편화되어 있다. 본 연구에서는 다양한 궤도 측정으로부터 달 표면의 일반적 표현을 학습하는 다중모달 파운데이션 모델 LunarFM을 소개한다. LunarFM은 세 개의 달 임무에서 여섯 개 계측기의 관측을 통합하여 18개 입력 채널을 공유 임베딩 공간에 매핑한다. 이 임베딩 공간이 유사도 검색, 퓨샷(few-shot) 자원 매핑, 광물 함량 회귀, 지질 단위 분류 등 다양한 다운스트림 응용을 지원함을 보여, 효율적인 과학적 조사와 자원 중심 분석을 가능하게 한다. 위도 70°S에서 70°N에 걸친 공동 등록(co-registered) 다중모달 관측의 머신러닝 준비 데이터셋, 사전학습된 다중모달 마스크드 오토인코더, 그리고 달 표면 특성의 결합 768차원 표현을 제공하는 동반 임베딩 데이터셋을 함께 제공한다. 모든 코드와 데이터는 https://lunarfm.trillium.tech/ 에서 이용할 수 있다.

arXiv:2607.22351v1cs.LG

IQ-JEPA: 초음파 IQ 데이터로부터 음속 및 감쇠를 추정하기 위한 Hermitian 비전 트랜스포머 기반 공동 임베딩 예측 아키텍처

IQ-JEPA: A Joint-Embedding Predictive Architecture with a Hermitian Vision Transformer for Sound Speed and Attenuation Estimation from Ultrasound IQ Data

조직 내 음속은 잘 초점이 맞춰진 영상화를 위한 전제 조건이며 진단적 가치를 지니지만, 원시 펄스-에코 채널 데이터로부터 이를 복원하는 것은 근본적으로 비선형 역문제이다. 학습 기반 솔버는 빠르지만 라벨을 많이 요구한다. 시뮬레이션된 음속 라벨은 비용이 크고, 풍부한 실제 채널 데이터는 라벨이 없다. 우리는 두 데이터 유형을 모두 활용하기 위해 IQ-JEPA를 제안한다. 인코더는 라벨 없이 사전학습(pre-training)되어 가시적인 컨텍스트로부터 마스킹된 동상(in-phase) 및 직교(quadrature, IQ) 영역의 잠재 표현을 예측하고, 이후 시뮬레이션 맵에 대해 파인튜닝(fine-tuning)된다. 음속은 IQ 신호에서 위상 차이로 나타나며, 상수 위상 오프셋에 대해 불변이다. 인코더는 복소 신호에 직접 작동하는 Hermitian 비전 트랜스포머이다. 그 어텐션은 해당 위상에 대해 등변(equivariant)이며, 켤레곱(conjugate-product) 피드포워드(feed-forward)는 이에 대해 불변(invariant)이므로, 인코더는 고전적 코히런스(coherence) 방법이 사용하는 것과 유사한 양을 읽는다. 2.5 MHz에서 79,293개의 Fullwave 2.5 시뮬레이션에 대해, 63,435개의 라벨 없는 획득 데이터에 대한 사전학습은 10,000개 라벨에서 15.60 m/s에 도달한다. 이는 지도 학습 대비 라벨 효율에서 대략 3배의 이득이며, 1,000개 라벨에서는 4배 이상으로 증가한다. InversionNet 기준선보다 약 2.2배 낮으며, 전체 라벨에서는 8.71 m/s이다. 이득은 라벨 없는 사전학습 데이터가 더 많아질수록 계속 증가한다. 우리의 비교는 자기지도 학습(self-supervision)이 지배적 요인임을 시사한다. 동일한 인코더는 전이(transfer)된다. 고정(frozen)된 특징은 음속과 감쇠를 드러내며, 층상(layered) 및 복부(abdominal) 팬텀 간 교차 분포(cross-distribution) 사전학습은 정확도 손실이 거의 없다. 우리는 이를 정량적 초음파(quantitative ultrasound)를 위한 파운데이션 모델(foundation model)로 나아가는 첫걸음으로 본다.

arXiv:2607.22114v1cs.LG

환자 인식 샘플링을 이용한 EHR Foundation Model 사전학습

Pretraining EHR Foundation Models with Patient-Aware Sampling

전자 건강 기록(EHR)용 자기회귀(autoregressive) foundation model은 일반적으로 언어 모델링의 사전학습 방법을 그대로 차용하는데, 이 경우 환자 궤적(trajectory)이 단일 토큰 스트림으로 연결되고 그 스트림에서 윈도우가 샘플링된다. EHR 데이터에서는 이 선택이 중요한 영향을 미친다. 윈도우가 여러 환자를 섞을 수 있고, 기록이 더 긴 환자가 더 많은 최적화(optimization) 업데이트에 기여하여 바이어스가 도입될 수 있다. 우리는 Patient Sampling을 제안한다. 이는 환자 간에 학습 신호가 어떻게 분배되는지 제어할 수 있는 사전학습 시퀀스 구성 방법이다. 이 방법을 Global Stream이라 부르는 표준 접근법과 비교한다. 조절 가능한 가중치를 갖는 확률적 Patient Sampling이 실제 EHR 데이터에서 성능을 향상시킨다는 것을 보인다. MIMIC-IV v2.2 및 v3.1에서의 하위 임상 과제(downstream clinical task) 전반에 걸쳐, Patient Sampling은 Global Stream 기준선 대비 Macro AUROC와 AUPRC를 개선한다. 이 결과는 자기회귀 EHR foundation model에서 학습 및 검증 시퀀스 구성이 중요하고 아직 충분히 탐구되지 않은 설계 선택임을 보여준다.