PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21644v1cs.LG

편미분방정식의 목표 무관 공동 임베딩 예측 제어를 향하여

Toward Goal-Agnostic Joint-Embedding Predictive Control of Partial Differential Equations

우리는 공동 임베딩 예측 아키텍처(JEPA)를 중심으로 구축된 편미분방정식(PDE)용 목표 무관 제어 프레임워크를 제시한다. 소형 2D ViT 인코더와 행동 조건부 잠재 역학은 보상이나 하류 목표 없이 오프라인으로 학습된 뒤 고정(frozen)되고, 모델 예측 경로 적분(MPPI) 제어기에 의해 재사용된다. 우리는 이용 가능할 때, 제어 목표가 학습된 잠재 공간에서의 원시 유클리드 거리($L^2$) 최소화보다 명시적 물리 관측량(단사성(injectivity)이 보장될 때)에 적용되는 것이 더 낫다는 것을 발견한다. 고정된 잠재 롤아웃에 대한 학습된 선형 운동에너지(KE) 프로브에 대해, 기저 월드 모델을 변경할 필요 없이 보류된 궤적을 $R^2=0.989$로 재현할 수 있다. PDE Control Gym 2D Navier--Stokes 벤치마크에서 KE-프로브 계획은 잠재-$L^2$ 계획의 $-12.08\pm0.86$에서 일치하는 50-에피소드 네이티브 보상을 $-10.90\pm0.91$(95\% CI)로 개선하며, 마지막 1/4 구간 속도장 RMSE를 $0.0765$에서 $0.0692$로 낮춘다. 의도적으로 보류된 서로 다른 비주기적 목표 3개에 걸쳐, KE 계획은 잠재-$L^2$ 계획 대비 후반 필드 RMSE를 $53\%$($0.0220$ 대 $0.0469$) 낮추며, 30개의 페어링된 에피소드 모두에서 승리한다. 동일한 고정 모델은 KE의 직접 조절을 통해 정상(steady) 구성 주변 안정화를 목표로 하는 제어도 지원하며, 평균 상대 오차 $2.7\%$를 달성한다. 잠재 프로브가 측정 노이즈와 결측 픽셀에 취약하지만, 우리는 결과가 잠재 역학이 동적이면서도 목표 무관일 수 있고, 보정된 관측량(고유한 연속성을 보장한다면)이 상태 제어를 위한 더 나은 목표가 될 수 있다는 주장을 뒷받침한다고 믿는다.

arXiv:2606.06479v2cs.LG

순환 없이 순환 네트워크 사전학습

Pretraining Recurrent Networks without Recurrence

순환 신경망(RNN) 학습은 긴 연산 시퀀스에 걸쳐 credit을 할당해야 한다. 표준 시간 역전파(BPTT)는 이 문제를 잘 해결하지 못한다. 시간적으로 순차적이어서 병렬성을 제한하고, 소실 또는 폭발 그래디언트에 시달려 장거리 연관을 학습하기 어렵다. 우리는 지도 기억 학습(Supervised Memory Training, SMT)을 제안한다. 이는 RNN 학습을 일(step) 기억 전이 레이블 $(m_t, x_{t+1}) \rightarrow m_{t+1}$에 대한 지도 학습으로 환원함으로써 순환 credit 전파를 완전히 우회하는 비선형 RNN 학습 방법이다. SMT는 예측 상태 목적(predictive state objective)으로 트랜스포머 기반 인코더를 학습하여 이러한 기억 레이블을 획득한다—미래를 예측하는 데 필요한 과거 정보만을 유지한다. 무엇을 기억할지와 기억을 어떻게 갱신할지를 분리함으로써, SMT는 RNN을 전개(unroll)하지 않고도 임의의 두 토큰 사이에 안정적인 $O(1)$ 길이의 그래디언트 경로를 갖는 시간 병렬 RNN 학습을 가능하게 한다. 언어 모델링 및 픽셀 시퀀스 모델링과 같은 과제에서 다양한 RNN 아키텍처를 사전학습할 때 SMT가 BPTT보다 우수한 성능을 보임을 확인했다. SMT는 비선형 RNN이 장거리 의존성을 더 잘 포착하고 병렬로 학습할 수 있게 하며, 과거 경험의 시간적 추상화를 구축하는 모델의 스케일링을 잠재적으로 가능하게 한다.

arXiv:2607.22434v1cs.RO

투사된 시각적 추상화를 통한 로봇의 의사소통 학습

Robot Learning to Communicate through Projected Visual Abstractions

인간은 그림자, 실루엣, 반사 등 자신의 신체를 추상화한 형태를 통해 일상적으로 의사소통한다. 그러나 로봇은 여전히 대체로 자신의 물리적 형태(morphology)를 통해서만 자신을 표현하는 데 제한되어 있다. 로봇이 이러한 투사된 시각적 추상화를 통해 의사소통하도록 하려면, 신체 움직임뿐 아니라 그 움직임이 관찰자가 인지하는 외부 표현으로 어떻게 변환되는지에 대한 추론도 필요하다. 이러한 추상화 가운데 그림자는 로봇의 체화(embodiment)에서 직접 생성되면서도 신체 자체와 시각적으로 구별된다는 점에서 특히 설득력 있는 사례를 제공한다. 본 연구에서는 순응성 소프트 스킨을 갖춘 21자유도(degree-of-freedom) 다관절 손과 학습된 그림자 자기-모델(self-model)을 이용해 동적 그림자 표현이 가능한 로봇 시스템을 제안한다. 소프트 스킨 체화는 빛 누출을 줄여 시각적으로 연속적인 실루엣을 만들며, 미분 가능한 자기-모델은 과제와 무관한(self-agnostic) 자기 탐험을 통해 손 구성(configuration)과 투사된 그림자 외관 사이의 매핑을 학습한다. 목표 그림자 이미지 또는 동영상이 주어지면, 로봇은 학습된 자기-모델에 대한 그래디언트 기반 탐색을 통해 손 구성을 최적화하고, 충돌 인식 시뮬레이션을 통해 해를 정제하여 물리적으로 실행 가능한 움직임을 얻는다. 동적 그림자 수행을 위해, 시각적으로 중요한 움직임 단서를 보존하면서 최적화 복잡도를 줄이기 위해 표현 영역 목표, 시간적 부드러움 정규화, 키프레임 기반 최적화를 추가로 도입한다. 시뮬레이션과 실물 실험 모두에서 수어 제스처, 손그림자 인형극, 동물 움직임 모방에 걸쳐 로봇 그림자 표현을 시연한다. 이 결과는 로봇이 의사소통과 시각적 스토리텔링을 위해 자신의 투사된 시각적 추상화를 조작할 수 있게 하는 프레임워크를 확립한다.

arXiv:2607.21622v1cs.NE

국소 시냅스 규칙은 역전파 없이 SIGReg 그래디언트를 구현할 수 있다

Local Synaptic Rules Can Implement a SIGReg Gradient Without Backpropagation

우리는 두 가지 표준적인 국소 시냅스 학습 규칙, 즉 스파이크 타이밍 의존 가소성(STDP$^+$)의 강화(potentiation) 경로와 항상성 가소성(homeostatic plasticity, 본 연구에서는 flashlight 과립세포(granule-cell) 유사 뉴런으로 구현)이 함께 SIGReg 유사 자기지도 학습(self-supervised learning) 목적함수의 정확한 그래디언트를 구현할 수 있음을 증명한다. 이 등가성은 그래디언트 계산, 전역 오류 신호, 가중치 전달(weight transport), 레이블 정보가 전혀 필요하지 않으며, 유일한 입력은 시냅스 전후 발화율, 국소 발화 통계, 자연 감각 입력 스트림의 시간적 연속성(temporal contiguity)뿐이다. 입력의 시간적 순서만으로 클래스 구조를 복원할 수 있는지를 검증하기 위해 설계된 합성 클러스터링 과제에서, 순서대로 제시하면 클러스터 분리도(CSR)가 2.49까지 상승한 반면 무작위 순서에서는 기준선(0.83) 근처에 머물렀으며, 이는 입력 순서만으로 약 3배($\approx 3.5σ$)의 분리를 달성한 것이다. 시간적으로 정렬된 MNIST에서, 이러한 규칙만으로 전체 학습된 2층(layer) 네트워크는 87.3%의 선형 프로브(linear-probe) 정확도를 달성하여, 이 메커니즘이 end-to-end로 작동함을 보여준다.

arXiv:2607.21970v1cs.CV

TextSLIP: 의료 보고서 생성을 위한 텍스트 자기지도 CLIP

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.

arXiv:2607.21850v1cs.CV

SCALE: 첨단 노드에서 지역 P&R DRV 수정을 위한 자기지도 제약 인식 레이아웃 생성

SCALE: Self-Supervised Constraint-Aware Layout GEneration for Local P&R DRV Fixing at Advanced Nodes

반도체 제조가 2nm 미만 노드로 진전함에 따라, 지역 배치 및 배선(P&R) 설계 규칙 위반(DRV) 수정은 복잡한 규칙 상호작용, 밀집된 다층 라우팅 기하학, 파운드리 특화 제약에 의해 점점 더 제한받고 있다. 대규모 언어 모델(LLM)은 최근 EDA 스크립팅 및 문서화에서 강력한 역량을 보여주었지만, 시각적 레이아웃 이해에의 적용은 여전히 거의 탐구되지 않았다. 레이아웃 이미지로부터 DRC 위반을 진단하는 것은 정밀한 기하학적 추론과 범용 VLM 학습에 없는 파운드리 특화 규칙 지식을 요구한다. 우리는 첨단 노드에서 지역 DRV 수정을 위한 자기지도 레이아웃 생성 단계를 갖춘 프레임워크인 SCALE을 제안한다. 다층 레이아웃 기하학은 구조화된 텍스트로 직렬화되며, 파인튜닝된 언어 모델은 위반 레이블 없이 주변 BEOL 컨텍스트만으로 무작위로 마스킹된 폴리곤을 재구성하는 방법을 학습한다. 추론 시, 자연어 규칙 제약과 고온도 샘플링이 생성을 다양하고 위반에 취약한 레이아웃 변형을 향하게 유도하며, 이는 산업용 사인오프 DRC 검사기로 검증되어 DRC 주석이 달린 레이아웃-위반 쌍을 생성하고, 이를 사용해 도메인 적응 DRC-VLM을 파인튜닝한다. 이 VLM은 지역 DRV 수리를 위한 규칙 인식 기하학적 안내를 제공하여, enclosure, spacing, width, color-spacing 위반을 포함하는 100건의 실제 2nm 미만 사례에서 최신 에이전트의 해결률을 +12–25%(최대 97%)까지 향상시킨다.

arXiv:2604.07180v3cs.CV

종단 다중 매개변수 MRI 분석을 위한 에너지 기반 조직 매니폴드

Energy-based Tissue Manifolds for Longitudinal Multiparametric MRI Analysis

우리는 시퀀스 공간에서 환자 특이적 에너지 모델링에 기반한 종단 다중 매개변수 MRI 분석을 위한 기하학적 프레임워크를 제안한다. 공간 네트워크로 영상을 직접 처리하는 대신, 각 복셀(voxel)은 다중 시퀀스 강도 벡터($T1$, $T1c$, $T2$, FLAIR, ADC)로 표현되며, 단일 기준선 스캔으로부터 $\mathbb{R}^d$ 위의 에너지 함수 $E_θ(\mathbf{u})$를 학습하기 위해 denoising score matching을 통해 컴팩트한 암시적 신경 표현(implicit neural representation)이 학습된다. 학습된 에너지 경관(landscape)은 분할(segmentation) 레이블 없이 조직 체제(regime)에 대한 미분기하학적(differential-geometric) 기술을 제공한다. 국소 최소값은 조직 분지(basin)를 정의하고, 그래디언트 크기는 체제 경계에 대한 근접성을 반영하며, 라플라시안(Laplacian) 곡률은 국소 제약 구조를 특성화한다. 중요하게도, 이 기준선 에너지 매니폴드는 고정된 기하학적 기준으로 취급된다: 진단 시 관찰된 대조(contrast) 조합의 집합을 인코딩하며 추적 관찰(follow-up) 시 재학습되지 않는다. 따라서 종단 평가는 이 기준선 기하학에 상대적인 후속 스캔의 평가로 공식화된다. 해부학적 분할을 비교하는 대신, 기준선 에너지 함수 하에서 MRI 시퀀스 벡터의 분포가 어떻게 진화하는지를 분석한다. 후기 재발이 있는 소아 사례에서, 추적 스캔은 명확한 방사선학적 재출현 전에 에너지의 점진적 편차와 시퀀스 공간에서 기준선 종양 관련 체제를 향한 방향적 변위를 보여준다. 질병이 안정적인 사례에서는, 복셀 분포가 체계적 표류(drift) 없이 확립된 저에너지 분지에 머무른다. 제시된 사례들은 환자 특이적 에너지 매니폴드가 명시적 분할이나 지도 분류(supervised classification) 없이 종단 mpMRI 분석을 위한 기하학적 기준 시스템으로 기능할 수 있음을 개념 증명(proof-of-concept)으로 보여주며, 신경종양학(neuro-oncology)에서 매니폴드 기반 위험 조직(tissue-at-risk) 추적에 대한 추가 연구를 위한 토대를 제공한다.

arXiv:2607.21561v1cs.LG

순환 펩타이드 앙상블에 대한 그래프 학습: 분자 앙상블 모델링 연구

Graph Learning on Ensembles of Cyclic Peptides: An Investigation of Molecular Ensemble Modeling

구조로부터 분자 특성을 예측할 때, 용액 속에서 많은 분자가 conformational ensemble(구조 앙상블)로 존재함에도 불구하고 종종 단일 대표 conformation(구조)을 사용한다. 본 연구는 EnsembleEGNN을 제안한다. 이는 분자 앙상블 기초 모델로, 먼저 공유된 Equivariant Graph Neural Network(EGNN) 레이어로 각 컨포머(conformer)를 인코딩한 다음, Set Attention Block으로 결과 컨포머 표현을 풀링하여 앙상블을 인코딩한다. CREMP(순환 펩타이드 앙상블 데이터셋)에서 마스크된 토큰 복원, 노이즈 좌표 재구성, 쌍별 거리 재구성을 결합한 다중 과제 자기지도 목적 함수를 사용하여 모델을 사전학습한다. CREMP-CycPeptMPDB 데이터셋에서 EnsembleEGNN을 처음부터 학습하면 완전히 실패한다($R^2=0.005$). 그러나 사전학습된 모델은 $R^2=0.477$ 및 Pearson $r=0.699$에 도달하여, 서열 전용 BERT 기준선($R^2=0.439$, Pearson $r=0.667$)을 능가한다. EnsembleEGNN이 BERT 서열 인코더와 end-to-end로 공동 학습되면, 하이브리드 모델은 $R^2=0.538$ 및 Pearson $r=0.737$로 더욱 향상된다. 이 결과는 conformational ensemble을 단일 열역학적으로 정보화된 임베딩으로 인코딩하면 순환 펩타이드 특성 예측이 향상됨을 보여준다.

arXiv:2607.20743v1cs.RO

장애물 회피를 위한 자기지도 생물 모방 로봇 궤적 계획

Self-Supervised Bio-Inspired Robotic Trajectory Planning with Obstacle Avoidance

궤적 계획(trajectory planning)은 로봇공학의 근본적인 문제로, 잠재적으로 복잡한 환경에서 충돌 없고 효율적인 궤적을 생성해야 한다. 샘플링 기반 플래너가 여전히 지배적인 접근법이지만, 특히 고차원 공간과 장애물이 풍부한 환경에서는 계산 비용이 크다. 모델 학습 기반 방법은 신경망 궤적 플래너에 대한 제한된 횟수의 순전파(forward pass)를 통해 효율적인 계획을 가능하게 하는 유망한 대안을 제공하지만, 탐험 또는 전문가 시연에 의존하기 때문에 낮은 샘플 효율성(sample efficiency)이나 제한된 일반화 문제를 흔히 겪는다. 본 후속 연구는 장애물이 포함된 환경에서 순방향 모델(forward model)과 역방향 모델(inverse model)을 내부 감독 메커니즘으로 활용하는 궤적 계획을 위한 신경-생물학적 영감(neuro-inspired) 자기지도 학습(self-supervised learning) 프레임워크를 검증한다. 실험 결과는 이 접근법의 실현 가능성을 보여주면서, 우리 플래너가 순방향 모델과 역방향 모델이 제공하는 학습 신호를 악용하는 경향을 드러낸다. 이 문제를 해결하기 위해 추가적인 학습 체계와 완화(mitigation) 전략을 제안하고 평가한다.

arXiv:2607.20551v1cs.LG

SenCos-GEM: SENet 보정 및 코사인 법칙 제약 기하 강화 분자 표현을 통한 물성 예측

SenCos-GEM: SENet-Calibrated and Law-of-Cosines-Constrained Geometry-Enhanced Molecular Representation for Property Prediction

효과적인 분자 표현 학습은 정확한 분자 물성 예측에 필수적이다. 최근 약물 발견을 위해 포괄적인 3D 구조 정보를 포착하기 위해 3D GNN을 활용한 다수의 자기지도 학습(SSL) 접근법이 개발되었다. 그러나 기존 방법들은 명시적인 물리적 제약이 부족하며, 대규모 사전학습 과정에서 거친 경험적 힘장(empirical force field)에 의해 유발되는 기하학적 노이즈에 매우 취약하다. 또한 하류 적응(downstream adaptation) 과정에서 동적 특징 변조(feature modulation)를 간과하여, 종종 치명적 망각(catastrophic forgetting)과 부정적 전이(negative transfer)를 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 SENet 보정 및 코사인 법칙 제약 강화를 통합한 새로운 명시적 분리형 기하 강화 분자 표현 학습 프레임워크인 SenCos-GEM을 제안한다. SenCos-GEM은 코사인 법칙에 기반한 물리 유도 기하학적 일관성 손실(geometric consistency loss)을 사용하여 고충실도이며 수학적으로 불변인 3D 공간 사전지식(spatial priors)을 도출한다. 또한 경량 Squeeze-and-Excitation(SE) 모듈이 태스크별 어댑터(task-specific adapter)로 백본에 통합되며, 이중 변조(dual-modulation) 예측 헤드는 Feature-wise Linear Modulation(FiLM)과 SENet 메커니즘을 결합하여 동적 특징 재보정(feature recalibration)을 가능하게 한다. SenCos-GEM은 MoleculeNet 벤치마크에서 다양한 분류 및 회귀 태스크 전반에 걸쳐 매우 경쟁력 있는 성능을 보이며, FreeSolv, Lipophilicity, QM9와 같은 3D conformation에 민감한 회귀 태스크에서 특히 새로운 최신(state-of-the-art) 결과를 달성하여, 각각 상대 오류를 12.9%(RMSE), 5.3%(RMSE), 8.2%(MAE) 감소시켰다. 또한 본 모델은 입체 이성질체(stereoisomer)를 구별하고 conformational perturbation을 판별하는 뛰어난 능력을 보여, 강건한 공간 모델링 성능을 입증한다. 종합적으로 SenCos-GEM은 정확한 분자 물성 예측 분야에서 중요한 돌파구를 제시한다.

arXiv:2607.21552v1cs.AI

MIRROR: 다중 모달 추론을 위한 다른 관점으로부터의 학습

MIRROR: Learning from the Other View for Multi-Modal Reasoning

강한 추론 능력을 보이는 대규모 언어 모델(LLM)과 달리, 비전-언어 모델(VLM)은 시각적 추론에 어려움을 겪으며, 이는 동등한 텍스트, 도식, 그리고 도식+텍스트 결합 관점을 허용하는 기하학 문제에서도 마찬가지이다. 우리는 이러한 관점들이 종종 서로 다른 행동을 유발함을 보인다. 모델이 텍스트로는 문제를 풀지만 대응하는 도식에서는 실패하거나, 시각적으로는 성공하지만 텍스트적으로는 실패할 수 있다. 이 불일치는 서로 다른 관점이 표준 다중 모달 사후 학습이 충분히 활용하지 못하는 상호 보완적인 추론 경로와 실패 양상을 드러낸다는 것을 시사한다. 이 현상을 연구하고 활용하기 위해, 우리는 ODA-Data를 구축한다. 이는 동일한 문제에 대해 텍스트 중심, 이미지 중심, 그리고 이미지+텍스트 결합 관점을 갖춘 고품질의 페어링된 다중 모달 기하학 데이터셋으로, 모달리티 의존적 추론 행동의 학습 및 평가를 위한 분할도 함께 제공한다. 그런 다음 우리는 MIRROR(Modality-Informed Reciprocal Reasoning Optimization)를 개발한다. 이는 자기 지도(self supervision)를 통해 다중 모달 추론을 개선하는 강화학습 접근법이다. 각 문제에 대해 MIRROR는 모든 관점에서 모델을 평가하고, 가장 성능이 좋은 관점을 교사(teacher)로 선택하며, 다른 관점들을 교사를 향한 역 KL(reverse-KL) 목적함수로 학습한다. 기하학 문제를 평가하는 추론 벤치마크 전반에 걸쳐, MIRROR는 표준 강화학습(RL)보다 개선되며 모달리티 전반에 걸쳐 더 정확하고 일관된 행동을 낸다.

arXiv:2607.21402v1cs.AI

MSBraM: 계층적 EEG 역학 학습을 위한 다중 스케일 자기지도 뇌 파운데이션 모델

MSBraM: A Multi-scale Self-supervised Brain Foundation Model for Hierarchical EEG Dynamics Learning

자기지도(self-supervised) 파운데이션 모델은 최근 뇌전도(EEG) 기반 분석에서 강한 잠재력을 보여주었다. 그러나 기존 접근법은 국소 신경 패턴과 장거리 의존성이 함께 과제 관련 정보를 인코딩하는 EEG 신호의 고유한 다중 스케일 시간 구조를 포착하는 데 어려움을 겪는다. 이러한 한계는 다양한 다운스트림 과제에 걸친 교차 스케일 표현 학습과 일반화를 저해한다. 이 과제를 해결하기 위해, 계층적 EEG 표현을 학습하도록 설계된 다중 스케일(Multi-Scale) 자기지도 뇌 파운데이션 모델 MSBraM을 제안한다. MSBraM은 2단계 사전학습(pre-training) 프레임워크를 따른다. 먼저, 다중 스케일 신경 토크나이저(neural tokenizer)가 벡터 양자화(vector-quantized) 재구성을 통해 원시 EEG 신호를 서로 다른 시간 해상도에서 의미 코드(semantic codes)로 이산화한다. 둘째, 모델은 커리큘럼 다중 스케일 마스킹(curriculum multi-scale masking) 전략을 사용하여 마스킹된 코드를 예측하도록 사전학습되며, 세밀한 국소 패턴을 전역 시간 컨텍스트와 점진적으로 통합한다. 우리는 2,400시간 이상의 EEG 데이터로 MSBraM을 사전학습하고 12개 공개 데이터셋에서 10개 다운스트림 과제에 걸쳐 평가한다. 광범위한 실험 결과, MSBraM은 다른 최신 사전학습 모델들보다 우수한 성능을 달성하여 강한 일반화와 전이 가능성(transferability)을 보여준다. 이러한 결과는 다중 스케일 시간 역학을 명시적으로 모델링하는 것이 효과적인 EEG 파운데이션 모델에 핵심적임을 시사한다.

arXiv:2607.21384v1cs.AI

일반화 가능한 EEG 표현 학습을 위한 멀티모달 사전학습

Multimodal Pretraining for Generalizable EEG Representation Learning

간질(epilepsy)에 사용되는 뇌전도(EEG) 모델은 특정 데이터셋과 태스크에 한정되는 경우가 많다. 이러한 제한적 접근은 서로 다른 데이터셋이나 다양한 상황에 모델을 적용하기 어렵게 만들 수 있다. 그러나 파운데이션 모델(foundation model)과 자기지도 학습(self-supervised learning)에 관한 최근 연구들은, 적응 가능한 EEG 백본(backbone)이 다양한 EEG 관련 태스크를 지원할 수 있음을 시사한다. 본 연구에서는 Mamba 아키텍처 기반의 원시 신호 인코더, 시-주파수(time-frequency) 데이터용 Vision Transformer(ViT) 스타일 인코더, 텍스트용 경량 인코더를 공유 임베딩 공간 내에서 결합한 멀티모달 EEG 파운데이션 모델을 개발했다. 사전학습 과정은 마스크드 모델링(masked modeling), 교차 뷰(cross-view) 대조 정렬(contrastive alignment), 시간적 일관성 손실(temporal consistency loss) 등 여러 혁신적 기법에 기반한다. 이러한 방법들은 레이블 데이터 없이 풍부하고 발작(seizure) 관련 표현을 생성하도록 설계되었다. 사전학습된 모델의 효과와 일반화 성능을 평가하기 위해 표준 CHB-MIT 발작 검출 벤치마크와 추가 발작 검출 데이터셋에서 파인튜닝(fine-tuning)을 수행하고, 다양한 모델 변형을 비교하는 광범위한 실험을 진행했다. 표준 CHB-MIT 분할(split)에서 최고의 단일 모델은 AUROC 0.874를, 앙상블 변형은 AUROC 0.878을 달성하여 이 벤치마크에서 최첨단(state-of-the-art) 성능을 나타냈다. 표준 train-test 분할 외에도, 기존 EEG 발작 모델링 연구에서 드물게 보고되는 leave-one-subject-out(LOSO) 프로토콜 하에서 성능을 평가했으며, 이는 환자 독립적(patient-independent) 발작 검출의 어려움을 부각한다. 19명의 피험자에 걸친 평균 LOSO 균형 정확도(balanced accuracy)는 0.558이었다. 데이터셋과 평가 설정 전반에 걸쳐, 우리의 멀티모달 파운데이션 모델은 견고한 발작 검출과 새로운 발작 검출 시나리오로의 간편한 적응을 가능하게 했으며, 해석 가능한 발작 국소화(seizure localization)도 지원했다.

arXiv:2607.20477v1cs.AI

반지도 텍스트 속성 그래프 증류

Semi-Supervised Text-Attributed Graph Distillation

텍스트 속성 그래프(Text-Attributed Graphs, TAGs)는 그래프 토폴로지와 풍부한 텍스트 의미론을 통합하는 표현력 있는 데이터 모델로 부상했다. 기존 TAG 표현 학습 방법은, 특히 대규모 언어 모델(LLM)과 함께 사용할 때 심각한 확장성 병목을 겪는다. 데이터 증류가 유망한 데이터 중심 해결책을 제공하지만, 기존 방법은 그래프와 텍스트 모달리티 간의 복잡한 상호작용을 포착하지 못하고, 반지도 설정에 내재된 레이블 부족 문제에 어려움을 겪으며, LLM 기반 후속 작업에 필요한 사람이 읽을 수 있는 텍스트 속성을 생성할 능력이 부족하다. 이러한 과제를 해결하기 위해, 우리는 Wasserstein Distance(WSD)에 의해 안내되는 통합 반지도 프레임워크 \algo{}를 제안한다. 실제 TAG에 대한 우리의 경험적 발견에 기반하여, \algo{}는 협력적 자기학습(collaborative self-training) 방식 내에서 이중 경로 인코더(그래프 인식 및 그래프 비인식)를 활용하는 그래프-텍스트 협력 인코딩 모듈을 도입하여, 신뢰할 수 있는 의사 레이블(pseudo-label)을 수확하고 상보적인 그래프-텍스트 특징을 융합한다. 또한, 우리는 이론적으로 정당화된 WSD 기반 그래프 스케치(sketching) 알고리즘과 비용 효율적인 LLM 텍스트 합성 모듈을 개발하며, 이는 클러스터 기반 키워드 추출을 활용하여 응축된 노드에 대해 일관되고 사람이 읽을 수 있는 요약을 생성한다. 벤치마크 데이터셋에 대한 광범위한 실험은 \algo{}가 GNN 및 LLM 기반 후속 작업 모두에서 최첨단(state-of-the-art) 성능-압축 트레이드오프를 달성하여, 효과적이고 효율적인 TAG 학습 또는 분석을 가능하게 함을 보여준다.

arXiv:2607.21576v1cs.CV

비디오로부터 구조화된 동역학의 자기지도 학습

Self-Supervised Learning of Structured Dynamics from Videos

비디오에서 움직임을 이해하는 것은 시각 학습의 근본적인 과제이며, 프레임 간 변화는 카메라 움직임과 객체 움직임이라는 두 가지 동역학 원천을 얽히게 한다. 이러한 분해는 자연 비디오에서 이러한 요인들이 밀접하게 결합되어 있고 각각을 따로 지도하기 어렵기 때문에, 표현 학습에서 충분히 탐구되지 않은 채 남아 왔다. 그럼에도 이를 복원하는 것은 의미 있는 객체 동역학을 카메라에 의한 변화와 분리하는 강건한 움직임 표현을 학습하는 데 중요하다. 우리는 사전학습된 이미지 비전 트랜스포머의 고정된 특징으로부터 이러한 구조화된 움직임 표현을 복원할 수 있는지 연구한다. 우리는 Structured Dynamics Model(SDM)을 제안하며, 이는 비디오 변화를 단일로 얽힌 잠재 변수나 비구조화된 공간적으로 밀집된 전이 토큰으로 표현하는 대신, 미래 특징 예측을 통해 시간적 변화의 지배적 원천을 잔여 동역학과 명시적으로 분리한다. 학습은 실제 비디오에 대한 자기지도 학습과 합성 Kubric 데이터에서의 장면 동역학에 대한 약지도를 결합한다. 우리는 카메라 움직임, 객체 움직임, 복합 동역학을 포함하는 합성 및 실제 비디오를 아우르는 새로운 평가 스위트인 ProbeMotion에서 SDM을 평가한다. SDM은 전역 CLS 또는 평균 풀링된 특징을 사용하는 백본 기준선들을 능가하며, 훨씬 더 약한 지도를 사용함에도 여러 프로브에서 VGGT와 같은 강한 지도 표현과 유리하게 비교된다. 이러한 결과는 사전학습된 이미지 모델이 구조화된 비디오 동역학 표현으로 손쉽게 재활용될 수 있음을 시사하며, 잠재 비디오 동역학을 학습하고 분석하는 데 유용한 귀납적 바이어스를 제공한다.

arXiv:2607.21526v1cs.CV

자율주행을 위한 전천후 자기지도 깊이 추정의 견고성 향상

Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving

다양한 악천후 조건에서 센서 지각 성능 저하로 인해, 안전한 자율주행을 위한 자기지도 깊이 추정은 어려운 과제이다. 이러한 어려움은 두 가지 주요 측면에서 기인한다. 첫째, 악천후 조건은 픽셀 대응을 왜곡하고 자기지도 손실 함수에 내재된 가정을 위반하여 잘못된 깊이 예측을 초래할 수 있다. 둘째, 레이더는 악천후 조건에서 널리 채택되는 센서이지만, 시점(Point of View, POV)에서 레이더 포인트의 희소한 분포는 자기지도 융합에 어려움을 야기한다. 이러한 문제를 해결하기 위해, 우리는 다중 교사 증류와 견고한 레이더 융합을 통해 페어링되지 않은 실제 전천후 데이터를 활용하는 새로운 자기학습(self-training) 파이프라인을 제안한다. 우리는 서로 다른 악천후 조건 입력으로 다양한 교사 모델을 생성하는 불확실성 인식 다중 교사 증류(Uncertainty-Aware Multi-Teacher Distillation) 방법을 제안하고, 불확실성 모델링을 통해 지식 증류 손실의 가중치를 부여한다. 또한, 카메라 픽셀 광선 제약을 활용하여 카메라의 시점(POV)과 레이더의 조감도(Bird's-Eye View, BEV) 간의 연결을 수립하는 POV-BEV 레이더 융합 접근법을 설계한다. 이 접근법은 더 조밀한 레이더 포인트의 활용을 가능하게 하며, POV와 BEV의 상보적인 관점을 효과적으로 포착한다. 광범위한 정량적 및 정성적 실험은 전천후 데이터셋에서 제안 방법의 견고성을 보여주며, 최신(state-of-the-art) 성능을 달성한다. 코드와 모델은 https://github.com/MICLAB-BUPT/RobustDepth 에서 제공된다.

arXiv:2607.21371v1cs.CV

DINOde: 오픈 어휘 의미 분할을 위한 연속적 비전-텍스트 정렬

DINOde: Continuous Vision-Text Alignment for Open-Vocabulary Semantic Segmentation

오픈 어휘 의미 분할(OVSS)은 텍스트 의미를 활용하여 사전 정의된 범주를 넘어 객체를 분할한다. 자기 지도(self-supervised) 모델 DINOv3는 강력한 구조화된 시각 표현을 제공하지만, 고유한 텍스트 정렬이 없어 OVSS에 직접 적용하기 어렵다. 이 간극을 메우기 위해 CLIP 텍스트 임베딩(embedding)을 DINO 시각 매니폴드(manifold)와 연속적으로 정렬하는 ODE 기반 프레임워크인 DINOde를 제안한다. 우리 접근법은 두 가지 상보적 구성 요소를 사용한다: (i) 연속 ODE 궤적을 통해 텍스트 임베딩을 DINO 매니폴드 쪽으로 진화시키는 Semantic Text Flow(STF), (ii) DINO의 CLS 토큰이 담고 있는 전역적 이미지 표현을 점진적으로 정제하는 Global Context Flow(GCF). 이 진화 과정에서 특징(feature) 공간의 초구면(hyperspherical) 기하를 보존하기 위해, 학습된 속도장(velocity field)을 접공간(tangent space)에 제약하는 Velocity Tangent Projection을 추가로 도입한다. 정렬을 연속 궤적으로 모델링함으로써 DINOde는 이산 MLP 투영에 내재된 매니폴드 얽힘(manifold entanglement)을 피하고, 더 견고한 교차 모달 정렬을 달성한다. 광범위한 실험 결과, DINOde는 기존 방법들을 일관되게 능가하며 여러 OVSS 벤치마크(benchmark)에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/yoon307/DINOde 에서 제공된다.

arXiv:2607.21347v1cs.CV

품질 인식 다중모달 융합이 정서-각성 특징 속 암묵적 신원을 드러냄

Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features

기존 얼굴 인식은 정적 외모 단서에 의존하며, 표정 변화, 가림, 조명 불량이 있는 비제약 환경에서 성능이 저하된다. 우리는 시청각 표정 역학이 정적 외모를 보완하는 신원 구별 정보를 담고 있으며, 이러한 신호를 추출하려면 in-the-wild 영상의 가변적 입력 품질에 강건한 다중모달 표현이 필요하다고 가설을 세운다. 이러한 표현을 학습하기 위해 다중모달 정서-각성(valence-arousal, VA) 추정을 사전과제(pretext task)로 설정하고, 샘플별·모달리티별 신뢰도를 추정하며 학습된 소프트 게이팅(soft gating)과 품질 의존적 드롭아웃을 통해 각 모달리티의 기여도를 조절하는 Quality-Aware Adaptive Fusion(QAAF)을 제안한다. VA 추정 문제에서 QAAF는 Aff-wild2에서 late fusion 앙상블을 통해 평균 Concordance Correlation Coefficient(CCC) 0.472를 달성하며, 동일 설정의 기준선 앙상블(0.415) 및 단일 백본 기준선(0.288) 대비 향상을 보인다. 또한 제안한 QAAF는 사용 불가능한 모달리티에 대해 더 큰 견고성을 보이며, 한 모달리티가 누락될 때 CCC가 상대적으로 7.5–34.4%만 감소한다. 이어서 우리는 이러한 VA 학습 특징이 신원 특화 학습 없이도 신원을 인코딩하는지 조사한다. AFEW-VA(67명 배우)와 YTF(1,595명 피험자)에서 VA 학습 백본 특징은 평가된 소프트 생체인식(soft biometric) 방법 중 1위를 기록했으며, ArcFace와의 score-level 융합은 두 데이터셋 모두에서 EER을 낮춘다(AFEW-VA에서 0.022→0.021, YTF에서 0.106→0.104). AFEW-VA에서는 ArcFace의 오수용(false accept) 중 68.2%를 수정한다. 이러한 결과는 다중모달 VA 추정이 기존 얼굴 인식을 보완하는 소프트 생체인식 모달리티임을 입증한다.

arXiv:2607.20642v1cs.CV

Masked Topology Modeling for Self-Supervised Learning on Parametric CAD

Computer aided design (CAD) is ubiquitous: virtually any modern object was designed using editable CAD tools. However, with the shortage of available CAD datasets in its native editable and parametric format, boundary representation (B-Rep), it is ever more important to develop data-efficient methods for this domain. We present a new self-supervised pretraining task, Masked Topology Modeling (MTM), that leverages the face-adjacency graph, an induced structure unique to B-reps that the encoder can be asked to reconstruct. MTM masks a fraction of edges and trains a small head to predict each masked edge's convexity and curve type from the encoder's post-message-passing face features. We combine MTM with a MoCo-style momentum-queue contrastive learning over B-rep-aware augmentations, a BFS-connected face-region masked-reconstruction objective, and pretraining on the ABC dataset and our new procedurally generated dataset to show strong performance on a number of benchmarks.

arXiv:2607.13738v3cs.CV

해부학적으로는 충실하지만 시간적으로는 분산됨: 심초음파 기반 좌심실 박출률 추정을 위한 귀속(attribution) 검증

Anatomically Faithful but Temporally Diffuse: Auditing Attribution for Left-Ventricular Ejection-Fraction Estimation from Echocardiography

심층 비디오 모델은 심초음파(echocardiography)로부터 좌심실 박출률(EF)을 거의 전문가 수준의 정확도로 추정하며, 사후 귀속(attribution)은 이러한 모델이 올바른 위치를 보고 있는지를 검증하는 데 점점 더 많이 사용된다. EF는 수축기말(end-systolic, ES) 및 이완기말(end-diastolic, ED) 프레임으로 정의되므로, 충실한 설명은 공간적으로 좌심실뿐 아니라 시간적으로도 결정적인 프레임을 국소화해야 한다. EchoNet-Dynamic에서 파인튜닝(fine-tuning)된 두 가지 구조적으로 상이한 회귀 모델에 대해 공간적 그라운딩(spatial grounding), 교란(perturbation), 시간적 의존(temporal reliance)의 세 축을 따라 귀속의 충실성을 검증한다: Chefer relevance propagation으로 검증한 자기지도 VideoMAE 트랜스포머, 및 Grad-CAM으로 검증한 Kinetics 사전학습(pre-training) R(2+1)D 컨볼루션 네트워크. 모든 통계는 전체 1,276건 연구 테스트 분할에 대해 부트스트랩 95% 신뢰구간으로 보고되며, 명시적 우연(chance) 기준선 및 어텐션 롤아웃과 무작위 귀속 대조군과 비교된다. 시간적 무효(null)가 아니라 뚜렷한 비대칭을 발견한다. 두 모델 모두 해부학적으로는 강하게 충실하지만(우연 대비 3.04배 및 3.76배) 시간적으로는 약하게만 국소화된다: 튜블릿 가림(tubelet occlusion)은 VideoMAE에서 ES/ED에 대한 인과적 의존을 우연 대비 1.05배(95% CI [1.037, 1.068]), R(2+1)D에서는 1.15배([1.134, 1.166])로 나타낸다 — 공간에서보다 3배 약한 집중도 — 그리고 귀속은 이러한 약점을 충실히 반영한다. 수렴과 아키텍처를 분리하면 시간적 의존은 아키텍처에 의해 결정되고 수렴 불변(convergence-invariant)임을 보여준다: R(2+1)D는 단일 학습 에포크 후 1.14배, 수렴 시 1.15배에 도달하는 반면, 두 VideoMAE 변형 모두 사전학습이나 정확도와 관계없이 1.05배를 유지한다. 따라서 공간적 충실성은 시간적 충실성을 함의하지 않으며, 이러한 부족은 추가 학습으로도 보완되지 않는다.