PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10952v1cs.LG

SPD-MetaFormer: 소규모 데이터 뇌 신호 디코딩을 위한 효과적인 아키텍처

SPD-MetaFormer is what you need for small-data brain decoding

뇌 신호 디코딩은 신경 기록에 잡음이 많고 개인 간 편차가 큰 반면 레이블이 지정된 데이터는 종종 제한적이기 때문에 어려운 과제입니다. 그럼에도 불구하고 대칭 양의 정부호(SPD) 다양체 기반의 최신 어텐션 모델들은 공분산 및 연결성 표현을 활용하여 우수한 성능을 달성했지만, 학습된 토큰 가중치 부여의 기여도는 여전히 불분명합니다. 본 연구에서는 로그-유클리드 기하학에 기반한 MAtt와 일반화된 뷔르-와서슈타인 기하학에 기반한 GBWAtt라는 두 가지 대표적인 아키텍처를 조사하였으며, 학습 후 이들의 학습된 어텐션 가중치가 균일한 상태에 가깝게 유지된다는 점을 발견했습니다. 이러한 현상은 원래의 소프트맥스 스케일링 하에서 어텐션 가중치의 대비를 제한하는 유계 유사도 파라미터화와 관련이 있습니다. 나아가, 학습 및 평가 전반에 걸쳐 학습된 가중치를 균일 가중치로 대체하더라도 각 모델 고유의 집계 기하학적 구조를 보존하는 한 평균 예측 성능에는 거의 영향을 미치지 않았습니다. 이러한 발견에 착안하여, 로그-유클리드 기하학 하에서 균일 가중치 프레셰 집계를 기반으로 구축된 어텐션-프리 아키텍처인 SPD-MetaFormer를 제안합니다. 이 모델의 백본은 측지선 잔차를 사용하여 요약 토큰을 업데이트하고 공유 스펙트럼 피드포워드 맵을 통해 모든 토큰을 변환한 후, 학습된 가중치 리드아웃을 거칩니다. 토큰 상태는 접공간 분류 이전까지 SPD 값을 유지합니다. 세 가지 EEG 벤치마크에 걸쳐, SPD-MetaFormer는 기존에 발표된 유클리드 및 다양체 베이스라인 대비 경쟁력 있는 결과를 달성합니다. 별도의 정합 재현 실험을 통해 MAtt 및 GBWAtt 내에서 학습된 가중치와 균일 가중치를 비교 검증합니다. 이러한 결과는 연구된 짧은 시퀀스 및 제한된 데이터 환경에서, 신중하게 설계된 SPD 아키텍처가 적응형 다양체 어텐션에 대한 더 단순하면서도 효과적인 대안을 제공할 수 있음을 시사합니다.