PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.31698v2cs.CV

RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터

RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG

기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.

arXiv:2609.24136v1cs.CV

시각적 타깃의 중요성: Brain-to-Image Retrieval을 위한 시각 계층 전반 학습

The Visual Target Matters: Learning across the Visual Hierarchy for Brain-to-Image Retrieval

뇌-이미지 검색(brain-to-image retrieval)은 비침습적 신경 반응을 유발한 시각 자극을 식별하는 것을 목표로 한다. 후보 이미지는 일반적으로 사전학습된 비전 모델로 표현되며, 그 내부 표현은 깊이에 따라 추상화 수준이 달라진다. 기존 방법은 보통 신경 인코더가 고정된 최종 층 시각적 타깃을 복원하도록 학습한다. 이 공식화에서는 시각 계층이 하나로 정해진 종점으로 축소되어, 다른 깊이의 표현이 시각적 타깃을 직접 형성하는 데 기여하지 못한다. 이 한계는 여러 시각적 깊이의 정보가 검색 타깃에 어떻게 기여해야 하는지를 학습해야 한다는 동기가 된다. 이를 위해 우리는 NeuroGlyph를 제안한다. NeuroGlyph는 동결된 시각 백본의 여러 깊이로부터 시행(trial)에 독립적인 시각적 타깃을 학습한다. NeuroGlyph는 타깃을 요인별 부분공간으로 분해한다. 각 부분공간은 시각적 깊이에 대한 이미지 조건부 할당을 학습한다. 그렇게 얻은 부분공간들은 검색을 위해 하나의 임베딩으로 융합된다. THINGS-EEG와 THINGS-MEG 전반에서 NeuroGlyph는 모든 통제 비교에서 최종 층 지도(final-layer supervision)를 능가한다. 또한 사후(post hoc) 최적 고정 층 오라클을 네 번의 비교 중 세 번에서 능가한다. 매개변수를 맞춘 ablation은 요인 분해 타깃 구성과 이미지 조건부 깊이 할당을 모두 뒷받침한다. 동등한 200-way 검색 프로토콜에서 NeuroGlyph는 보고된 8개 지표 중 6개에서 최고의 시스템 수준 성능을 달성한다. 이 결과는 하나의 시각적 깊이를 고정하는 대신 시각 계층 전반에 걸친 검색 타깃 학습을 뒷받침한다.

arXiv:2609.24095v1cs.CV

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

arXiv:2606.21754v1cs.IT

임베딩된 다각형 기호적 전달 엔트로피(EPSTE): 신경영상 시계열에서 전달 엔트로피를 추정하기 위한 기하학적 토큰 및 심층 학습 접근법

Embedded Polygon Symbolic Transfer Entropy (EPSTE): A Geometric Token and Deep Learning Approach to Estimating Transfer Entropy in Neuroimaging Time Series

EEG 및 MEG로부터 신경계 간의 방향성 상호작용을 추론하는 것은 노이즈, 비정상성, 그리고 정보 이론적 추정기의 높은 표본 복잡도(sample complexity)로 인해 여전히 어려운 과제입니다. 전달 엔트로피(Transfer Entropy, TE)는 방향성 정보 흐름에 대한 원칙적이며 모델 없는(model-free) 척도를 제공하지만, 유한 데이터 영역에서는 특히 임베딩 차원이 증가할수록 실용적인 추정이 안정적이지 않습니다. 본 연구는 임베딩된 다각형 기호적 전달 엔트로피(Embedded Polygon Symbolic Transfer Entropy, EPSTE)를 제안하며, 이는 TE 추정을 원시 신호 진폭이 아닌 국소 시간 형태학(local temporal morphology)의 구조화된 기호 표현 위에서 동작하는 학습 가능한 문제로 재구성하는 프레임워크입니다. 신경 시계열은 진폭, 곡률, 방향 변화와 같은 파형 구조의 상보적 측면을 인코딩하는 국소 삼중 샘플로부터 유도된 기하학적 원시 요소(primitive)들의 시퀀스로 분해됩니다. 이러한 원시 요소들은 기호 토큰으로 이산화되어, 기호적 TE가 추정되는 간결하면서도 표현력 있는 상태 공간을 형성합니다. 어텐션 기반 다중 인스턴스 학습(attention-based multiple-instance learning)을 갖춘 순환 신경망이 기호적 시간 윈도우의 bag으로부터 대리(surrogate) 검증된 TE 값을 예측하도록 학습됩니다. 이 방법은 AAL90 atlas를 사용해 분할(parcellated)된 소스 재구성 MEG 데이터에서 평가되었으며, 동일한 아키텍처와 지도(supervision)를 사용하는 표준 기호적 기준선과 비교되었습니다. 결과는 국소 윈도우 수준 예측은 노이즈가 많지만, 시행(trial)과 채널 쌍에 걸친 집계를 통해 안정적인 방향성 의존성을 산출함을 보여줍니다. 쌍(pair) 수준에서 EPSTE는 실제(ground-truth) 방향성 구조를 거의 완벽하게 복원하고 기준선보다 절대 오차가 유의미하게 낮아, 표현 기하학(representational geometry)이 정보 이론적 의존성의 실용적 학습 가능성을 가능하게 하는 데 핵심적인 역할을 함을 나타냅니다.