arXiv:2611.20779v1 cs.AI

EEGProbe: 비전-언어 모델은 뇌파를 실제로 이해하는가? 신호에 근거한 뇌파 이해 평가 벤치마크

EEGProbe: Do Vision-Language Models Really Understand EEG? A Benchmark for Signal-Grounded EEG Signals Evaluation

Haozhe Zhu, Dan Yuan, Chenghao Gu, Feike Xu, Yue Wen, Shin'ichi Konomi

제출 2026-11-17

한국어 초록

비전-언어 모델(VLM)은 과학 및 생의학 분야에서 뛰어난 멀티모달 능력을 보였지만, 뇌파(EEG) 신호를 이해할 수 있는지는 분명하지 않다. 본 연구는 범용 VLM이 과제별 특징 설계나 뇌파 전용 적응을 거치지 않고 최소한으로 처리한 채널별 뇌파에서 정보를 추출하고 추론할 수 있는지 평가하는 벤치마크 EEGProbe를 소개한다. 뇌파 신호 분류, 뇌파의 교차 모달리티 정렬, 뇌파의 신경생리학적 추론이라는 세 역량과 13개 하위 과제에 걸쳐 뇌파 관련 질문 620개를 포함한다. 지름길만으로 답하는 경우를 줄이기 위해 가능한 한 기록의 시간 구조를 보존하고, 벤치마크 구축에 따른 신호 처리를 최소화한다. 신호가 없으면 답할 수 있는지 검사한 뒤 전문가가 검증한다. 대표적인 공개 및 비공개 VLM 11개를 동일한 제로샷 절차로 평가했다. 최고 성능 모델인 GPT-5.6 Sol의 종합 점수는 41.63%에 그쳤으며, 뇌파의 교차 모달리티 정렬이 주요 병목이었다. 신경생리학 관점에서 모델 동작을 검토하고 뇌파의 시간적, 분광적, 공간적, 생리학적 구조가 모델의 성공과 실패에 어떻게 관련되는지 분석했다. 추론 시 신경생리학 지침을 주면 모델이 입력에서 패턴을 알아보고 관련 신경학 지식과 연결할 수 있어 예측이 달라진다. 이를 통해 일반 멀티모달 역량과 뇌파 이해 능력 사이의 격차를 줄일 수 있다. EEGProbe는 현재 VLM의 시험 환경이자 뇌파 근거를 더 신뢰성 있게 해석하는 후속 멀티모달 모델을 개발하는 토대다. 벤치마크는 https://huggingface.co/datasets/2122ZHU/EEGProbe 에 공개할 예정이다.

원문 초록

Vision-language models (VLMs) have shown strong multimodal capabilities across scientific and biomedical domains, yet their ability to understand electroencephalography (EEG) signals remains unclear. We introduce EEGProbe, a signal-grounded benchmark for evaluating whether general-purpose VLMs can extract and reason from minimally processed, channel-wise EEG without task-specific feature engineering or EEG-specific adaptation. EEGProbe contains 620 EEG-centered questions across 13 subtasks and three capability categories: EEG Signal Classification, EEG Cross-modal Alignment, and EEG Neurophysiological Reasoning. To reduce shortcut-based answering, EEGProbe preserves the temporal structure of the recordings where possible, minimizes benchmark-induced processing, and applies signal-necessity testing followed by expert verification. We evaluate 11 representative open- and closed-source VLMs under a unified zero-shot protocol. The strongest model, GPT-5.6 Sol, achieves an overall score of only 41.63\%, with cross-modal EEG alignment emerging as a major bottleneck. We further examine model behavior from a neurophysiological perspective and analyze how temporal, spectral, spatial, and physiological EEG structure relates to model successes and failures. Inference-time neurophysiological guidance can reshape model predictions by helping models recognize the neurophysiological patterns present in the input and connect them with relevant neurological knowledge, narrowing the gap between general multimodal competence and EEG understanding. EEGProbe provides a testbed for current VLMs and a basis for developing future multimodal models that can interpret EEG evidence more reliably. The EEGProbe benchmark will be publicly available at https://huggingface.co/datasets/2122ZHU/EEGProbe.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20779v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.