arXiv:2611.24206v1 cs.AI

GALA: EEG로부터의 실생활 시각 디코딩을 위한 갤러리 수준 정렬

GALA: Gallery-Level Alignment for Real-Life Vision Decoding from EEG

Philippe Forest, Giulia Lioi, Mai Pham Quyen, Alix Lamouroux, Javen Shi, Adrien Merlini

제출 2026-11-19

한국어 초록

뇌전도(EEG)로부터 시각 경험을 신경 디코딩하는 연구는 개인 내 설정에서 강력한 성능을 달성했지만, 현재의 방법은 개인 간에 일반화되지 못한다. 표준 200-way 벤치마크인 THINGS-EEG-2에서 top-1 정확도는 피험자 내에서 80% 이상이지만 보지 못한 피험자에서는 약 32%로 떨어진다. 사전학습된 인코더를 새로운 피험자와 세션에 적응시키려면 보통 레이블된 데이터가 필요하며, 그 수집 시간은 실용적인 기기 배포를 심각하게 제한하는 병목이다. 그러나 실제 뇌-컴퓨터 인터페이스(BCI)에서는 가능한 결과가 미리 알려져 있어 후보 갤러리를 이루며, 사용자의 레이블 없는 EEG는 기기를 사용하는 즉시 축적된다. 본 논문은 지금까지 수신된 모든 레이블 없는 EEG와 알려진 갤러리를 이용해 레이블 없이 디코더를 주기적으로 보정하는 새로운 설정인 점진적 트랜스덕티브 보정을 제안한다. 이 설정은 현재 사용되는 제로샷 및 배치 평가보다 배포된 BCI의 조건에 더 가깝다. 쿼리가 알려지지 않았고 동일하지 않을 수 있는 빈도로 하나씩 도착하며, 각 쿼리가 보정에 사용되기 전에 디코딩되는 프로토콜로 이를 평가한다. 이 설정에서 우리는 수축 화이트닝, 허브니스 보정, 그리고 버퍼에서 추정한 쿼리 빈도를 사용하는 Sinkhorn–Procrustes 정렬을 통해 레이블 없는 EEG 임베딩을 갤러리에 정합하고 매 쿼리 후 갱신하는 레이블 불필요 보정 방법 GALA(GAllery-Level Alignment)를 제안한다. THINGS-EEG-2에서 200개 이미지 갤러리를 사용할 때, 새로운 피험자에 대한 top-1 정확도를 53분의 사용 동안 28%에서 67%로 높인다. 갤러리 크기, 쿼리 빈도, 쿼리당 평균 반복 횟수를 달리한 60가지 평가 설정 전반에서 GALA는 모든 설정에서 가장 정확한 레이블 불필요 방법이며, 스트림 종료 시점에 최고 경쟁 방법보다 평균 6.6%p 높다.

원문 초록

Neural decoding of visual experience from electroencephalography (EEG) has achieved strong performance in intra-subject settings, but current methods fail to generalize across individuals: on the standard 200-way benchmark THINGS-EEG-2, top-1 accuracy drops from above 80% within subjects to about 32% for an unseen subject. Adapting a pre-trained encoder to new subjects and sessions typically requires labeled data, a bottleneck whose collection time severely limits practical device deployment. In a practical Brain-Computer Interface (BCI), however, the possible outcomes are known in advance and form a gallery of candidates, and the unlabeled EEG of the user accumulates as soon as the device is used. We propose a new setting, incremental transductive calibration, in which the decoder is calibrated regularly on all the unlabeled EEG received so far and on the known gallery, without any labels. This setting is closer to the conditions of a deployed BCI than the zero-shot and batch evaluations in current use. We evaluate it with a protocol in which queries arrive one at a time, with unknown and possibly unequal frequencies, and each query is decoded before it is used for calibration. In this setting, we introduce GALA : GAllery-Level Alignment, a label-free calibration method which registers the unlabeled EEG embeddings onto the gallery through shrinkage whitening, hubness correction and a Sinkhorn--Procrustes alignment with query frequencies estimated from the buffer, updated after every query. On THINGS-EEG-2, with a gallery of 200 images, it raises the top-1 accuracy on a new subject from 28% to 67% over 53 minutes of use. Across 60 evaluation settings that vary the gallery size, the query frequencies and the number of repetitions averaged per query, GALA is the most accurate label-free method in every setting, 6.6 points above the best competing method on average at the end of the stream.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24206v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.