arXiv:1504.02356

Exploring EEG for Object Detection and Retrieval

Eva Mohedano, Amaia Salvador, Sergi Porta, Xavier Giró-i-Nieto, Graham Healy, Kevin McGuinness, Noel O'Connor, Alan F. Smeaton

제출 2015-04-09

원문 초록

This paper explores the potential for using Brain Computer Interfaces (BCI) as a relevance feedback mechanism in content-based image retrieval. We investigate if it is possible to capture useful EEG signals to detect if relevant objects are present in a dataset of realistic and complex images. We perform several experiments using a rapid serial visual presentation (RSVP) of images at different rates (5Hz and 10Hz) on 8 users with different degrees of familiarization with BCI and the dataset. We then use the feedback from the BCI and mouse-based interfaces to retrieve localized objects in a subset of TRECVid images. We show that it is indeed possible to detect such objects in complex images and, also, that users with previous knowledge on the dataset or experience with the RSVP outperform others. When the users have limited time to annotate the images (100 seconds in our experiments) both interfaces are comparable in performance. Comparing our best users in a retrieval task, we found that EEG-based relevance feedback outperforms mouse-based feedback. The realistic and complex image dataset differentiates our work from previous studies on EEG for image retrieval.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.31698v2cs.CV공통 태그 Image Retrieval, EEG, Electroencephalogram (EEG)

RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터

RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG

기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.

arXiv:2610.13918v1cs.NE공통 태그 EEG, Electroencephalogram (EEG)

DyssomniaNN: 인간 수면 장애 및 인지된 피로 회복도에 대한 다중 스케일 스파이킹 신경 모델링

DyssomniaNN: Multi-Scale Spiking Neural Modeling of Human Sleep Disorders and Perceived Restedness

임상 수면 의학에서는 객관적인 수면 시간과 주관적인 주간 기능 장애 사이의 심각한 불일치가 반복적으로 보고되며, 이는 역설적 불면증의 수면 상태 오인과 제1형 기면증의 경계 불안정성에서 두드러지게 나타납니다. 본 논문에서는 수면 항상성과 일주기성 추동(circadian drive)에 대한 Borbély의 2과정 조절 모델, Saper의 시상하부 상호 플립플롭 회로, 그리고 순환 피질시상 누적-발화(LIF, leaky integrate-and-fire) 스파이킹 신경망(neural network)을 결합한 다중 스케일 생물물리학적 계산 프레임워크인 DyssomniaNN을 제시합니다. 연구진은 동일한 72시간 광주기 하에서 건강한 대조군, 일주기 리듬 수면-각성 장애(지연 위상형), 만성 불면증, 역설적 불면증, 제1형 기면증 등 5개 임상 코호트를 공식화합니다. 합성 국소 장전위(local field potential)는 모든 표준 주파수 대역에서 PhysioNet Sleep-EDF 데이터베이스의 실제 인간 뇌파(EEG) 스펙트럼과 밀접하게 일치합니다(스펙트럼 평균 절대 오차 0.33--0.35). 나아가 회복 효능을 정량화하기 위해 휴식 지수(Well-Rested Index)를 도입합니다. 시뮬레이션 결과 수면 시간은 피로 회복을 예측하지 못하는 것으로 나타났습니다. 역설적 불면증은 정상적인 총 수면 시간(21.15시간)을 보이지만 억제되지 않은 피질 베타 대역의 침투로 인해 낮은 회복률(37.6%)을 보였으며, 반면 기면증의 히포크레틴 결핍은 심각한 야간 분절(수면 개시 후 각성 시간 781분)과 35회의 입면 시 렘수면(SOREMP)을 초래합니다. DyssomniaNN은 기전적 수면 연구 및 가상 신경약리학을 위한 인 실리코(in silico) 플랫폼을 제공합니다.

arXiv:2609.22282v1cs.CV공통 태그 Image Retrieval, EEG

뇌-이미지 생성: 생성적 적대 신경망을 이용한 뇌파 기반 시각 자극 재구성

Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks

뇌파(EEG)로부터 시각 자극을 재구성하는 것은 두피 측정이 높은 시간 해상도를 갖지만 공간 해상도가 제한적이고, 짝지어진 EEG-이미지 데이터셋이 현대 생성 모델(generative model) 학습 코퍼스에 비해 여전히 작기 때문에 어렵습니다. 본 논문에서는 EEG가 시각 임베딩 공간에서 피험자가 본 자극을 검색할 수 있는지에 대한 보다 타당한 질문을 먼저 검증하는 THINGS-EEG2 기반의 재현 가능한 단일 피험자 기준선(baseline)을 제시합니다. 소형 시공간 합성곱 인코더(temporal-spatial convolutional encoder)는 반복 평균된 EEG(63 x 250)를 사전에 제공된 512차원 ViT-B/32 이미지 특징에 매핑합니다. 모델 선택에는 개념이 분리된 검증 분할을 사용하며, 최종 평가에는 공식 200개 이미지, 200개 개념의 테스트 갤러리를 사용합니다. 세 가지 학습 시드에 걸쳐, 제안 모델은 1, 5, 10에서의 이미지 재현율(recall) 각각 12.83 ± 0.58%, 39.17 ± 1.76%, 58.00 ± 1.73%(평균 ± 표본 표준편차)를 달성하여 0.5%, 2.5%, 5.0%인 이론적 무작위 확률 수준(chance level)과 비교되는 성능을 보였습니다. 세션 균형 제거 연구(ablation study)는 더 많은 테스트 반복을 평균화할수록 전반적으로 순위 매김이 향상됨을 보여줍니다. 적응 과정 없이 피험자 01의 모델을 다른 9명의 피험자에게 적용하면 성능이 급격히 저하되어 피험자 특이성이 드러납니다. 나아가 외부 시각 가중치 없이 학습된 직접 조건부 생성기(direct conditional generator)에 대한 탐색적 스트레스 테스트를 보고합니다. 단일 피험자 및 10명 피험자 변형 모델은 노이즈가 지배적인 출력을 생성하며, 초기 검증 성능 개선은 1~4 에포크 후에 반전되었습니다. 마지막으로 사전학습된 확산 사전확률(diffusion prior)을 사용하는 시맨틱 렌더링과 직접 재구성을 구별합니다. 결과는 폐쇄 집합(closed-set) 및 반복 평균화 프로토콜 하에서 무작위 수준을 넘어서는 대략적인 시맨틱 디코딩은 지지하지만, 자극 픽셀의 충실한 복원은 지지하지 않습니다.

arXiv:2609.24109v1cs.CV공통 태그 Image Retrieval, EEG

제로샷 뇌-이미지 검색을 위한 적응형 피질 제약 EEG-비전 정렬

Adaptive Cortically Constrained EEG-Vision Alignment for Zero-Shot Brain-to-Image Retrieval

제로샷 뇌-이미지 검색(zero-shot brain-to-image retrieval)은 노이즈가 있는 EEG 반응과 시각 표현(visual representation) 간의 강건한 정렬(alignment)을 필요로 한다. 기존 EEG-비전 정렬 방법들은 대개 센서 공간(sensor space)에서 동작하며 모든 반응에 고정된 시각적 지도(fixed visual supervision)를 적용함으로써, 두피 EEG의 공간적 혼합(spatial mixing)과 정렬 신뢰도의 반응별 변동성(response-wise variability)을 모두 간과한다. 본 논문은 제로샷 뇌-이미지 검색을 위한 적응형 피질 제약 EEG-비전 정렬 방법을 제안한다. 이 방법은 EEG 반응을 사전 정의된 ROI 수준의 소스 패턴 표현(source-pattern representation)으로 재구성하고, 이를 Neuro-ROI Attention Encoder로 인코딩한다. 반응별 변동성을 다루기 위해, 모델 기반 정렬 증거(model-based alignment evidence)를 사용하여 세부 수준이 제어된 시각적 타깃(detail-controlled visual target)에 가중치를 부여하는 증거 기반 적응형 시각적 지도 전략을 도입한다. THINGS-EEG 데이터셋에서, 제안된 방법은 강력한 200-way 제로샷 검색 성능을 달성하며, ROI 수준의 귀속(attribution)은 학습된 소스 패턴 표현에 대한 사후(post hoc) 해석 가능성을 제공한다. 이러한 결과는 피질 제약 표현 학습(representation learning)과 적응형 지도가 제로샷 뇌-이미지 검색을 위한 EEG-비전 정렬을 공동으로 뒷받침할 수 있음을 보여준다.

arXiv:2609.24136v1cs.CV공통 태그 Image Retrieval, EEG

시각적 타깃의 중요성: Brain-to-Image Retrieval을 위한 시각 계층 전반 학습

The Visual Target Matters: Learning across the Visual Hierarchy for Brain-to-Image Retrieval

뇌-이미지 검색(brain-to-image retrieval)은 비침습적 신경 반응을 유발한 시각 자극을 식별하는 것을 목표로 한다. 후보 이미지는 일반적으로 사전학습된 비전 모델로 표현되며, 그 내부 표현은 깊이에 따라 추상화 수준이 달라진다. 기존 방법은 보통 신경 인코더가 고정된 최종 층 시각적 타깃을 복원하도록 학습한다. 이 공식화에서는 시각 계층이 하나로 정해진 종점으로 축소되어, 다른 깊이의 표현이 시각적 타깃을 직접 형성하는 데 기여하지 못한다. 이 한계는 여러 시각적 깊이의 정보가 검색 타깃에 어떻게 기여해야 하는지를 학습해야 한다는 동기가 된다. 이를 위해 우리는 NeuroGlyph를 제안한다. NeuroGlyph는 동결된 시각 백본의 여러 깊이로부터 시행(trial)에 독립적인 시각적 타깃을 학습한다. NeuroGlyph는 타깃을 요인별 부분공간으로 분해한다. 각 부분공간은 시각적 깊이에 대한 이미지 조건부 할당을 학습한다. 그렇게 얻은 부분공간들은 검색을 위해 하나의 임베딩으로 융합된다. THINGS-EEG와 THINGS-MEG 전반에서 NeuroGlyph는 모든 통제 비교에서 최종 층 지도(final-layer supervision)를 능가한다. 또한 사후(post hoc) 최적 고정 층 오라클을 네 번의 비교 중 세 번에서 능가한다. 매개변수를 맞춘 ablation은 요인 분해 타깃 구성과 이미지 조건부 깊이 할당을 모두 뒷받침한다. 동등한 200-way 검색 프로토콜에서 NeuroGlyph는 보고된 8개 지표 중 6개에서 최고의 시스템 수준 성능을 달성한다. 이 결과는 하나의 시각적 깊이를 고정하는 대신 시각 계층 전반에 걸친 검색 타깃 학습을 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.