Alljoined1 -- A dataset for EEG-to-Image decoding
원문 초록
We present Alljoined1, a dataset built specifically for EEG-to-Image decoding. Recognizing that an extensive and unbiased sampling of neural responses to visual stimuli is crucial for image reconstruction efforts, we collected data from 8 participants looking at 10,000 natural images each. We have currently gathered 46,080 epochs of brain responses recorded with a 64-channel EEG headset. The dataset combines response-based stimulus timing, repetition between blocks and sessions, and diverse image classes with the goal of improving signal quality. For transparency, we also provide data quality scores. We publicly release the dataset and all code at https://linktr.ee/alljoined1.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
뇌-이미지 생성: 생성적 적대 신경망을 이용한 뇌파 기반 시각 자극 재구성
Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks
뇌파(EEG)로부터 시각 자극을 재구성하는 것은 두피 측정이 높은 시간 해상도를 갖지만 공간 해상도가 제한적이고, 짝지어진 EEG-이미지 데이터셋이 현대 생성 모델(generative model) 학습 코퍼스에 비해 여전히 작기 때문에 어렵습니다. 본 논문에서는 EEG가 시각 임베딩 공간에서 피험자가 본 자극을 검색할 수 있는지에 대한 보다 타당한 질문을 먼저 검증하는 THINGS-EEG2 기반의 재현 가능한 단일 피험자 기준선(baseline)을 제시합니다. 소형 시공간 합성곱 인코더(temporal-spatial convolutional encoder)는 반복 평균된 EEG(63 x 250)를 사전에 제공된 512차원 ViT-B/32 이미지 특징에 매핑합니다. 모델 선택에는 개념이 분리된 검증 분할을 사용하며, 최종 평가에는 공식 200개 이미지, 200개 개념의 테스트 갤러리를 사용합니다. 세 가지 학습 시드에 걸쳐, 제안 모델은 1, 5, 10에서의 이미지 재현율(recall) 각각 12.83 ± 0.58%, 39.17 ± 1.76%, 58.00 ± 1.73%(평균 ± 표본 표준편차)를 달성하여 0.5%, 2.5%, 5.0%인 이론적 무작위 확률 수준(chance level)과 비교되는 성능을 보였습니다. 세션 균형 제거 연구(ablation study)는 더 많은 테스트 반복을 평균화할수록 전반적으로 순위 매김이 향상됨을 보여줍니다. 적응 과정 없이 피험자 01의 모델을 다른 9명의 피험자에게 적용하면 성능이 급격히 저하되어 피험자 특이성이 드러납니다. 나아가 외부 시각 가중치 없이 학습된 직접 조건부 생성기(direct conditional generator)에 대한 탐색적 스트레스 테스트를 보고합니다. 단일 피험자 및 10명 피험자 변형 모델은 노이즈가 지배적인 출력을 생성하며, 초기 검증 성능 개선은 1~4 에포크 후에 반전되었습니다. 마지막으로 사전학습된 확산 사전확률(diffusion prior)을 사용하는 시맨틱 렌더링과 직접 재구성을 구별합니다. 결과는 폐쇄 집합(closed-set) 및 반복 평균화 프로토콜 하에서 무작위 수준을 넘어서는 대략적인 시맨틱 디코딩은 지지하지만, 자극 픽셀의 충실한 복원은 지지하지 않습니다.
시각 번역에서 길을 잃다: EEG-이미지 재구성을 위한 비전-언어 모델(VLM) 기반 지각-의미 일관성 프레임워크
Lost in Visual Translation: A VLM-Assisted Perceptual-Semantic Coherence Framework for EEG-to-Image Reconstruction
EEG-이미지 평가는 시각적 충실도와 복원 가능한 의미를 구분해야 한다. 그러나 EEG 기반 재구성은 흐릿하고 왜곡되며 세부 정보가 부족해, SSIM, LPIPS, CLIP이 의미적으로 복원 가능한 출력을 불이익 주거나 그럴듯하지만 잘못된 출력에 보상을 줄 수 있다. 우리는 ATM, ENIGMA, BrainVis, DreamDiffusion의 6,855개 정답/재구성 쌍을 의미 탐침, 캡션 가혹도 및 맹점(blind-spot) 비율, 제어된 열화를 통해 분석한다. 픽셀 지표는 의미적 일관성과 거의 상관관계가 없으며, 표현 지표는 지각적 오류와 의미적 오류를 혼동한다. 따라서 뇌-컴퓨터 인터페이스(BCI) 인지 프레임워크를 도입하여, 네 개의 비전-언어 모델(VLM)이 구조화된 질문을 통해 이미지 쌍을 평가하고 Tolerant Perceptual Alignment Score(T-PAS)와 Tolerant Semantic Alignment Score(T-SAS)를 산출한다. 이들의 합의는 BCI 일관성 점수(BCI-Coherence Score, BCS)로 응축되며, 이는 본 데이터에서 T-PAS MAE 0.079(r = 0.700) 및 T-SAS MAE 0.082(r = 0.850)를 달성하는 간결한 평가기이다. 인간 검증은 Cohen's kappa = 0.882 ± 0.174 및 Krippendorff's alpha = 0.882로 매우 신뢰할 수 있는 공동 일관성 판단을 보여 주며, 일반적인 시각 유사성보다 지각-의미 복원 가능성을 뒷받침한다. 코드와 자료는 https://sukt03.github.io/BCS/에서 이용할 수 있다.
Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성
Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double
Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
궤적 직선성을 이용한 정류된 흐름(Rectified Flows)을 위한 근 선택 고정점 역전
Root-Selecting Fixed-Point Inversion for Rectified Flows via Trajectory Straightness
주어진 데이터 샘플을 생성하는 초기 노이즈를 찾는 일, 즉 역변환(inversion)은 학습이 필요 없는 이미지 편집과 같은 하위 응용의 핵심 요소이다. 기존의 고정점 역변환 방법은 각 역변환 단계를 고정점 문제로 정식화하여 역변환 정확도를 높이지만, 실제로 나타날 수 있는 여러 고정점 해 중에서 선택하기 위한 원리적 메커니즘이 부족하다. 우리는 선택에 따라 서로 다른 역변환 궤적이 만들어지며 그 결과 복원 및 편집 품질에 상당한 차이가 발생함을 관찰한다. 정류 흐름(rectified flow)의 경우, 이러한 차이가 궤적의 직선성과 밀접하게 연관됨을 추가로 발견하였고, 이에 직선성을 원리적인 선택 기준으로 삼는다. 우리는 더 곧은 역궤적을 유도하는 고정점 해를 선택하면서도 표준적인 국소 가정 하에서 정확한 역근(inverse root)으로의 수렴을 유지하는 고정점 역변환 방법인 SelFix를 제안한다. FLUX.1-dev와 PIE-Bench에서의 실험 결과, SelFix는 고정점 역변환을 개선하여 기존 역변환 기준선보다 더 우수한 실제 이미지 복원과 원본을 더 잘 보존하는 프롬프트 기반 편집을 달성하였다. 코드는 https://github.com/seminkim/selfix 에서 확인할 수 있다.
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
뇌전도(EEG)는 진행 중인 신경 활동을 비침습적으로 측정하지만, 피험자, 장치, 전극 배치의 이질성 때문에 범용 EEG 모델을 구축하는 일은 여전히 어렵다. 기존 EEG 파운데이션 모델은 신경 성분과 비신경 성분을 모두 포함하는 관측 신호에 정의된 복원 기반 목적 함수에 주로 의존한다. 본 연구는 잠재 공간에서 예측하기 위해 결합 임베딩 예측 아키텍처(JEPA)를 채택한 EEG 파운데이션 모델인 구면 사전 분포 EEG 표현 아키텍처(Spherical Prior EEG Representation Architecture, SPERA)를 소개한다. SPERA는 다양한 두피 전극 기하 구조를 인코딩하기 위해 어텐션에 통합된 르장드르 다항식 공간 사전 분포를 도입한다. 모델을 EEG에 맞추는 두 가지 추가 구성요소로, 주기적인 전체 어텐션 블록과 교차 배치된 시간·공간 분해 어텐션, 그리고 잠재 유사도 구조를 스펙트럼 뷰와 정렬하는 관계형 스펙트럼 정규화기가 있다. 106개 데이터셋, 29,048명의 피험자로부터 얻은 약 80,000시간의 EEG로 사전 학습한 SPERA는 임상, 인지, BCI 응용에 걸친 9개 다운스트림 과제에서 가장 높은 평균 균형 정확도를 달성한다. 또한 SPERA는 선형 프로빙에서 강한 파라미터 효율성을, 다양한 녹화 조건에서 강건성을 보여, 다양한 EEG 분석을 위한 범용 백본으로서의 잠재력을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.