arXiv:2609.22282v1 cs.CV

뇌-이미지 생성: 생성적 적대 신경망을 이용한 뇌파 기반 시각 자극 재구성

Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks

Harshit Goyal

제출 2026-09-22

한국어 초록

뇌파(EEG)로부터 시각 자극을 재구성하는 것은 두피 측정이 높은 시간 해상도를 갖지만 공간 해상도가 제한적이고, 짝지어진 EEG-이미지 데이터셋이 현대 생성 모델(generative model) 학습 코퍼스에 비해 여전히 작기 때문에 어렵습니다. 본 논문에서는 EEG가 시각 임베딩 공간에서 피험자가 본 자극을 검색할 수 있는지에 대한 보다 타당한 질문을 먼저 검증하는 THINGS-EEG2 기반의 재현 가능한 단일 피험자 기준선(baseline)을 제시합니다. 소형 시공간 합성곱 인코더(temporal-spatial convolutional encoder)는 반복 평균된 EEG(63 x 250)를 사전에 제공된 512차원 ViT-B/32 이미지 특징에 매핑합니다. 모델 선택에는 개념이 분리된 검증 분할을 사용하며, 최종 평가에는 공식 200개 이미지, 200개 개념의 테스트 갤러리를 사용합니다. 세 가지 학습 시드에 걸쳐, 제안 모델은 1, 5, 10에서의 이미지 재현율(recall) 각각 12.83 ± 0.58%, 39.17 ± 1.76%, 58.00 ± 1.73%(평균 ± 표본 표준편차)를 달성하여 0.5%, 2.5%, 5.0%인 이론적 무작위 확률 수준(chance level)과 비교되는 성능을 보였습니다. 세션 균형 제거 연구(ablation study)는 더 많은 테스트 반복을 평균화할수록 전반적으로 순위 매김이 향상됨을 보여줍니다. 적응 과정 없이 피험자 01의 모델을 다른 9명의 피험자에게 적용하면 성능이 급격히 저하되어 피험자 특이성이 드러납니다. 나아가 외부 시각 가중치 없이 학습된 직접 조건부 생성기(direct conditional generator)에 대한 탐색적 스트레스 테스트를 보고합니다. 단일 피험자 및 10명 피험자 변형 모델은 노이즈가 지배적인 출력을 생성하며, 초기 검증 성능 개선은 1~4 에포크 후에 반전되었습니다. 마지막으로 사전학습된 확산 사전확률(diffusion prior)을 사용하는 시맨틱 렌더링과 직접 재구성을 구별합니다. 결과는 폐쇄 집합(closed-set) 및 반복 평균화 프로토콜 하에서 무작위 수준을 넘어서는 대략적인 시맨틱 디코딩은 지지하지만, 자극 픽셀의 충실한 복원은 지지하지 않습니다.

원문 초록

Reconstructing visual stimuli from electroencephalography (EEG) is difficult because scalp measurements have high temporal but limited spatial resolution, and paired EEG-image datasets remain small relative to modern generative-model training corpora. We present a reproducible single-subject baseline on THINGS-EEG2 that first tests the more defensible question of whether EEG can retrieve the viewed stimulus in a visual embedding space. A compact temporal-spatial convolutional encoder maps repetition-averaged EEG (63 by 250) to provided 512-dimensional ViT-B/32 image features. Model selection uses a concept-disjoint validation split, and final evaluation uses the official 200-image, 200-concept test gallery. Across three training seeds, the model obtains 12.83 +/- 0.58%, 39.17 +/- 1.76%, and 58.00 +/- 1.73% image recall at 1, 5, and 10 (mean +/- sample standard deviation), compared with analytical chance levels of 0.5%, 2.5%, and 5.0%. A session-balanced ablation shows that averaging more test repetitions generally improves ranking. Applying the Subject 01 model to the other nine subjects without adaptation causes a sharp performance drop, exposing subject specificity. We further report exploratory stress tests of direct conditional generators trained without external visual weights: single-subject and ten-subject variants produce noise-dominated outputs, with early validation improvements reversing after one to four epochs. Finally, we distinguish direct reconstruction from semantic rendering with a pretrained diffusion prior. The results support above-chance coarse semantic decoding under a closed-set, repetition-averaged protocol, but do not support faithful recovery of stimulus pixels.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22282v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02208v3cs.CV공통 태그 Image Reconstruction, Image Generation

Sphere Encoder 2

Sphere Encoder 2

Sphere Encoder는 고차원 잠재 구(high-dimensional latent sphere)에서 무작위 포인트를 디코딩하여 이미지를 생성하는 오토인코더(autoencoder)입니다. 본 논문에서는 생성 품질을 저하시키는 기존 수식의 두 가지 한계점을 규명합니다. 첫째, 인코딩된 잠재 공간에서 극(pole)을 기준으로 무작위 포인트들이 적도(equator) 부근에 집중되지만, 학습 회전은 이 영역에 도달하지 못해 격차가 발생하며 이는 원스텝(one-step) 생성을 제한합니다. 둘째, 픽셀 단위 재구성 손실로 생성 학습을 수행하면 디코더가 그럴듯한 이미지들을 평균화하도록 유도되어 고주파 세부 정보(high-frequency details)가 결여된 흐릿한 이미지가 생성됩니다. 이러한 두 가지 한계를 해결하기 위해 Sphere Encoder 2를 제안하며, 오토인코더의 속도와 단순성을 유지하면서도 이미지 생성 품질을 대폭 향상시킵니다. 모델은 https://github.com/kaiyuyue/sphere2 에서 공개됩니다.

arXiv:2609.24088v2cs.CV공통 태그 Image Reconstruction, Image Generation

잠재 생성 모델의 평가 및 개선을 위한 잠재 분포 관점

A Latent Distribution Perspective on Evaluating and Improving Latent Generative Models

잠재 생성 모델(latent generative models)에서는 일반적으로 재구성 품질이 생성 성능과 상관관계가 있다고 가정합니다. 그러나 재구성 FID(rFID)는 생성 FID(gFID)와 약한 상관관계를 보이거나 심지어 음의 상관관계를 나타내기도 합니다. 본 연구에서는 이러한 불일치가 잠재 분포 불일치(latent distribution mismatch)에서 기인한다고 봅니다. 즉, 재구성은 인코더가 유도한 잠재 공간에서 디코더를 평가하는 반면, 생성은 생성 모델이 만든 잠재 변수 상에서 동일한 디코더를 사용하기 때문입니다. 이러한 분포 변화를 규명하기 위해, 인코더 잠재 변수에 노이즈를 더해 섭동을 주고 디코딩 전에 생성 모델을 통해 노이즈를 제거함으로써 표준 재구성에서 생성으로 이어지는 연속적인 궤적을 구축하는 생성 인지 재구성(generation-aware reconstruction, GAR)을 제안합니다. GAR은 이 궤적을 따라 디코더의 동작을 탐색하여 인코더 분포에서 생성 시점의 잠재 분포로 전환되는 과정을 관찰하고 진단할 수 있게 합니다. 그 결과 도출된 궤적 기반 진단 지표인 GAR-FID는 다양한 토크나이저와 스케일 전반에서 gFID와 강력한 실증적 상관관계를 보여줍니다. 중요한 점은, 중간 단계의 GAR 잠재 변수가 원본 이미지와의 대응 관계를 보존하면서도 생성 과정을 더 잘 인지하게 되며, 이를 통해 완전 생성된 잠재 변수에는 부재한 쌍(paired) 지도 학습 신호를 유지한다는 것입니다. 이러한 대응 관계 덕분에 중간 GAR 잠재 변수 상에서 디코더 적응(adaptation)이 가능해져, 모델 스케일 전반에서 생성 품질이 일관되게 향상됩니다. 종합적으로, 잠재 분포 불일치는 잠재 생성 모델을 평가하고 개선하기 위한 유용한 관점을 제공합니다.

arXiv:2609.31698v2cs.CV공통 태그 Image Retrieval, EEG

RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터

RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG

기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.

arXiv:2609.36756v3cs.CV공통 태그 Image Reconstruction, Image Generation

NesTok: 자기회귀 이미지 생성을 위한 중첩 자기정렬 1D 토크나이저

NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation

1차원(1D) 가변 길이 시각적 토크나이저는 토큰 수를 달리하여 적응형 압축을 가능하게 하므로, 다운스트림 자기회귀(AR) 모델이 단일 토크나이저를 사용해 생성 품질과 계산 비용 간의 트레이드오프를 유연하게 조율할 수 있도록 돕습니다. 그러나 중첩 드롭아웃(nested dropout)에 기반한 기존 접근법들은 토크나이저의 표현 능력을 완전히 활용하지 못하는 경우가 많아 이미지 재구성 및 생성 모두에서 차선의 성능을 초래합니다. 본 연구에서는 동적 시각적 토크나이저에 맞춤화된 중첩 자기정렬 프레임워크인 NesTok을 소개합니다. NesTok은 토큰 길이에 걸친 재구성을 공동으로 최적화하는 동시에 전체 길이 시퀀스를 활용하여 더 짧은 시퀀스를 유도하는 교차 길이 학습(cross-length training)을 도입함으로써, 더 짧은 토큰 시퀀스가 전체 길이 시퀀스의 재구성 품질에 근접할 수 있도록 합니다. ImageNet에서 NesTok은 표준 학습 대비 실질적인 개선을 이루어내며 0.98의 rFID 점수를 달성합니다. 다운스트림 이미지 생성 작업에서는 기존의 가변 길이 자기회귀 이미지 생성 방식 중 ImageNet 256$\times$256에서 최고 수준인 1.46의 gFID 점수를 기록합니다. 코드는 https://github.com/Jiawei804/NesTok 에서 제공될 예정입니다.

arXiv:2610.02188v1cs.CV공통 태그 Generative Adversarial Network, Image Generation

DMAD: 빠른 시각적 생성을 위한 적대적 증류 기반의 분포 매칭

DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation

분포 매칭 증류(DMD, Distribution Matching Distillation)는 개별적으로 추정된 타깃 및 학생 스코어 간의 차이로부터 소수 단계(few-step) 학생 모델을 학습시키므로, 추가적인 메모리와 계산 비용을 들여 학생의 변화하는 분포에 맞춰진 보조 확산 모델을 유지해야 합니다. 본 논문에서는 분포 매칭을 분류(classification) 문제로 재구성하고 필요한 로그 밀도 비(log-density ratios)를 직접 학습하는 적대적 증류 기반의 분포 매칭인 DMAD(Distribution Matching as Adversarial Distillation)를 소개합니다. 공유된 백본 상의 두 판별기 헤드는 실제 데이터 및 교사 샘플을 학생 샘플과 구별하며, 이들의 로짓(logit)에 적용되는 선형 손실은 보조 스코어 피팅 없이 학생 모델을 학습시킵니다. 판별기 로짓을 로그 밀도 비로 연결하는 고전적 항등식을 통해, 판별기 최적점에서 이러한 손실들이 DMD의 기반이 되는 분포 매칭 그래디언트(gradient)를 복원함을 증명합니다. 나아가 실제 데이터 헤드에서 측정한 실제 샘플과 교사 샘플 간의 경험적 로짓 갭을 바탕으로 노이즈 레벨 전반에 걸쳐 교사 지도를 적응시키는 갭 기반 재가중치(gap-based reweighting)를 제안합니다. DMAD는 ImageNet-64x64에서 1단계 생성으로 1.04의 Fréchet Inception Distance(FID)를 기록하고, COCO-10K에서 4단계 SDXL로 14.47, 4단계 Wan2.1-T2V-14B로 85.15의 VBench 총점을 달성하여 비교된 소수 단계 방법론과 다단계 교사 모델 중 최고의 성능을 보였습니다. MiniMax-H3-33B 기반의 오디오-비디오 공동 생성에서 본 연구의 4단계 학생 모델은 동점을 제외했을 때 DMD2 대비 79.1%, rCM 대비 84.6%의 전반적인 인간 선호도를 달성했습니다. 코드, 모델 및 데모는 https://yzmblog.github.io/projects/DMAD 에서 확인할 수 있습니다.

arXiv:2609.27371v1cs.HC공통 태그 Generative Adversarial Network, Image Generation

ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템

ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images

생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.