arXiv:2010.12876

Electromagnetic Source Imaging via a Data-Synthesis-Based Convolutional Encoder-Decoder Network

Gexin Huang, Jiawen Liang, Ke Liu, Chang Cai, Zhenghui Gu, Feifei Qi, Yuan Qing Li, Zhu Liang Yu, Wei Wu

제출 2020-10-24

원문 초록

Electromagnetic source imaging (ESI) requires solving a highly ill-posed inverse problem. To seek a unique solution, traditional ESI methods impose various forms of priors that may not accurately reflect the actual source properties, which may hinder their broad applications. To overcome this limitation, in this paper a novel data-synthesized spatio-temporally convolutional encoder-decoder network method termed DST-CedNet is proposed for ESI. DST-CedNet recasts ESI as a machine learning problem, where discriminative learning and latent-space representations are integrated in a convolutional encoder-decoder network (CedNet) to learn a robust mapping from the measured electroencephalography/magnetoencephalography (E/MEG) signals to the brain activity. In particular, by incorporating prior knowledge regarding dynamical brain activities, a novel data synthesis strategy is devised to generate large-scale samples for effectively training CedNet. This stands in contrast to traditional ESI methods where the prior information is often enforced via constraints primarily aimed for mathematical convenience. Extensive numerical experiments as well as analysis of a real MEG and Epilepsy EEG dataset demonstrate that DST-CedNet outperforms several state-of-the-art ESI methods in robustly estimating source signals under a variety of source configurations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13918v1cs.NE공통 태그 EEG, Electroencephalogram (EEG)

DyssomniaNN: 인간 수면 장애 및 인지된 피로 회복도에 대한 다중 스케일 스파이킹 신경 모델링

DyssomniaNN: Multi-Scale Spiking Neural Modeling of Human Sleep Disorders and Perceived Restedness

임상 수면 의학에서는 객관적인 수면 시간과 주관적인 주간 기능 장애 사이의 심각한 불일치가 반복적으로 보고되며, 이는 역설적 불면증의 수면 상태 오인과 제1형 기면증의 경계 불안정성에서 두드러지게 나타납니다. 본 논문에서는 수면 항상성과 일주기성 추동(circadian drive)에 대한 Borbély의 2과정 조절 모델, Saper의 시상하부 상호 플립플롭 회로, 그리고 순환 피질시상 누적-발화(LIF, leaky integrate-and-fire) 스파이킹 신경망(neural network)을 결합한 다중 스케일 생물물리학적 계산 프레임워크인 DyssomniaNN을 제시합니다. 연구진은 동일한 72시간 광주기 하에서 건강한 대조군, 일주기 리듬 수면-각성 장애(지연 위상형), 만성 불면증, 역설적 불면증, 제1형 기면증 등 5개 임상 코호트를 공식화합니다. 합성 국소 장전위(local field potential)는 모든 표준 주파수 대역에서 PhysioNet Sleep-EDF 데이터베이스의 실제 인간 뇌파(EEG) 스펙트럼과 밀접하게 일치합니다(스펙트럼 평균 절대 오차 0.33--0.35). 나아가 회복 효능을 정량화하기 위해 휴식 지수(Well-Rested Index)를 도입합니다. 시뮬레이션 결과 수면 시간은 피로 회복을 예측하지 못하는 것으로 나타났습니다. 역설적 불면증은 정상적인 총 수면 시간(21.15시간)을 보이지만 억제되지 않은 피질 베타 대역의 침투로 인해 낮은 회복률(37.6%)을 보였으며, 반면 기면증의 히포크레틴 결핍은 심각한 야간 분절(수면 개시 후 각성 시간 781분)과 35회의 입면 시 렘수면(SOREMP)을 초래합니다. DyssomniaNN은 기전적 수면 연구 및 가상 신경약리학을 위한 인 실리코(in silico) 플랫폼을 제공합니다.

arXiv:2609.31698v2cs.CV공통 태그 EEG, Electroencephalogram (EEG)

RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터

RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG

기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.

arXiv:2609.27650v1cs.CL공통 태그 Decoder, EEG

뇌-언어 디코딩: 태스크, 신호, 방법론, 평가, 실질적 활용 및 그 너머

Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond

뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.

arXiv:2609.27493v1cs.CV공통 태그 Decoder, Denoising

생성형 비디오 압축의 정보 용량: 동일 품질에서 전송률-연산 교환의 정량화

Information Capacity of Generative Video Compression: Quantifying the Rate-Compute Exchange at Identical Quality

AI Flow 프레임워크 하에서 통신 네트워크는 디바이스, 엣지 서버, 클라우드에 걸쳐 지능을 분산하며, 수신측 연산(computation)은 전송 비트를 대체할 수 있는 자원이 된다. 생성형 비디오 압축(GVC)은 초저 전송률(bitrate)의 압축 토큰(token)을 보내고 생성형 디코더가 비디오를 합성하게 함으로써 이러한 교환을 구현하지만, 디코더 연산 한 단위가 실제로 얼마만큼의 대역폭 절감을 달성하는지는 아직 정량화된 적이 없다. 이 공백을 메우기 위해 우리는 재구성 품질을 데이터 전송률과 디코더 연산에 대한 이인자 멱법칙으로 모델링하며, 이는 두 GVC 디코더의 측정 DISTS를 평균 오차 3% 미만으로 적합시키고, 정보 용량(IC)을 등품질(iso-quality) 등고선을 따른 음의 로그 기울기, 즉 동일 품질에서 연산이 분율만큼 증가할 때 절약되는 전송률의 비율로 정의한다. IC는 무차원이며 단위 불변(unit-invariant)이므로 아키텍처에 무관한(architecture-agnostic) 비교를 가능하게 한다. 이는 작동 평면(operating plane) 위의 장(field)을 형성하여, 추가 디노이징(denoising) 단계가 그 비용을 감당할 만한 위치를 찾아낸다. 다섯 개 데이터셋에 걸쳐 14B 디코더는 1.3B 디코더보다 약 10배 더 효율적으로 더 많은 연산을 더 적은 전송률과 교환한다. IC 또한 데이터셋 간에 크게 달라지며, 이는 GVC 방법에서 전송률-연산 상충(rate-compute trade-off)에 대한 불균형한 성능을 시사한다.

arXiv:2609.26638v1cs.CL공통 태그 Decoder, Denoising

확산 모델이 초안을 작성하고 자기회귀 모델이 검증한다: 자기-투기적 디코딩을 통한 문서 OCR 가속

Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding

자기회귀(AR) OCR 비전-언어 모델은 문서 이미지를 텍스트와 구조화된 마크업으로 정확하게 변환하지만, 출력 토큰당 하나의 순차적 디코딩 단계를 필요로 하여 추론(inference) 속도가 제한됩니다. 자유형 텍스트 생성과 달리 OCR 출력은 입력 이미지에 강력하게 그라운딩(grounding)되어 있어, 확산(diffusion) 기반 병렬 생성이 유망합니다. 그러나 하나의 확산 단계에서 여러 토큰이 예측될 때, 각 토큰은 다른 토큰들을 알기 전에 예측됩니다. 따라서 이를 직접 확정(commit)하면 오류가 발생할 수 있습니다. 이에 따라 우리는 병렬 초안 작성(drafting)과 인과적 AR 검증을 위해 공동 학습(joint training)된 매개변수 공유 AR-블록-확산 모델인 GravityOCR을 제안합니다. 확정 전에 초안을 검증함으로써 모델은 별도의 초안 작성 네트워크 없이도 라운드당 여러 출력 토큰을 확정할 수 있습니다. 또한 인과적 AR 경로는 시퀀스 및 구조 수준의 OCR 보상을 사용하는 GRPO를 가능하게 하여, 확산 궤적의 가능도(likelihood) 추정을 피하면서 공유된 초안 작성기 매개변수를 업데이트합니다. OmniDocBench v1.6에서 AR 경로 GRPO는 확산 초안 작성 효율성을 저하시키지 않으면서 종합(Overall) 점수를 94.92에서 95.16으로 향상시키며, 최종 모델은 원래 GLM-OCR 점수인 95.48에 근접하게 유지됩니다. SGLang 서빙 배포 환경에서 GravityOCR은 순전파(forward pass)당 평균 9.7개의 출력 토큰을 확정하며, 영역 크롭(region crop)에서 디코드 전용 속도 $3.94\times$ 향상 및 AR 디코딩 대비 $1.32\times$ 엔드투엔드 페이지 처리 가속을 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.