인간 독서 중 생성된 인지 신호를 활용한 마이크로블로그 키프레이즈 추출 향상
Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs
한국어 초록
마이크로블로깅 플랫폼은 짧고 노이즈가 많으며 분산된 사용자 콘텐츠를 대량으로 생성하므로, 자동 키프레이즈 추출(AKE)은 중요하지만 어려운 과제이다. 선행 연구들은 이러한 신호가 독자의 두드러진 단어에 대한 주의를 반영하기 때문에 마이크로블로그 기반 AKE를 개선하기 위해 시선 추적 신호를 사용해 왔다. 그러나 시선 추적만으로는 생리학적, 획득, 특징 디코딩 제약에 한계가 있다. 이 문제를 해결하기 위해, 우리는 AKE를 위해 전기뇌파(EEG) 신호가 시선 추적 신호를 보완할 수 있는지 조사한다. ZuCo 인지 언어 처리 코퍼스를 사용하여 8개의 EEG 특징과 17개의 시선 추적 특징을 선택하고 이를 마이크로블로그 기반 AKE 모델에 통합한다. 모델 구조에 의한 인지 신호의 왜곡 가능성을 줄이기 위해, 이러한 특징을 soft-attention 층의 입력과 self-attention 층의 query 벡터에 주입한다. 그런 다음 AKE 모델 전반에 걸쳐 인지 신호의 다양한 조합을 평가한다. 결과는 독서 중 생성된 인지 신호가 특징 조합과 모델 아키텍처에 관계없이 AKE 성능을 지속적으로 향상시킴을 보여 준다. EEG 특징이 가장 큰 이득을 가져오며, EEG와 시선 추적 특징을 결합하면 두 개별 신호 유형 사이의 성능을 얻어, 부분적 상호 보완성과 함께 가능한 중복 또는 노이즈를 시사한다. 이러한 결과는 EEG 신호가 마이크로블로그 기반 AKE에 유용한 인지적 증거를 제공하며, 다중모달 인지 신호가 추가 조사를 필요로 함을 나타낸다.
원문 초록
Microblogging platforms generate massive amounts of short, noisy, and dispersed user content, making automatic keyphrase extraction (AKE) an important but challenging task. Prior studies have used eye-tracking signals to improve microblog-based AKE because such signals reflect readers' attention to salient words. However, eye tracking alone is limited by physiological, acquisition, and feature-decoding constraints. To address this issue, we investigate whether electroencephalogram (EEG) signals can complement eye-tracking signals for AKE. Using the ZuCo cognitive language processing corpus, we select 8 EEG features and 17 eye-tracking features and incorporate them into microblog-based AKE models. To reduce possible distortion of cognitive signals by model structures, we inject these features into the input of the soft-attention layer and the query vectors of the self-attention layer. We then evaluate different combinations of cognitive signals across AKE models. The results show that cognitive signals produced during reading consistently improve AKE performance, regardless of feature combinations and model architectures. EEG features bring the largest gains, while combining EEG and eye-tracking features yields performance between the two individual signal types, suggesting partial complementarity but also possible redundancy or noise. These findings indicate that EEG signals provide useful cognitive evidence for microblog-based AKE and that multimodal cognitive signals deserve further investigation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26485v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Signal2Symbol: 설명 가능한 생리학적 시계열 이상 탐지를 위한 신경-기호적 시간적 추론
Signal2Symbol: Neuro-Symbolic Temporal Reasoning for Explainable Physiological Time-Series Anomaly Detection
심전도(ECG)와 뇌파(EEG)와 같은 생리학적 시계열은 복잡한 시간적 구조, 상당한 측정 변동성, 그리고 투명한 의사결정에 대한 강한 필요를 보인다. 딥 모델은 높은 탐지 성능을 달성할 수 있지만, 어떤 구간이 이상한지, 국소 이상이 시간에 따라 어떻게 연관되는지, 한 탐지가 더 넓은 반복 패턴에 속하는지에 대한 통찰은 종종 제한적이다. 우리는 설명 가능한 생체신호 이상 탐지를 위한 신경-기호적(neuro-symbolic) 프레임워크인 Signal2Symbol을 제안한다. 이 방법은 먼저 학습된 VQ-VAE(Vector Quantized Variational Autoencoder) 코드북 또는 SAX(Symbolic Aggregate approXimation) 베이스라인을 사용해 ECG/EEG 신호를 기호(symbol) 시퀀스로 변환한다. 이어서 bigram enriched token-window 트랜잭션을 구성하고, minimal rare itemset mining에서 도출된 희귀 아이템셋(rare itemset) 증거를 통해 이상을 점수화한다. 탐지된 이상 윈도우는 구간(interval)으로 병합되고 Allen interval algebra로 서로 연관되며, 이를 통해 악화 연쇄(escalation chains), 아티팩트(artifact) 중첩, 채널 간 동기(cross-channel synchrony)와 같은 복합 시간적 설명이 가능해진다. 마지막으로 형식 개념 분석(Formal Concept Analysis, FCA)에 기반한 희귀 시간적 개념 격자(concept lattice)를 도입하며, 이는 공유된 희귀 기호적 증거, Allen 시간적 관계, 채널 컨텍스트, 견고성(robustness) 속성을 기준으로 이상 구간을 묶는다. 결과 Galois 격자는 다수의 국소 탐지를 해석 가능한 시간-기호적(temporal-symbolic) 이상 패밀리로 압축한다. 세 개의 공개 벤치마크에서 평가한다: MIT-BIH Arrhythmia(beat 수준 ECG), PTB-XL(기록 수준 ECG), Bonn EEG 데이터셋(segment 수준 EEG). 가법 잡음(additive noise)과 기준선 변동(baseline-wander) 교란 하에서 견고성을 스트레스 테스트한다. 결과는 시간적 이상 분석에서 신경-기호적 토큰화의 가치를 부각하며, Allen/FCA 추론이 국소 탐지에 대한 간결하고 해석 가능한 요약을 제공함을 보여준다.
Brain-Token Learning: 장기 EEG 시퀀스 모델링을 위한 미세상태 기반 토큰화 및 다중 스케일 상호작용
Brain-Token Learning: Microstate-Based Tokenization and Multi-Scale Interaction for Long-Horizon EEG Sequence Modeling
뇌전도(EEG)는 동적인 뇌 활동을 파악할 수 있는 비침습적 창을 제공하지만, 장기(long-horizon) EEG 시퀀스를 모델링하는 것은 높은 시간적 복잡도, 피험자 간의 상당한 변동성, 생물학적으로 유의미한 시퀀스 표현의 부재로 인해 여전히 어려운 과제로 남아 있습니다. 고정 윈도우 및 패치 기반 표현과 같은 기존의 토큰화(tokenization) 전략은 인위적인 시간적 경계에 따라 EEG 신호를 이산화하므로, 본질적인 뇌 상태 역학을 훼손할 수 있습니다. 본 연구에서는 장기 EEG 시퀀스 모델링을 위해 뇌 토큰화(Brain Tokenization)를 도입한 신경과학 기반 프레임워크인 Brain-Token Learning을 제안합니다. Brain Tokenization은 EEG 신호를 사전 정의된 시간 세그먼트로 분할하는 대신, 반복되는 미세상태(microstate)에서 파생된 뇌 토큰(token)의 시퀀스로 표현하며, 각 토큰은 가변적인 시간적 지속 기간을 갖는 준안정적(quasi-stable) 대규모 뇌 상태에 대응합니다. 이러한 생물학적 근거를 둔 토큰을 기반으로, 저자들은 전역적 뇌 상태 문맥과 국소적 미세상태 전이를 공동으로 포착하기 위해 잠재 상태 집약(Latent State Aggregation) 및 상태 전이 모델링(State Transition Modeling)으로 구성된 다중 스케일 토큰 상호작용 모듈을 추가로 개발합니다. 저자들은 새로 수집된 장기 NeuroLong 데이터셋(dataset)과 4개의 정서적 또는 임상적 EEG 데이터셋(SEED, DEAP, MDD, NSSI)을 포함한 5개의 이종 EEG 데이터셋에서 Brain-Token을 평가(evaluation)합니다. 광범위한 실험을 통해 Brain-Token이 다양한 EEG 시나리오 전반에서 기존의 CNN/LSTM 아키텍처, 트랜스포머(Transformer) 기반 모델, 도메인 적응 기법들을 일관되게 능가함을 입증합니다. 추가 분석을 통해 강건하고 해석 가능한 EEG 표현을 학습(training)하는 데 있어 미세상태 기반 토큰화 및 다중 스케일 상호작용의 효과를 검증합니다. 이러한 결과는 Brain-Token이 장기 EEG 시퀀스 모델링을 위한 생물학적 근거를 갖춘 토큰화 패러다임임을 확립합니다.
뇌-이미지 생성: 생성적 적대 신경망을 이용한 뇌파 기반 시각 자극 재구성
Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks
뇌파(EEG)로부터 시각 자극을 재구성하는 것은 두피 측정이 높은 시간 해상도를 갖지만 공간 해상도가 제한적이고, 짝지어진 EEG-이미지 데이터셋이 현대 생성 모델(generative model) 학습 코퍼스에 비해 여전히 작기 때문에 어렵습니다. 본 논문에서는 EEG가 시각 임베딩 공간에서 피험자가 본 자극을 검색할 수 있는지에 대한 보다 타당한 질문을 먼저 검증하는 THINGS-EEG2 기반의 재현 가능한 단일 피험자 기준선(baseline)을 제시합니다. 소형 시공간 합성곱 인코더(temporal-spatial convolutional encoder)는 반복 평균된 EEG(63 x 250)를 사전에 제공된 512차원 ViT-B/32 이미지 특징에 매핑합니다. 모델 선택에는 개념이 분리된 검증 분할을 사용하며, 최종 평가에는 공식 200개 이미지, 200개 개념의 테스트 갤러리를 사용합니다. 세 가지 학습 시드에 걸쳐, 제안 모델은 1, 5, 10에서의 이미지 재현율(recall) 각각 12.83 ± 0.58%, 39.17 ± 1.76%, 58.00 ± 1.73%(평균 ± 표본 표준편차)를 달성하여 0.5%, 2.5%, 5.0%인 이론적 무작위 확률 수준(chance level)과 비교되는 성능을 보였습니다. 세션 균형 제거 연구(ablation study)는 더 많은 테스트 반복을 평균화할수록 전반적으로 순위 매김이 향상됨을 보여줍니다. 적응 과정 없이 피험자 01의 모델을 다른 9명의 피험자에게 적용하면 성능이 급격히 저하되어 피험자 특이성이 드러납니다. 나아가 외부 시각 가중치 없이 학습된 직접 조건부 생성기(direct conditional generator)에 대한 탐색적 스트레스 테스트를 보고합니다. 단일 피험자 및 10명 피험자 변형 모델은 노이즈가 지배적인 출력을 생성하며, 초기 검증 성능 개선은 1~4 에포크 후에 반전되었습니다. 마지막으로 사전학습된 확산 사전확률(diffusion prior)을 사용하는 시맨틱 렌더링과 직접 재구성을 구별합니다. 결과는 폐쇄 집합(closed-set) 및 반복 평균화 프로토콜 하에서 무작위 수준을 넘어서는 대략적인 시맨틱 디코딩은 지지하지만, 자극 픽셀의 충실한 복원은 지지하지 않습니다.
HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩
HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings
심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.
NeuroGRIP: 지식 기반 EEG 발작 진단을 위한 검색-증강 그래프 정제
NeuroGRIP: Retrieval-Augmented Graph Refinement for Knowledge-Grounded EEG Seizure Diagnosis
EEG 신호를 이용한 발작 진단은 복잡한 신경 역학과 채널 간 모델링에서의 허위 연결로 인해 중요하면서도 지속적으로 어려운 과제이다. 공간-시간 그래프 신경망(spatial-temporal graph neural networks, STGNN)은 EEG 뇌 네트워크 표현 학습(representation learning)을 발전시켰지만, 순전히 데이터 기반 특성으로 인해 결과 그래프 구조는 임상적 타당성이 낮고 해석 가능성(interpretability)이 제한적이다. 이를 위해 우리는 외부 의학 지식을 통합하여 노이즈가 있는 EEG 그래프를 보정하는 검색-증강 그래프 정제(retrieval-augmented graph refinement) 프레임워크인 NeuroGRIP을 제안한다. 먼저 권위 있는 임상 가이드라인에서 파생된 대규모 도메인 특화 지식 베이스(knowledge base)를 구축한다. 대규모 언어 모델(LLM)을 활용하여 구조화된 생의학적 개체와 관계를 추출해 텍스트 지식 그래프(KG)를 형성하며, 이는 임상적 사전(prior)의 외부 지식 원천으로 작용한다. 본 프레임워크는 STGNN이 생성한 EEG 노드 임베딩(embedding)을 KG의 의미 공간(semantic space)으로 투영함으로써 정렬 인식(alignment-aware) 쿼리 구성을 수행한다. 의미적 쿼리는 FAISS 기반 유사도 검색(similarity search)을 통해 지식 삼원조(triplets) 위에서 실행되어 관계 증거(relation evidence)를 검색한다. 각 예측 엣지(edge)에는 검색된 유사도, 관계 유형, 출처 신뢰도(source reliability)에 기반한 신뢰도 점수(confidence score)가 부여되어, 원래 예측 그래프에서 의학적으로 타당하지 않은 엣지를 제거(prune)할 수 있다. TUSZ와 CHB-MIT에 대한 광범위한 실험은 NeuroGRIP이 발작 검출 정확도를 향상시킬 뿐만 아니라, 각 예측을 임상적으로 검증된 지식에 그라운딩(grounding)함으로써 해석 가능성을 높인다는 것을 보여준다. 본 연구는 검색-증강 추론(retrieval-augmented reasoning)을 통해 뇌 역학과 외부 의학 전문 지식을 긴밀히 결합한 최초의 통합 프레임워크를 제공하며, 지식 강화형 설명 가능한 임상 진단의 길을 연다. 코드는 https://github.com/LincanLi-X/NeuroGRIP 에서 이용할 수 있다.
신경 보조 운동 제어를 위한 이벤트 기반 신경 디코딩
Event-based Neural Decoding for Neuroprosthetic Motor Control
상당수의 환자들이 장애, 질병, 또는 사고로 인해 이동성 저하를 경험한다. 심층 신경망을 기반으로 하는 현대의 보철 장치는 이러한 환자들의 삶의 질을 크게 향상시킬 잠재력을 지니고 있으나, 높은 지연 시간, 에너지 소비, 그리고 공간적 요구사항으로 인해 광범위한 보급이 저해되고 있다. 외부 고성능 프로세서와의 유선 연결은 환자의 이동성을 제한하는 반면, 무선 연결은 해당 프로세서로 전송할 수 있는 정보의 양을 제한한다. 스파이킹 신경망(spiking neural network)은 압축 통신과 저전력 추론의 가능성을 제공하지만, 다양한 응용 분야에서 최신 심층 학습 모델에 비해 성능이 뒤처지는 경우가 많다. 본 연구에서는 과제 성능과 효율성을 효과적으로 균형 있게 조율하는 고성능 신경 디코딩 방법을 제안한다. 이벤트 기반 게이트 순환 유닛(gated recurrent unit)은 그레이디드 스파이크(graded spike)를 활용한 희소(sparse) 통신 패턴을 생성하며, 과제 성능 면에서 기존 스파이킹 신경망을 능가한다. 효율적인 학습 방법과 희소 추론을 활용한 본 모델은 온디바이스(on-device) 신경 디코딩을 위한 새로운 가능성을 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.