arXiv:2001.10169

A Deep Neural Framework for Contextual Affect Detection

Kumar Shikhar Deep, Asif Ekbal, Pushpak Bhattacharyya

제출 2020-01-28

원문 초록

A short and simple text carrying no emotion can represent some strong emotions when reading along with its context, i.e., the same sentence can express extreme anger as well as happiness depending on its context. In this paper, we propose a Contextual Affect Detection (CAD) framework which learns the inter-dependence of words in a sentence, and at the same time the inter-dependence of sentences in a dialogue. Our proposed CAD framework is based on a Gated Recurrent Unit (GRU), which is further assisted by contextual word embeddings and other diverse hand-crafted feature sets. Evaluation and analysis suggest that our model outperforms the state-of-the-art methods by 5.49% and 9.14% on Friends and EmotionPush dataset, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14100v1cs.CL공통 태그 Sentence, Word Embeddings

아랍어를 위한 양자 조합 자연어 처리: 회로 토폴로지의 문법, 형태론, 단어 의미

Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology

우리는 pregroup grammar 기반 양자 조합 자연어 처리(quantum compositional natural language processing, QNLP)를 아랍어에 최초로 적용한다. 아랍어는 형태론적으로 풍부하고 자유 어순(free-word-order) 언어로, 그 구조적 복잡성이 양자 회로에서의 의미 조합 이론에 대한 독특하게 까다로운 시험대를 제공한다. 우리 시스템은 아랍어 문장을 문법적 구조를 반영하는 토폴로지의 양자 회로로 변환한다. 주어, 동사, 목적어는 양자 게이트가 되며, 이들 사이의 타입 의존성(pregroup grammar)이 해당 게이트들이 어떻게 연결되는지를 결정한다. 우리는 어순, 형태론적 시제, 동사 의미 모호성 해소를 아우르는 세 가지 통제 실험을 수행하고, AraVec(아랍어 단어 임베딩) 및 AraBERT(사전학습된 아랍어 트랜스포머)를 포함한 고전적 베이스라인과 양자 회로 방법을 비교한다.

arXiv:2604.18109v2cs.CL공통 태그 Sentence, Word Embeddings

FLiP: 멀티모달 다국어 문장 임베딩의 이해 및 해석을 향하여

FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings

본 논문은 사전학습된 문장 임베딩 공간을 이해하기 위한 인수분해 선형 투영(FLiP) 모델을 제안합니다. 우리는 다국어(LaBSE), 멀티모달(SONAR), API 기반(Gemini) 문장 임베딩 공간에서 여러 고자원 및 중자원 언어의 어휘적 내용을 복원하도록 FLiP 모델을 학습시킵니다. 우리는 FLiP가 임베딩에서 75% 이상의 어휘적 내용을 재현할 수 있음을 보여주며, 이는 기존의 인수분해되지 않은 기준 모델들을 현저히 능가합니다. 이를 진단 도구로 활용하여 선택된 문장 인코더들 간의 모달리티 및 언어 편향을 규명하고, 기존의 다운스트림 평가 작업에 의존하지 않고 실무자들에게 인코더에 대한 내재적 통찰을 제공합니다. 우리의 구현체는 https://github.com/BUTSpeechFIT/FLiP에서 공개되어 있습니다.

arXiv:2505.23277v4cs.CL공통 태그 Sentence공식 코드 · Papers with Code

Sentinel: 효율적인 LLM 컨텍스트 압축을 위한 어텐션 프로빙 기반 컨텍스트 활용 해독

Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression

검색된 컨텍스트는 길고 잡음이 많으며 중복되는 경우가 많아, 답변 생성에 앞서 질의 인식 압축이 필요하다. 네이티브 어텐션은 컨텍스트 선택을 위한 신호를 제공하지만, 헤드마다 동작이 이질적이어서 이를 문장 유용도 점수로 직접 집계하기가 복잡하다. 본 논문은 층과 헤드에 걸친 부호 있는 선형 리드아웃을 통해 이러한 신호를 결합하도록 학습하는 문장 수준 압축기 Sentinel을 제안한다. 기존 QA 근거 주석을 사용하여 리드아웃만 학습하며, 백본은 고정된 상태로 유지되고 문장 점수 산정에는 자기회귀 생성이 필요하지 않다. 12개의 LongBench 과제 전반에서, 0.5B 백본을 사용하는 Sentinel은 2,000 토큰 예산 조건에서 Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, DeepSeek V4.1 Flash의 세 리더 각각에 대해 여러 과제에서 전체 컨텍스트(Full Context)보다 우수한 성능을 보인다. 영어 전용 QA 지도만 사용했음에도 동일한 리드아웃이 과제별 재학습 없이 중국어 과제로 전이된다. 길이별 계층화 프로파일링에서도 LLMLingua-2 및 CPC보다 압축 지연 시간과 GPU 메모리 사용량이 더 낮음을 확인했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.