arXiv:1508.00189

Class Vectors: Embedding representation of Document Classes

Devendra Singh Sachan, Shailesh Kumar

제출 2015-08-02

원문 초록

Distributed representations of words and paragraphs as semantic embeddings in high dimensional data are used across a number of Natural Language Understanding tasks such as retrieval, translation, and classification. In this work, we propose "Class Vectors" - a framework for learning a vector per class in the same embedding space as the word and paragraph embeddings. Similarity between these class vectors and word vectors are used as features to classify a document to a class. In experiment on several sentiment analysis tasks such as Yelp reviews and Amazon electronic product reviews, class vectors have shown better or comparable results in classification while learning very meaningful class embeddings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13797v1cs.CL공통 태그 Sentiment Analysis, Natural Language Understanding

REFLECT: 감성, 감정, 공손함, 격식성에 대한 역할 인식 탐지

REFLECT: Role-Aware Detection of Sentiment, Emotion, Politeness, and Formality

대화에서 의사소통적 의미를 탐지하기 위해서는 어휘적 내용뿐 아니라 감성, 감정, 공손함, 격식성(SEPF)이 표현되는 참여자 역할 구조도 모델링해야 한다. 기존 접근법들은 문맥적 언어 표현에 의존하면서 의미역(semantic role)은 암묵적으로 남겨둔다. 본 연구에서는 네 가지 SEPF 차원을 이론에 기반한 의미역 레이블링(Semantic Role Labeling, SRL) 구성에 매핑하고, 이 구성을 트랜스포머의 셀프 어텐션(self-attention) 메커니즘에 직접 통합하는 역할 인식(role-aware) 트랜스포머 아키텍처를 제안한다. 역할 인식 어텐션은 방향성이 없는 내적 상태(감성 및 감정)를 모델링하며, 방향성을 갖는 역할 인식 어텐션은 외적 신호(공손함 및 격식성)에 대한 발화자-수신자(initiator-to-recipient) 관계를 포착한다. 이렇게 얻어진 역할 인식 표현은 의미역을 보조 특징(feature) 벡터로 덧붙이는 방식이 아니라, 각 입력이 기여하는 역할 정보의 양을 적응적으로 가중하는 학습된 게이트(gate)를 통해 문맥 임베딩(contextual embedding)과 융합된다. 네 개의 벤치마크(benchmark) 데이터셋에 걸쳐, 이 프레임워크는 강력한 BERT 기반 베이스라인에 비해 감정, 공손함, 격식성에서 통계적으로 신뢰할 수 있는 성능 향상을 보였으며, 그 향상은 저빈도의 복잡한 감정이나 매우 공손한 표현과 같이 이론적으로 예측된 경우에 집중되었다. 반면 감성에서의 향상은 미미하고 통계적으로 유의하지 않았는데, 이는 감성이 참여자 역할 구조보다는 어휘 선택을 통해 더 많이 전달됨을 시사한다. 실제 데이터에 대한 추가 평가는 이 프레임워크가 예측 성능과 모델 추적 가능성(traceability)을 모두 향상시킨다는 것을 보여준다. 이러한 결과는 트랜스포머 셀프 어텐션에 대한 언어학적으로 근거 있는 수정이 의사소통적 의미 탐지를 향상시키고, 벤치마크 데이터셋을 넘어 실제 정신 건강(mental-health) 데이터로도 일반화되며, 예측 성능을 넘어 해석 가능성(interpretability)까지 확장하는 추적 가능하고 역할에 근거한 설명을 제공함을 보여준다.

arXiv:2609.26780v2cs.CL공통 태그 Retrieval, Natural Language Understanding

SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue

다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.

arXiv:2609.27376v1cs.CL공통 태그 Translation, Retrieval

베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정

Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction

교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.

arXiv:2609.27590v1cs.CL공통 태그 Retrieval, Natural Language Understanding

MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다

MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors

장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.

arXiv:2609.25186v1cs.CY공통 태그 Sentiment Analysis, Natural Language Understanding

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2609.25853v1cs.CL공통 태그 Retrieval, Natural Language Understanding

MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅

MemoryAthena: Adaptive Routing over Latent and Generated Memories

학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.