arXiv:2205.13148

Grammar Detection for Sentiment Analysis through Improved Viterbi Algorithm

Surya Teja Chavali, Charan Tej Kandavalli, Sugash T M

제출 2022-05-26

원문 초록

Grammar Detection, also referred to as Parts of Speech Tagging of raw text, is considered an underlying building block of the various Natural Language Processing pipelines like named entity recognition, question answering, and sentiment analysis. In short, forgiven a sentence, Parts of Speech tagging is the task of specifying and tagging each word of a sentence with nouns, verbs, adjectives, adverbs, and more. Sentiment Analysis may well be a procedure accustomed to determining if a given sentence's emotional tone is neutral, positive or negative. To assign polarity scores to the thesis or entities within phrase, in-text analysis and analytics, machine learning and natural language processing, approaches are incorporated. This Sentiment Analysis using POS tagger helps us urge a summary of the broader public over a specific topic. For this, we are using the Viterbi algorithm, Hidden Markov Model, Constraint based Viterbi algorithm for POS tagging. By comparing the accuracies, we select the foremost accurate result of the model for Sentiment Analysis for determining the character of the sentence.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.15209v1cs.CL공통 태그 Question Answering, Named Entity Recognition

Ge'ez 기반 아프리카 언어 어휘 확장: Amharic과 Tigrinya 비교 연구

Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

다국어 사전학습(pre-trained) 언어 모델(PLM)은 자원이 적은 비라틴 문자(non-Latin-script) 언어에서 성능이 저하되는데, 이는 라틴 문자 중심의 토큰화(tokenization) 학습(training)으로 인한 높은 OOV(out-of-vocabulary) 비율과 과도한 서브워드(subword) 분절(fragmentation) 때문이다. 본 연구는 Ge'ez 문자 기반 언어 중 자원이 가장 풍부한 Amharic과 Tigrinya를 대상으로 하는 XLM-R의 어휘 확장(vocabulary-extended) 변형인 VEXMLM을 제안하며, 추가로 17개의 저자원 아프리카 언어(총 19개)에서도 평가한다. 큐레이션된 Amharic 및 Tigrinya 단일어(monolingual) 말뭉치로 언어별 SentencePiece 토크나이저를 학습하고, 이 토크나이저에서 파생된 30,000개의 Ge'ez 문자 서브워드를 XLM-R 어휘에 추가하며, XLM-R 원래 토크나이저 하에서 구성 서브워드 임베딩(embedding)의 평균으로 이들의 임베딩을 초기화(initialization)한다. VEXMLM은 두 단계로 학습된다: (1) 큐레이션된 말뭉치에서 확장 어휘에 대한 지속적 마스크 언어 모델링(masked language modeling), (2) 질의응답(QA), 개체명 인식(NER), 감성 분석(SA)에 대한 지도 미세조정(supervised fine-tuning). Amharic/Tigrinya QA에서 VEXMLM은 87.0 EM / 90.0 F1을 달성하며, XLM-R의 66.0 EM / 78.0 F1, Glot500의 74.0 EM / 78.0 F1을 상회한다. SA에서는 VEXMLM이 80.0% 정확도에 도달하며, XLM-R 77.0%, Glot500 46.0%를 넘는다. NER에서는 OOV 분석이 가능했던 19개 평가 언어 중 11개에 대해 평균한 OOV 토큰(token) 개체 정확도를 81.4%에서 94.3%로 높인다. 본 연구의 기여는 (i) Ge'ez 문자에 맞춘 어휘 확장 및 임베딩 초기화 절차, (ii) Amharic/Tigrinya에서의 어휘 및 지속적 사전학습(continued pre-training) 이득이 17개의 형태론적으로 관련된 비증강(unaugmented) 아프리카 언어로 전이되는 이단계 학습 전략, (iii) 19개 언어 전반에 걸친 내재적(intrinsic) 토큰화 지표(어휘 커버리지, fertility, OOV 비율)와 외재적(extrinsic) 과제 성능에 대한 평가이다.

arXiv:2607.14661v1cs.AI공통 태그 Question Answering, Named Entity Recognition

SmartRAG: 모바일 기기용 네이티브 그래프 기반 RAG

SmartRAG: Native Graph-Based RAG for Mobile Device

모바일 기기에서 대규모 언어 모델(LLM)을 개인 비서로 배포하려면 프라이버시, 낮은 지연 시간, 오프라인 사용 가능성이 요구되지만, 거대 모델의 계산 비용은 엄격한 엣지 하드웨어 예산과 충돌한다. 우리는 이러한 긴장을 모델 압축만으로는 해결할 수 없으며, 온디바이스 지능을 상호 보완적인 기능적 역할로 분해해야 한다고 주장한다. 우리는 Perception, Memory, Focus, Thinking이라는 네 개의 조율된 모듈을 중심으로 지능형 비서를 구성하는 완전 온디바이스 프레임워크인 SmartRAG를 제안한다. SmartRAG의 핵심은 EvoNER로, 교사 증류(teacher-distilled) 업데이트를 통해 레이블 인벤토리를 점진적으로 확장하는 지속적으로 학습 가능한 개체명 인식기(named-entity recognizer)이다. 이를 통해 시스템은 백본 LLM을 재학습하지 않고도 이전에 보지 못한 개체 유형을 흡수할 수 있다. 추출된 지식은 출처를 보존하는 3층 지식 그래프인 MRGraph에 저장되며, 쿼리 시 그래프 순회, 어휘 매칭, 밀집 의미 검색(dense semantic search)을 결합한 하이브리드 파이프라인을 통해 검색된다. 온디바이스 LLM은 라벨링, 계획, 답변 합성과 같은 고가치 의미 연산에만 호출되어 추론 비용을 제한된 범위 내에 유지한다. TriviaQA, Natural Questions, HotpotQA, MultiHopQA 네 가지 QA 벤치마크에서의 실험 결과, 양자화된 1.7B 매개변수 백본을 사용하는 SmartRAG가 최대 18배 더 큰 모델과 경쟁력 있는 다중 홉(multi-hop) 추론 성능을 달성하며, 상용 스마트폰에서 실용적인 메모리 및 지연 시간 범위 내에서 완전히 실행됨을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.