Better Document-level Sentiment Analysis from RST Discourse Parsing
원문 초록
Discourse structure is the hidden link between surface features and document-level properties, such as sentiment polarity. We show that the discourse analyses produced by Rhetorical Structure Theory (RST) parsers can improve document-level sentiment analysis, via composition of local information up the discourse tree. First, we show that reweighting discourse units according to their position in a dependency representation of the rhetorical structure can yield substantial improvements on lexicon-based sentiment analysis. Next, we present a recursive neural network over the RST structure, which offers significant improvements over classification-based methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
위치 바이어스는 천장 효과 뒤에 숨겨져 있다: LLM 벤치마크를 위한 순열 진단
Position Bias is Hidden Behind Ceiling Effects: A Permutation Diagnostic for LLM Benchmarks
다지선다형 LLM 평가에서의 위치 바이어스(position bias)는 능력 비교의 교란 요인으로 널리 인용되지만, 기존에 발표된 측정은 단일 답변 순서 셔플에 의존하며, 그 결과는 바이어스 신호를 내용 수준의 노이즈와 샘플링 확률성과 혼동한다. 저는 inspect_ai 평가 프레임워크의 오픈소스 확장인 inspect_permute를 소개한다. 이 도구는 문항별로 모든 답변 순서 순열을 실행하고, 부트스트랩 신뢰구간과 함께 위치 바이어스의 카이제곱(chi-squared)/크래머 V(Cramer V) 특성을 보고한다. 저는 temperature-0 생성 설정 하에 24,000회의 API 호출로, 네 개 벤더(gpt-4o-mini, claude-haiku-4-5, gemini-2.5-flash, grok-3)와 다섯 MMLU 과목에 이 도구를 적용했다. 데이터의 절반을 관측하기 전에 공개 SHA-256 해시를 통해 반증 예측을 사전 등록했다. 위치 바이어스는 대략 60–95% 기본 정확도의 골디락스 존(Goldilocks zone) 내에서만 통계적으로 탐지 가능한 것으로 나타났다. 그보다 낮으면 처리 부하(processing load) 우세가 과목별 신호를 압도하고, 그보다 높으면 천장 효과가 분산을 카이제곱 검정 해상도 이하로 압축한다. 탐지 가능한 셀은 두 가지 메커니즘 유형으로 구분된다: 단조 A→D 감소(processing_load, 저급 모델)와 비단조 D-하락(content_ambiguity, 좁은 능력 대역). 표준 MMLU는 모든 프론티어급 모델을 탐지 대역 위에 배치하므로, 그곳에서 신호가 없는 것은 편향 없음이 아니라 측정 불가로 해석해야 한다. arXiv:2606.26185의 천장 효과 특성화와 함께, 본 연구는 위치 바이어스 측정의 탐지 가능 영역을 규명하고 분야의 핵심 질문을 검증 가능한 형태로 제기할 수 있게 한다. 패키지, 데이터, 사전 등록은 MIT 라이선스 하에 제공된다.
Thumbs up? Sentiment Classification using Machine Learning Techniques
만족을 넘어서: 콘텐츠, 리뷰, 웰빙 간의 연관성 학습
Beyond Satisfaction: Learning Associations Between Content, Reviews, and Well-Being
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue
Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.