arXiv:1911.01198

Understand customer reviews with less data and in short time: pretrained language representation and active learning

Yanwei Cui, Xavier Illy

제출 2019-10-29

원문 초록

In this paper, we address customer review understanding problems by using supervised machine learning approaches, in order to achieve a fully automatic review aspects categorisation and sentiment analysis. In general, such supervised learning algorithms require domain-specific expert knowledge for generating high quality labeled training data, and the cost of labeling can be very high. To achieve an in-production customer review machine learning enabled analysis tool with only a limited amount of data and within a reasonable training data collection time, we propose to use pre-trained language representation to boost model performance and active learning framework for accelerating the iterative training process. The results show that with integration of both components, the fully automatic review analysis can be achieved at a much faster pace.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

논문 ID: publication/3527808공통 태그 BIG-bench Machine Learning, Sentiment Analysis

Twitter Sentiment Analysis

arXiv:2607.02539v2cs.SI공통 태그 Sentiment Analysis

만족을 넘어서: 콘텐츠, 리뷰, 웰빙 간의 연관성 학습

Beyond Satisfaction: Learning Associations Between Content, Reviews, and Well-Being

추천 알고리즘은 사람들이 온라인에서 소비하는 것을 형성하지만, 주로 별점, 좋아요, 감성과 같은 사용자 만족의 신호에 맞추어 최적화된다. 이러한 신호가 순간적 선호를 넘어 사용자에게 무엇이 좋은지를 포착하는지는 대체로 검토되지 않았다. 웰빙은 만족을 넘어서는, 심리학에 기반한 대안적 목표를 제공한다. 본 연구는 이를 리뷰에 나타난 PERMA 다섯 측면의 즉각적 표현과 지속적 표현으로 조작화한다. 실증적으로, 즉각적인 긍정 정서와 몰입은 더 쾌락적(즐거움 지향)으로 군집을 이루는 반면, 관계, 의미, 성취, 그리고 지속적인 긍정 정서와 몰입은 더 행복주의적(의미 및 성장 지향)으로 나타난다. Goodreads 리뷰 1,370만 건과 도서 1만 6천 권의 내용을 분석하여, PERMA 표현이 만족 목표와 어떻게 다른지, 그리고 어떤 도서 내용 특징이 이와 연관되는지를 연구한다. 첫째, 만족 신호(별점과 리뷰 감성)는 즉각적인 쾌락적 웰빙과는 중간 정도의 상관을 보이나(r = .43-.50) 그 지속적 표현과는 상관이 더 낮고(r <= .28), 행복주의적 측면과는 거의 연관이 없다(r <= .09). 둘째, 도서 내용 특징은 만족 신호(|r| <= .15)보다 PERMA 측면과 더 강하게 연관된다(r 최대 .46). 즉각적 쾌락적 웰빙과 연관된 내용은 지속적 및 행복주의적 웰빙과 연관된 내용과 다르다. 3인칭 대명사와 과거 지향 언어는 즉각적 몰입과 양의 관계를 보이지만(d=1.14, 1.05) 모든 지속적 측면과는 음의 관계를 보이며(d 최저 -1.58, -1.32), 친사회적 언어와 성취 지향 언어는 각각 관계와 성취와 관련된다(d=.45, .96). 이러한 결과는 만족 신호가 사용자가 표현하는 웰빙의 일부만을 포착하며, 웰빙에 기반한 목표를 사용하면 플랫폼이 상당히 다른 콘텐츠를 추천하게 될 수 있음을 시사한다.

arXiv:2607.05626v2cs.CL공통 태그 Sentiment Analysis

ADHD 또는 ASD를 자가 보고한 트위터 사용자의 DSM-5 우울 증상 언어에 대한 인구 수준 프로파일링: 자연어 처리와 통계 분석을 활용한 탐색적 연구

Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis

우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.

arXiv:2607.07824v2cs.MA공통 태그 Sentiment Analysis

CPM-MultiAgent: 의료 대화에서 환자 감정의 동적 변화를 시뮬레이션하기 위한 CPM 기반 평가(appraisal) 프레임워크

CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue

대규모 언어 모델(LLM)은 학습자가 임상 정보, 우려, 감정적 반응에 대응하는 연습을 하는 의료 커뮤니케이션 교육을 위한 환자 시뮬레이션을 가능하게 한다. 그러나 기존의 환자 시뮬레이션 및 정서 대화 시스템은 환자의 감정을 정적인 속성으로 표현하거나 감정 인식과 공감적 응답 생성에 초점을 맞추는 경우가 많다. 이들은 의료 전문가의 커뮤니케이션에 반응하여 시뮬레이션된 환자의 감정 상태가 어떻게 변화하는지를 모델링하는 데 제한적인 지원만을 제공한다. 환자 감정의 변화는 학습자가 대화 턴 전반에 걸쳐 인식하고 대응해야 하는 상호작용적 피드백이 된다. 본 연구는 감정을 사건 평가(appraisal)에 의해 형성되는 동적 과정으로 설명하는 심리학 이론인 구성요소 과정 모델(CPM)을 활용한다. 의료 커뮤니케이션 교육에서 동적 환자 감정 시뮬레이션을 위한 CPM 기반 멀티 에이전트 프레임워크인 CPM-MultiAgent를 제안한다. 이 프레임워크는 의학 문헌과 전문가 의견을 반영한 감정 분류 체계를 사용하며, 환자의 프로필, 임상 맥락, 이전 감정 상태를 고려하여 의료 관련 트리거 식별, 구조화된 CPM 평가, 감정 상태 통합을 통해 감정 상태를 갱신한다. 학생 주도 대화와 통제된 트리거 사례를 통해 프레임워크를 평가하며, 간호 전문가 평가, LLM 판정자 비교, 구성요소 제거 실험, 백본 점검, 학생 피드백을 결합하였다.

arXiv:2606.20820v3cs.LG공통 태그 Active Learning

CELEUS: E-Process 기반 인증 가능하고 효율적인 LLM 평가

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

평가 점수가 LLM의 실제 성능을 포착한다고 신뢰할 수 있는가? 인증 가능한 평가는 LLM의 참 성능을 높은 확률(예: 95%)로 포함하는 신뢰구간(CI)을 제공함으로써 이 질문에 답한다. 특히 기존 방법은 고정된 풀에서 평가 샘플을 순차적으로 선택하며, CI 폭이 목표 정밀도에 도달하는 등 특정 조건이 충족될 때까지 CI를 계속 갱신한다. 그러나 기존 방법은 일반적으로 언제든 유효(anytime-valid)하지 않다. CI를 반복적으로 갱신하고 중단 시점을 결정하는 데 사용하면 주장된 포괄 확률(예: 95%)이 성립하지 않을 수 있어, 이론적 엄밀성과 실제 사이에 간극이 남는다. 본 논문은 E-프로세스를 활용하여 언제든 유효한 CI를 구성하는, 효율적인 LLM 평가를 위한 인증 가능 프레임워크 CELEUS를 제안함으로써 이 간극을 메운다. 구체적으로 두 가지 요소를 결합한 새로운 신호를 제안한다. (i) 평가에 정보량이 많은 샘플을 선택하는 불확실성 유도 샘플링과, (ii) 평가되지 않은 샘플에 대한 대리 모델 지원 근사이다. 이 새로운 신호가 과거를 조건으로 할 때 평가 점수에 대해 불편성을 유지함을 증명하며, 이는 통계적으로 근거 있는 언제든 유효한 e-프로세스 CI를 가능하게 한다. 더 중요한 것은, 두 요소가 추정 분산을 줄이고 더 적은 수의 평가 샘플로 목표 정밀도에 도달하도록 돕는다는 점이다. 또한 CELEUS가 얻은 CI가 로그 인자를 제외하면 근모수적 속도로 수축할 수 있음을 증명하고, 경험적 불확실성 유도 방식의 동기가 되는 오라클 분산 최적 샘플링 규칙을 분석한다. 실험 결과 CELEUS는 언제든 유효한 포괄 확률을 유지하면서 기준 방법보다 54-62% 적은 평가 샘플로 목표 정밀도에 도달한다. 코드는 https://github.com/zyecs/celeus 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.