원문 초록
Sentiment analysis in Twitter datasets is important because it enables monitoring public opinion on products and analysis of political and social movements. One critical step is preprocessing: the automated processing of text for machine learning algorithms. Preprocessing plays a critical role in reducing noise and improving efficiency. However, little research has systematically examined the order in which preprocessing techniques are implemented. We find that, when accounting for order, spelling correction is the least impactful preprocessing technique, whereas tokenisation is the most impactful. Stemming and stop-word removal are interchangeable, and it is better to remove stop words without removing negation. The best order for applying the preprocessing techniques was tokenisation, text cleaning, stemming, and then stopword removal. Our results provide a systematic approach for practitioners to deploy preprocessing to improve model output without the costly preprocessing exploratory phase.
요약
Twitter 데이터셋 감성 분석에서 전처리(preprocessing) 기법의 적용 순서를 체계적으로 비교·분석한 결과, 토큰화(tokenisation)가 가장 영향이 크고 철자 교정(spelling correction)은 가장 영향이 작으며 stemming과 불용어 제거는 상호 교환 가능하다. 최적 순서는 토큰화, 텍스트 클리닝, stemming, 불용어 제거이며, 부정어는 제거하지 않는 편이 더 낫다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24055v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
주관적 지도학습을 위한 앙상블 다양성 최적화
Ensemble Diversity Optimization for Subjective Supervision
주관적 자연어 처리(NLP) 태스크는 주석자 간의 체계적인 의견 불일치를 자주 나타내며, 불확실성을 축소하는 것이 아니라 표현하는 모델을 필요로 한다. 우리는 앙상블 다양성 최적화(Ensemble Diversity Optimization, EDO)를 소개한다. EDO는 통합된 미분 가능 목적 함수를 통해 앙상블 가중치, 유효 카디널리티, 캘리브레이션을 공동으로 최적화하는 예측 공간 프레임워크이다. EDO는 Gumbel-소프트맥스 완화를 통해 앙상블 구성과 크기를 엔드투엔드로 학습하며, 불일치를 보존하거나 억제하는 방향으로 최적화를 유도하기 위해 검증 데이터로 조정된 부호 있는 다양성 정규화기를 통합한다. 이 정규화는 앙상블 붕괴를 방지하고 유용성-캘리브레이션 트레이드오프의 제어된 탐색을 가능하게 한다. 이 프레임워크는 소프트 F1 대리 함수, 클래스 불균형 해소를 위한 클래스 가중 교차 엔트로피, 앙상블 내부 변동성을 조절하기 위한 신뢰도 가중 다양성을 통합한다. 네 가지 주관적 텍스트 분류 벤치마크(ArMIS, ConvAbuse, HS-Brexit, MD-Agreement)에 대한 실험에서 EDO는 확률적 캘리브레이션을 크게 향상시켜, 기준선에 따라 교차 엔트로피를 40~78% 감소시키고 Soft-CE, Soft-MD, Top-5 Voting, WEL 대비 Brier 점수를 낮추며, 경쟁력 있는 F1을 유지하고 주석자 분포와의 정렬을 개선하는 것으로 나타났다. 이러한 결과는 부호 있는 다양성 정규화기와 함께 앙상블 구조를 공동 최적화하는 것이 지도학습에서 인간의 주관성을 모델링하기 위한 효율적이고 모델에 구애받지 않는 접근법임을 보여준다.
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
너무 많은 토큰에 비용을 지불하고 있는가? 간단한 휴리스틱을 활용한 유효하고 비용 효율적인 멀티모달 LLM 주석
Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics
비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.
계산사회과학 텍스트 어노테이션을 위한 의사결정 모델 평가
Evaluating Decision Models for Text Annotation in Computational Social Science
계산사회과학(computational social science)은 텍스트 어노테이션(annotation)에 대규모 언어 모델(LLM)에 점점 더 의존하고 있으며, 발표된 연구 결과의 타당성은 이제 이러한 모델이 생성한 레이블에 달려 있다. 범주형 질의응답을 위해 만들어진 새로운 모델 클래스인 의사결정 모델(decision model)은 자유 형식 텍스트 대신 선택지, 레이블 집합에 대한 확률 분포, 그리고 신뢰도 점수로 유형화된 질문에 답하며, 그 비용은 프런티어 모델 추론 가격의 극히 일부에 불과하다. 이러한 모델의 답변이 정확한지, 그리고 모델이 제시하는 신뢰도를 사회과학 구성 개념(construct)에서 신뢰할 수 있는지는 알려져 있지 않다. 본 연구에서는 18개 계산사회과학 분류 과제(7,977개 항목)에 대해 Ziems et al.(2024)의 평가를 재현하여, 최초의 상용 의사결정 모델과 두 개의 오픈 가중치(open-weight) 모델을 19개의 프런티어 및 오픈 가중치 언어 모델과 동일한 제로샷 프로토콜 하에서 비교하고, 의사결정 모델 비교를 그 이후 일주일 동안 공개된 11개의 오픈 가중치 시스템으로 확장한다. 의사결정 모델은 15개 평가 과제 중 14개에서 과제별 최고 성능 LLM에 뒤처졌으며, 매크로 F1 기준 중앙값 격차는 11.6점이었고, 측정된 비용은 중앙값 기준 44배 낮았다. 이 모델의 신뢰도는 19개 LLM 중 16개의 언어화된(verbalized) 신뢰도보다 더 잘 보정되어 있으나, 세 개의 프런티어 모델은 더 낮은 중앙값 보정 오차를 보인다(0.157 대 0.066). 신뢰도 0.9를 초과하는 항목은 일반적으로 정확하게 레이블링되지만(중앙값 정확도 0.815), 또래 지원 대화에서의 공감(empathy) 과제 하나에서는 모델이 높은 신뢰도를 보고하면서도 무작위 수준에 가까운 성능을 보였다. 그럼에도 본 연구 결과는 의사결정 모델이 어노테이션 파이프라인의 첫 단계로서 유용함을 시사한다. 신뢰도가 낮은 항목을 LLM으로 라우팅하면 LLM 단독 사용과 같거나 더 나은 성능을 LLM 비용의 4분의 1에서 절반 수준으로 달성할 수 있다.
일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인
The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale
본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.
감성 분류에서 실행 가능하고 책임 있는 피드백으로: 학생 강의 평가(SET)에서 NLP의 범위 검토 및 증거 지도, 2015–2026
From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.