arXiv:1806.04968

Crowd-Powered Data Mining

Chengliang Chai, Ju Fan, Guoliang Li, Jiannan Wang, Yudian Zheng

제출 2018-06-13

원문 초록

Many data mining tasks cannot be completely addressed by auto- mated processes, such as sentiment analysis and image classification. Crowdsourcing is an effective way to harness the human cognitive ability to process these machine-hard tasks. Thanks to public crowdsourcing platforms, e.g., Amazon Mechanical Turk and Crowd- Flower, we can easily involve hundreds of thousands of ordinary workers (i.e., the crowd) to address these machine-hard tasks. In this tutorial, we will survey and synthesize a wide spectrum of existing studies on crowd-powered data mining. We first give an overview of crowdsourcing, and then summarize the fundamental techniques, including quality control, cost control, and latency control, which must be considered in crowdsourced data mining. Next we review crowd-powered data mining operations, including classification, clustering, pattern mining, machine learning using the crowd (including deep learning, transfer learning and semi-supervised learning) and knowledge discovery. Finally, we provide the emerging challenges in crowdsourced data mining.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15757v1cs.CL공통 태그 Sentiment Analysis, Transfer Learning

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2610.03689v1cs.CV공통 태그 Image Classification, Transfer Learning

항공 화재 위험 분류를 위한 SigLIP2

SigLIP2 for aerial fire risk classification

본 연구에서는 사전학습(pre-training)된 SigLIP2 이미지 인코더를 항공 영상 기반의 7개 클래스 화재 위험 분류(classification)로 전이(transfer)하는 과정을 살펴봅니다. 공개 FireRisk 학습(training) 미러의 재현 가능한 분할과 데이터 출처(provenance), 전처리 및 모델(model) 선택을 기록하는 구현을 소개합니다. 초기 두 번의 실험에서는 고정된(frozen) 인코더 프로브와 전체 모델 적응(adaptation)을 비교합니다. 검증(validation) 분할에서 전체 모델 적응은 63.05%의 정확도와 58.94%의 매크로 F1을 달성한 반면, 프로브는 55.95% 및 50.19%를 기록했습니다. 두 실험 모두 단일 학습 시드를 사용하며 동일한 검증 분할에서 체크포인트(checkpoint)를 선택합니다. 이러한 개발 단계의 결과는 SigLIP2에 대한 추가적인 평가를 뒷받침하지만, 독립적인 테스트 세트나 미확인 지역에서의 성능을 입증하지는 않습니다. 함께 제공되는 코드는 반복 실험 및 추가적인 시각 인코더와의 비교를 위한 공통 프레임워크를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.