arXiv:2611.18706v1 cs.CV

장기 환경 비전에서의 소규모 데이터: 주석 노이즈, 게이미피케이션, 레이블 예산 스케일링

Small Data in Long-Term Environmental Vision: Annotation Noise, Gamification, and Label-Budget Scaling

Bryceton Bible, Hairong Qi, Masahiro Toyoura

제출 2026-11-17

한국어 초록

장기간 운영되는 환경 카메라 네트워크는 풍부한 이미지를 생성하지만 신뢰할 만한 주석은 거의 없다. 후지산 주변 웹캠 네트워크인 FujiView를 사용하여, 우리는 서로 연결된 세 가지 질문을 연구한다. 게이미피케이션이 주석 참여와 일치도에 영향을 미치는가, 주석자들이 순서형 가시성 레이블에서 어떻게 불일치하는가, 그리고 레이블 예산이 하위 분류 과제에 어떤 영향을 미치는가이다. 22명의 레이블러가 참여한 비무작위 세션 7회에서, 게이미피케이션은 레이블링 속도나 일치도보다 지속적인 참여에 대해 더 유망한 양상을 보였다. 가장 근접한 원격 세션 비교에서, 게이미피케이션으로 기록된 세션은 활성 레이블링 시간이 더 길었으나 처리량과 기준 일치도는 비슷하게 유지되었다. 주석 불일치는 세밀한 단위에서 상당하였다. 군중 투표가 단일 주석자 기준과 일치한 비율은 정확한 가시성 클래스에서 49.1%였으나, Good/Poor로 묶은 뒤에는 90.2%였다. 5회 반복 레이블 예산 실험에서, 사용 가능한 레이블 풀의 25%를 사용한 모델은 홀드아웃 정확 정확도(exact accuracy)가 전체 풀 모델보다 평균 2.8퍼센트포인트만 낮았다. 이러한 결과는 종합적으로 신뢰할 수 있는 주석 목표를 설계하고, 인과적 이점을 가정하지 않고 참여 유도 메커니즘을 평가하며, 경험적 스케일링 곡선을 활용해 레이블링 노력을 계획하는 것의 중요성을 강조한다.

원문 초록

Long-running environmental camera networks produce abundant images but few reliable annotations. Using FujiView, a network of webcams around Mount Fuji, we study three linked questions: whether gamification affects annotation participation and agreement, how annotators disagree on ordinal visibility labels, and how label budget affects downstream classification. Across seven nonrandomized sessions with 22 labelers, gamification showed a more promising pattern for sustained participation than for labeling speed or agreement. In the closest remote-session comparison, the session recorded as gamified had longer active labeling time, while throughput and reference agreement remained similar. Annotation disagreement was substantial at fine granularity: crowd votes matched the single-annotator reference on 49.1% of exact visibility classes, versus 90.2% after grouping them into Good/Poor. In five-replicate label-budget experiments, models using 25% of the available label pool achieved held-out exact accuracy only 2.8 percentage points below the full-pool model on average. Together, these findings highlight the importance of designing reliable annotation targets, evaluating engagement mechanisms without assuming causal benefits, and using empirical scaling curves to plan labeling effort.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18706v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.