PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2206.12041v3math.ST

라벨러가 몇 명입니까? 골드 스탠다드 라벨에 대한 면밀한 고찰

How many labelers do you have? A closer look at gold-standard labels

대부분의 지도학습(supervised learning) 데이터셋 구축은 각 인스턴스에 대해 여러 개의 라벨을 수집한 뒤, 이를 집계하여 일종의 "참(true)" 라벨을 형성하는 방식을 중심으로 이루어집니다. 본 논문에서는 이러한 과정에 대한 (정형화된) 이론적 모델을 개발하고 그 통계적 귀결을 분석함으로써 이러한 파이프라인의 타당성에 의문을 제기하며, 정제된 라벨을 사용할 때보다 집계되지 않은 라벨 정보에 접근할 때 잘 보정된(well-calibrated) 모델을 학습(training)시키는 것이 어떻게 더 실현 가능해지는지 보여줍니다. 그러나 전체적인 맥락은 미묘하며, 집계된 라벨 정보와 더 완전한 라벨 정보 사이의 대비는 문제의 세부 사항에 따라 달라집니다. 즉, 집계된 정보를 사용하는 추정량(estimator)은 강건하지만 더 느린 수렴(convergence) 속도를 보이는 반면, 모든 라벨을 효과적으로 활용할 수 있는 추정량은 실제 라벨링 과정을 충실히 반영하거나 이를 학습할 수 있는 경우 더 빠르게 수렴합니다. 이 이론은 비집계 라벨이 학습 성능을 향상시켜야 하는 시점을 포함하여 실제 데이터셋에 대한 몇 가지 예측을 제시하며, 본 연구에서는 이러한 예측의 타당성을 입증하기 위해 검증을 수행합니다.

arXiv:2609.23201v1cs.AI

벤치마크를 신뢰하지 말 것: 일반 LLM 순위의 한계와 과업별 평가의 필요성

Do Not Trust the Benchmark: Limitations of General LLM Rankings and a Case for Task-Specific Evaluation

벤치마크 점수는 대규모 언어 모델(LLM)의 개발, 마케팅, 선정에 점점 더 큰 영향을 미친다. 그러나 종합 점수는 평가 대상 시스템, 포함된 문항, 평가 조건과의 관계에서만 해석할 수 있다. 본 관점 논문은 일반 LLM 순위의 다섯 가지 연관된 한계를 검토한다: 평가 대상과 공개 가용 시스템 간의 차이, 외부 평가에서의 상업적 인센티브와 의존관계, 벤치마크 포화·결함 있는 테스트·데이터 오염(data contamination), 채점 절차를 악용하는 모델, 그리고 일반 점수가 사용자 업무와 관련 있는 정도의 제한. 문서화된 사례들은 이러한 문제들이 서로 다른 대응을 요구하는 이유를 보여 준다. 나는 평가 대상 구성을 공개하고, 문항과 과업의 성공적 완료를 검증하며, 성능을 비용·실행 시간과 함께 보고하고, 일반화 범위를 명시하는 평가 절차를 주장한다. 이어서 기여 문항과 반복 평가의 실용적 사례로 크라우드소싱 벤치마킹 플랫폼 \textbf{Isotanta}를 논의한다. 더 큰 문항 풀은 과업 커버리지를 개선할 수 있고, 반복 표본 추출은 그 풀에 대한 추정치의 안정성을 개선할 수 있다; 둘 다 타당성이나 개인 맞춤화를 보장하지는 않는다. 논문은 플랫폼의 현재 공유 순위와 제안된 과업별·사용자 제공 평가를 구분한다. 핵심 논지는 모델 선정이 일반 리더보드에서의 높은 순위가 아니라, 의도된 업무에서의 성능에 대한 근거를 요구한다는 것이다.

arXiv:2405.19521v3cs.LG

항목 난이도를 반영한 계층적 베이지안 크라우드소싱

Hierarchical Bayesian Crowdsourcing with Item Difficulty

크라우드소싱 레이블링에서 Dawid-Skene 모델이 평가 데이터의 분포적 특성을 포착하지 못해 학습 편향이 발생하는 문제를 해결하기 위해, 항목 응답 이론(IRT)의 난이도·변별도·추측 가능성 효과를 통합한 계층적 베이지안 측정 오차 모델을 제안한다. 적대적 평가자를 배제하는 사후 분포 제약 방식을 도입하고, 치과 X선 충치 분류와 자연어 함의 추론 데이터셋에서 사후 예측 검사 및 리브-원-아웃 교차 검증으로 모델의 우수한 적합도와 예측 정확도를 입증하였다.

arXiv:2606.24734v1cs.CL

Task Decomposition for Efficient Annotation

High-quality annotations of structured representations are expensive to collect over large corpora. Manual annotation of structure is laborious, and model-based annotation, although cheaper to generate, requires expensive validation and potentially significant supervision to ensure that the annotation quality is strong enough to be useful downstream. In traditional annotation workflows, annotation of each complete example is performed end-to-end by a single annotator. However, structured annotation is complex, and each aspect of the task represents a unique challenge with an associated inferential load for a given annotator. Modern annotation projects can incorporate heterogeneous groups of annotators, including both models and human annotators with varying domain and linguistic expertise. It remains unclear, however, how to redesign annotation tasks in this setting, where efforts are discriminately allocated across heterogeneous annotators with respect to distinct annotation challenges. We propose to decompose annotation tasks into sub-tasks in order to reduce the aggregate inferential load of annotation projects. Inspired by the notion of centers from centering theory, we introduce a formal model of inferential load based on the degrees of freedom in the space of valid annotations. Using this model, we show that identifying these centers (i.e. salient anchor entities realized by annotation sub-tasks) constrains the output space complexity, and decompositions which isolate and advance center identification reduce the aggregate inferential load. We provide guidelines for decomposing complex structured annotation tasks, supported by examples demonstrating improved cost-efficiency from our prior work. Finally, we present a procedure for allocating sub-tasks across annotators to maximize quality under a fixed budget.