결정하지 말고 우선순위를 매겨라: 배포된 휴먼 인 더 루프 CV 정렬기를 감사하며 배운 것
Prioritize, Don't Decide: What We Learned Auditing a Deployed Human-in-the-Loop CV Sorter
한국어 초록
하나의 학술 채용 공고에 수백 건의 지원서가 몰릴 수 있으며, 첫 번째 심사 단계가 위원회 시간의 대부분을 소모한다. 본 논문은 학술 채용 공고를 위한 국가 플랫폼에 배포되어 해당 플랫폼의 공고 데이터베이스와 통합된 CV 우선순위 정렬기(CV Priority Sorter)를 기술한다. 이 시스템은 CV 묶음에 대해 읽는 순서를 제안하고 모든 결정은 위원회에 맡기며, 고정된 다국어 트랜스포머 인코더와 각 라벨 입력 후 재학습되고 세션이 끝나면 폐기되는 세션별 선형 모델을 결합한다. 이 시스템은 효과가 있다. 합성 CV 300건의 풀에서, 도구가 제시한 순서대로 읽는 위원회는 묶음의 절반을 읽은 시점에 관련 후보의 95%에 도달하는 반면, 임의 순서에서는 거의 전부를 읽어야 한다. 본 논문은 시스템 자체보다는 그 주장을 감사했을 때 발견한 것에 관한 것이다. 세 가지 발견이 제품을 바꾸었다. 첫째, 풀이 문서 길이만으로 정렬 가능하다는 것이 드러났으며, 이로 인해 그 풀에서의 정밀도 유형 지표는 정보를 주지 못한다. 공유된 길이 예산 하에서 풀을 다시 생성하면 이 지름길이 제거되며 읽기 깊이 결과는 그대로 유지된다. 둘째, 우리 시스템을 포함하여 이러한 시스템이 보고하는 4단계 일치도 점수는 고정된 임계값에서 이진 확률을 자른 것이므로, 순위가 아니라 분류기의 확신도를 따르며 라벨이 쌓일수록 하락한다. 셋째, "다음 CV 제안" 버튼을 구현하는 가장 명백한 방법인 불확실성 샘플링은 모델 품질을 유지하지만, 이 방법이 묻는 CV가 그렇지 않았다면 건너뛰었을 것들이기 때문에 위원회의 총 읽기 부담을 라벨 없는 기준선보다 높인다. 네 번째 결과는 다음에 살펴볼 곳을 보여 준다. 호스팅된 LLM 임베딩 모델은 길이를 통제한 조건에서 라벨이 없을 때의 순서형 판별력을 0.66에서 0.80으로 끌어올리지만, 세션 모델이 라벨을 수십 개 확보하면 더 이상 중요하지 않게 된다. 로컬 크로스 인코더는 데이터를 외부로 보내지 않고도 이러한 콜드 스타트 이득에 필적한다. 본 논문은 각 발견이 요구한 수정 사항을 보고한다.
원문 초록
A single academic vacancy can draw hundreds of applications, and the first screening round consumes most of a committee's time. We describe a CV Priority Sorter deployed at a national platform for academic vacancies and integrated with its vacancy database. It proposes a reading order for a pile of CVs and leaves every decision to the committee, pairing a frozen multilingual transformer encoder with a per-session linear model that retrains after each label and is discarded when the session ends. It works: on a pool of 300 synthetic CVs, a committee reading in the tool's order reaches 95% of the relevant candidates after half the pile, where an arbitrary order needs almost all of it. This paper is about what we found when we audited that claim, rather than about the system itself. Three findings changed the product. The pool turned out to be sortable by document length alone, which makes precision-style metrics on it uninformative; regenerating it under a shared length budget removes that shortcut and leaves the reading-depth result standing. The four-level agreement score such systems report, ours included, is a binary probability cut at fixed thresholds, so it follows the classifier's confidence rather than its ranking and falls as labels accumulate. And uncertainty sampling, the obvious way to implement a "suggest the next CV" button, leaves model quality intact but raises the committee's total reading load above the no-label baseline, because the CVs it asks about are the ones that would otherwise be skipped. A fourth result shows where to look next: a hosted LLM embedding model lifts zero-label ordinal discrimination from 0.66 to 0.80 under length control, then stops mattering once the session model has two dozen labels; a local cross-encoder matches that cold-start gain without sending data out. We report the fixes each finding forced.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23359v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.