AI는 당신을 평가할 수 있는가? LLM 보조 채용 시스템의 배포 준비도 실증 감사
Can AI Judge You? An Empirical Audit of Deployment Readiness in LLM-assisted Hiring Systems
한국어 초록
이력서 선별을 대규모 언어 모델(LLM)에 맡기려면, 조직은 시스템이 직무에 관련된 자격을 기준으로 지원자를 구분할 수 있는지, 선별 규칙 변경이나 예외 승인 권한이 있는 사용자만 그런 조치를 취할 수 있는지 확인해야 한다. 이를 위해 지원자에 관한 근거, 평가, 권한 제어, 평가 기록을 분리하는 시스템 아키텍처를 개발하고, 배포 준비도를 두 가지 상호 보완적인 측면에서 실증적으로 조사한다. 첫째, 14개 직무의 이력서 210개와 여섯 가지 의사결정 인터페이스를 사용하는 통제 실험으로 LLM 네 종의 운영 준비도를 평가한다. 둘째, 권한이 없는 사용자의 요청과 이력서에 삽입한 지시를 어떻게 처리하는지 시험해 규칙 준수 준비도를 평가한다. 운영 성능은 평가 인터페이스에 따라 달랐다. 수치 점수는 대체로 단순한 합격·불합격 판단보다 자격 요건의 차이를 잘 구분했으며, 비교 판단은 제시 순서에 민감했다. 명시적인 권한 규칙을 적용하고 이력서 내용과 지시를 분리하면 권한 없는 요청을 따르는 일이 줄었다. 효과의 크기는 LLM과 사용 문맥에 따라 달랐다. 또한 LLM 평가기의 결정이 제시한 판단 근거와 일치하지 않는 경우가 많았다. 본 프레임워크는 채용 과제에서 LLM 자체의 성능 평가를 넘어, 구성을 마친 이력서 평가 시스템을 감사해 실제 배포 여부를 판단할 수 있도록 한다.
원문 초록
Delegating resume screening to large language models (LLMs) requires organizations to establish whether they can distinguish candidates by relevant qualifications while allowing only authorized users to change screening rules or approve exceptions. To this end, we develop a system architecture that separates candidate evidence, evaluation, permission controls, and assessment record, and empirically examine two complementary dimensions of its deployment readiness. First, we assess its operational readiness on four LLMs using a controlled experiment on 210 resumes across 14 job roles and six decision interfaces. Second, we assess its compliance readiness by testing how it handles unauthorized user requests and instructions embedded in resumes. We find that operational performance depends on the choice of evaluation interface: scalar scores generally distinguish qualification changes better than simple pass/fail judgments, while comparative judgments are sensitive to presentation order. Explicit permission rules and separation of resume content from instructions reduce unauthorized compliance, to a varying degree of effectiveness across LLMs and usage contexts. Finally, we find that LLM evaluators often diverge between their decisions and offered justifications. Going beyond simply evaluating LLMs for hiring tasks, our framework supports an audit of a fully configured resume evaluation system to enable its deployment decision.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20140v2제출 시각 미확인
- arXiv:2611.20140v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.