arXiv:2610.10352v1 cs.AI

핸드오버 문제: 인간-AI 협업에서 자율성 전이의 거버넌스

The Handover Problem: Governing Autonomy Transitions in Human-AI Collaboration

Vicente Pelechano, Antoni Mestre, Manoli Albert, Miriam Gil

제출 2026-10-07

저자 비고

arXiv Comments

10 pages, 5 figures, 8 tables. Submitted to IEEE Transactions on Human-Machine Systems

한국어 초록

인간-기계 시스템이 고정된 수준의 AI 자율성으로 작동하는 경우는 드뭅니다. 작업자와 AI 시스템이 시간에 따라 협업함에 따라 제어권의 이동이 필요합니다. 즉, 협업이 안정적일 때는 AI가 더 많은 책임을 맡을 수 있고, 근거가 모호할 때는 현재의 역할을 유지하며, 조건이 악화될 때는 인간에게 제어권을 반환할 수 있습니다. 적응형 자동화, 감독 제어, 자동화에 대한 신뢰, 탈숙련화(deskilling)에 관한 기존 연구는 이 문제의 일부를 설명하지만, 다중 주기 워크플로 전반에서 언제 자율성이 변경되어야 하는지를 통제하기 위한 감사 가능하고 다중 신호 기반의 기준을 제공하지는 못합니다. 본 연구에서는 이 과제를 핸드오버 문제(Handover Problem)로 공식화합니다. 이는 프로세스를 가역적이고 복구 가능하며 감사 가능하게 유지하면서, 각 운영 주기마다 AI 자율성을 격상할지, 유지할지, 또는 되돌릴지를 결정하는 문제입니다. 우리는 작업자 준비도, 인간-AI 신뢰, 학습 안정성, 운영 성능이라는 네 가지 신호 차원을 통합하는 투명한 복합 척도인 핸드오버 준비도 점수(HRS)를 도입합니다. 이는 자율성을 높이기 전에는 지속적인 긍정적 증거를 요구하지만 조건이 악화될 때는 즉각적으로 되돌리는 이력현상(hysteresis) 기반 전이 정책과 결합됩니다. 소프트웨어 공학 및 제조 분야 전반에 걸쳐, HRS와 엄격한 안전 보호 장치(safety guard)는 상호 보완적인 실패 영역을 해결합니다. 즉, 보호 장치는 단일 지표가 임계값을 위반할 때 즉각적인 시정 조치를 강제하는 반면, HRS는 개별 보호 장치로는 관찰할 수 없는 작업자 준비도의 느리고 다중 신호에 걸친 저하를 감지합니다. 이 프레임워크는 자율성 핸드오버를 명시적이고 복합적이며 감사 가능한 기준이 필요한 거버넌스 문제로 확립합니다. 이는 기존의 적응형 자동화 연구에서 제공하지 못했던 개념적 및 형식적 기반을 제공합니다.

원문 초록

Human-machine systems rarely operate at a fixed level of AI autonomy. As operators and AI systems collaborate over time, control must shift: the AI can take on more responsibility when collaboration is stable, maintain its current role when evidence is ambiguous, or return control to the human when conditions deteriorate. Existing work on adaptive automation, supervisory control, trust in automation, and deskilling explains parts of this problem, but provides no auditable, multi-signal criterion for governing when autonomy should change across multi-cycle workflows. We formalise this challenge as the Handover Problem: deciding, at each operational cycle, whether to escalate, maintain, or revert AI autonomy while keeping the process reversible, recoverable, and auditable. We introduce the Handover Readiness Score (HRS), a transparent composite measure that integrates four signal dimensions: operator readiness, human-AI trust, learning stability, and operational performance. It is combined with a hysteresis-based transition policy that requires sustained positive evidence before increasing autonomy but reverts promptly when conditions worsen. Across software engineering and manufacturing domains, the HRS and hard safety guards address complementary failure regimes: guards enforce immediate corrective action when a single indicator breaches a critical threshold, while the HRS detects the slow, multi-signal erosion of operator readiness that no individual guard can observe. The framework establishes autonomy handover as a governance problem requiring explicit, composite, and auditable criteria. This provides a conceptual and formal foundation that adaptive automation research has not previously provided.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10352v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.