한국어 초록
AI 에이전트(agent)에 점점 더 많은 자율성이 부여됨에 따라 상당한 위험이 발생하고 있습니다. 흔히 제안되는 해결책은 인간의 감독(human oversight)과 인간 참여(human-in-the-loop) 상태를 유지하는 것이지만, 이는 단순한 해결책이 아닙니다. 현재의 AI 에이전트 설계 방식은 효과적인 인간 감독을 저해할 뿐만 아니라, 감독에 필요한 인지 능력 자체도 AI 시스템의 장기적인 사용으로 인해 저하되기 때문입니다. 본 입장 논문(position paper)에서는 AI 에이전트 시스템의 현재 개발 및 배포 방식이 효과적인 인간 감독을 지원하지 못하며, 오히려 감독 능력의 저하를 초래한다고 주장합니다. 이를 해결하기 위해 AI 에이전트 발전의 최우선 과제는 효과적인 인간 감독의 상황적 목표와 인지적 요구사항을 지원하는 것이어야 하며, 감독자의 인간적 요구를 AI 에이전트 역량과 동등한 수준의 중요도로 다루어야 합니다. 이러한 아이디어를 실천에 옮기기 위해, 본 논문은 자동화 및 인간-컴퓨터 상호작용(HCI) 연구를 AI 에이전트 프로세스와 연결하여 (1) 감독자가 비판적 판단을 내릴 수 있도록 지원하고 (2) 자동화의 장기적 사용으로 인해 발생하는 기술 퇴화(skill atrophy)에 대응하는 설계 수준의 행동 유도성(affordance)과 조직적 프로토콜을 제시합니다. 우리는 개발자와 배포자가 이러한 또는 유사한 접근 방식을 채택할 것을 촉구합니다. 효과적인 인간-에이전트 상호작용의 인지적 요구에 대한 명시적인 지원이 없다면, AI 에이전트 시스템은 자신이 의존하고 있는 바로 그 인간 기술의 퇴화를 수동적으로 조장하게 될 것입니다.
원문 초록
AI agents pose significant risks as they are granted increasing autonomy. A commonly proposed solution is human oversight and keeping a ''human in the loop'', but this is not a simple solution: Not only do current approaches to AI agent design impede effective human oversight, but the cognitive capacities required for it are also themselves degraded by extended use of AI systems. This position paper argues that current approaches to the development and deployment of AI agent systems do not support effective human oversight -- they contribute to its degradation. To address this, a top priority in the advancement of AI agents should be supporting the situated goals and cognitive requirements of effective human oversight, treating the human needs of overseers at the same level of importance as AI agent capability. To put this idea into practice, we connect work on automation and human-computer interaction to AI agent processes, outlining design-level affordances and organizational protocols that (1) support overseers in exercising critical judgement and (2) counteract the skill atrophy that arises from extended use of automation. We urge developers and deployers to adopt these or similar approaches. Without explicit support for the cognitive demands of effective human-agent interaction, AI agent systems will continue to passively incentivize the degradation of the very human skills they rely on.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.23642v4제출 시각 미확인
- arXiv:2608.23642v2제출 시각 미확인
- arXiv:2608.23642v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.