arXiv:2607.00523v1 cs.HC

AI, Trust, and Teaming: The Humans-as-Handlers Approach for Autonomous and Opaque AI Systems

Nathan G. Wood

제출 2026-07-01

원문 초록

Artificial intelligence (AI) is becoming ubiquitous, and across domains, increasingly autonomous systems are carrying out tasks which raise significant ethical and legal challenges which demonstrate a need for strong human-machine teams rooted in trust. In this article, I argue that within highly impactful areas (such as medicine or warfighting) there are grounds for us initially treating autonomous and opaque systems as relevantly analogous to dogs (or other animals with which we have close relationships). Under this analogy, humans making use of these systems are not to be viewed as "users" or "deployers" of these systems, but instead take the role of "handlers". This recasting of roles shifts the way we view humans, AI-enabled and autonomous systems, and the relations between them, and moreover clarifies the clear and traceable lines of responsibility humans have for the outcomes brought about when using these systems. In developing this point, I clarify that the machine-animal analogy does admit disanalogous elements, but that its touch-points ground it as a starting point. I then explore how we can divest the humans-as-handlers approach of those aspects of our relationships with animals which are unfitting for how we engage with and make use of autonomous and AI-enabled systems. I conclude by arguing that the trajectory of human-machine teamings for autonomous and AI-enabled systems should be a state where we authentically view these not as artifacts which we simply make use of, but as collaborators with which we pursue complex goals and carry out complex tasks.

요약

의료·국방 등 고위험 영역에서 불투명한 자율 AI 시스템을 다루는 인간의 역할을 단순한 "사용자"나 "배포자"가 아닌 동물 핸들러(handler)에 비유하는 새로운 인간-기계 협업 프레임워크를 제안하며, 이 "Humans-as-Handlers" 접근법이 신뢰(trust) 구축과 책임 소재의 명확화에 어떻게 기여하는지를 논한다. 궁극적으로는 AI 시스템을 단순한 도구가 아닌 복잡한 목표를 함께 수행하는 협업자로 바라보는 방향으로 인간-기계 팀 구성의 궤도가 나아가야 함을 주장한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.00523v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.14522v2cs.AI공통 태그 Decision Making, Fairness, ai ethics

참여형 도덕 AI는 중립적이지 않다: 개발자의 보이지 않는 손

Participatory Moral AI Is Not Neutral: The Invisible Hand of Developers

AI 시스템이 사회 전반에서 도덕적으로 민감한 결정을 더 많이 내리게 되면서, 이에 대한 한 가지 대응으로 도덕적 선호 유도(moral preference elicitation)가 등장했다. 이 접근에서는 연구자가 참가자들에게 가상의 딜레마에 대해 설문하고, 집계된 투표를 사용해 정책을 학습시킨 뒤 AI 모델이 이를 대규모로 적용한다. 투표가 이루어지기 전에 개발자는 도덕 AI 유도 파이프라인에서 세 가지 핵심 선택을 한다. 특징 범위 설정(feature scoping), 투표자 표본 추출(voter sampling), 질문 프레이밍(question framing)이다. 즉, 어떤 특징을 투표에 올릴지, 어떤 투표자를 포함할지, 질문을 어떻게 제시할지를 결정한다. 이러한 선택은 종종 불투명하고 문서화되지 않으며, 규범적 문제라기보다 기술적 세부사항으로 취급된다. 우리는 공통의 실증 연구 안에서 이 선택들 각각을 검토하고, 각각이 도덕 AI 유도로 산출되는 선호를 형성할 수 있음을 보인다. 세 가지 배포 맥락(즉, AI 신장 배분, 부재 근로자를 시뮬레이션하는 AI 에이전트, 고인의 생성 AI 묘사)에서 두 단계(N = 809)에 걸쳐 도덕 AI 유도 파이프라인의 세 주요 단계를 검토한다. 첫째, 도덕적으로 관련 있는 특징은 맥락에 따라 달라진다. 이는 특징 스키마가 배포 도메인 간에 전이된다고 가정해서는 안 됨을 시사한다. 둘째, 대략 특징의 1/3에서 정치 이념에 따라 선호가 다르며, 일부 차이는 방향이 역전된다. 따라서 투표자 풀의 이념적 구성은 집계된 선호 프로파일에 영향을 줄 수 있다. 셋째, 유도 질문의 문구는 이념 격차를 최대 한 척도 단위까지 좁히거나 넓힐 수 있다. 프레이밍 조건은 또한 도덕 기반(moral foundations)이 참가자의 판단과 연관되는 방식도 바꾼다. 종합하면, 이러한 결과는 투표 기반 정렬(alignment)이 집계만으로는 공정하거나 투명한 AI를 제공할 수 없음을 시사한다. 최소한 도덕 AI 유도 파이프라인의 각 단계는 감사되고 공개되어야 한다.

arXiv:2610.11008v1physics.soc-ph공통 태그 Decision Making, Fairness

LLM 에이전트가 자신의 그룹을 선호하는 이유: 이해관계, 관찰된 규범, 그리고 평판

Why LLM Agents Favor Their Group: Stakes, Observed Norms, and Reputation

언어 모델 에이전트는 자신이 속한 그룹의 구성원들이 서로를 우대하는 모습을 지켜봐 왔기 때문에 자신의 그룹을 선호한다. 결정에 비용이 수반되는 순간 그룹 라벨 자체는 거의 영향을 미치지 않는다; 편애를 유발하는 것은 관찰된 행동이며, 개인의 기록이 이를 압도할 수 있다. 우리는 임의의 그룹 라벨과 10라운드의 포인트 공유, 그리고 짝지어진 단발성(one-shot) 결정으로 구성된 소규모 사회에서 열다섯 개의 OpenAI 모델과 세 개의 Claude 모델에 걸쳐 이를 검증했으며, 약 4,400개의 사회와 330만 건의 감사된(audited) 모델 호출을 분석했다. 첫째, 선행 연구에서 보고된 단순 그룹 라벨의 큰 효과는 다른 구성원에게 포인트를 주는 것이 에이전트에게 아무런 비용이 들지 않을 때에만 나타난다; 에이전트가 포인트를 자신을 위해 보유할 수 있게 되면, 그 효과를 보였던 모든 모델에서 효과가 사라진다. 둘째, 이해관계(stake)가 존재하는 상황에서는 상호작용 기록(interaction history)이 편애의 주된 원인이 된다: 기록 효과는 15개 모델 중 13개에서 통계적으로 양(positive)의 값을 보이며, 11개 모델에서는 10점 중 약 3.5~8점에 달하고, 진행된 라운드 수가 늘어날수록 커지며, 에이전트가 한 번도 만난 적 없는 동일 라벨의 낯선 구성원에게까지 확장된다. 셋째, 스크립트로 구성된(scripted) 기록 하에서는 평등주의적 규범(egalitarian norm) 아래 편애가 거의 0에 가깝게 떨어지며, 에이전트 자신의 그룹이 반대편을 우대하는 것으로 관찰될 경우 편애가 반전된다; 더 강력한 모델일수록 개인의 기록이 그룹과 충돌할 때 개인의 기록 편에 선다. 따라서 그룹 편애는 관찰된 그룹 행동에 대한 동조(conformity)이며, 라벨을 통해 낯선 이에게까지 전이되고 개인의 평판에 의해 압도된다. 동일한 설명은 배신, 스캔들, 그리고 그룹 변경에 대한 무상 제안(free offer)에 대한 반응도 예측한다: 공개적 질책(public reprimand)은 사과나 보상(restitution)보다 배신을 더 효과적으로 회복시키며, 배분상의 처벌(allocation punishment)은 가해 구성원에게만 국한되고, 이미 형성된 그룹은 매수될 수 없지만 더 약한 모델에서는 다른 곳으로 초대되어 이탈할 수 있다.

arXiv:2609.27690v3cs.CL공통 태그 Decision Making, Fairness

합성 연구 검증에서의 중대한 행동과 표상적 공정성

Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research

산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.

arXiv:2610.01963v1cs.AI공통 태그 Decision Making, Fairness

임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사

Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage

응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.

arXiv:2610.01243v1cs.CV공통 태그 Decision Making, Fairness

판사가 행동할 때: 문화적 맥락의 프롬프트에서 VLM 기반 이미지 선택 감사하기

When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts

비전-언어 모델(VLM)이 생성된 여러 이미지 중 최선의 이미지를 선택하는 판사(judge) 역할을 수행하는 경우가 점차 늘어나면서, 이들의 선택이 사용자가 보게 되는 결과를 결정짓고 있습니다. 이러한 판사는 대개 자신이 반환하는 이미지가 아니라 인간의 평가 점수와의 일치도를 바탕으로 검증됩니다. 본 연구에서는 의사결정자로서의 VLM 판사를 감사(audit)합니다. 문화적 맥락이 담긴 300개의 프롬프트를 대상으로, 판사가 반환한 이미지를 판사가 사전에 보지 않은 인간 평가 및 동일한 후보군에서의 무작위 선택과 비교하고, 후보의 순서를 바꾸어 모든 결정을 반복 평가합니다. 40억(4B) 매개변수 판사는 무작위 선택을 겨우 넘어서는 수준에 그치며 CLIP 유사도 기준선에 미치지 못합니다. 이 판사는 호출의 49%에서 첫 번째로 제시된 이미지를 선택하며(무작위 확률: 28%), 순서를 변경할 경우 60%의 프롬프트에서 선택이 바뀝니다. 이 판사의 경우 순서 간의 일치 여부가 유의미한 정보를 제공합니다. 순서 재배치에도 유지되는 결정은 무작위보다 훨씬 우수한 반면, 더 성능이 낮은 두 번째 판사와의 일치도를 기준으로 삼으면 잘못된 결정이 그대로 남게 됩니다. 80억(8B) 판사는 위치 바이어스가 거의 나타나지 않으며 CLIP을 능가하지만, 이 판사에서는 동일한 필터를 적용할 경우 오히려 좋은 결정을 대부분 버리게 됩니다. 일치도는 판사의 실패 모드를 정확히 겨냥할 때만 도움이 되므로, 판사가 변경될 때마다 필터를 다시 감사해야 합니다. 4B 판사에서 소폭 증가했던 고정관념 평가는 여러 순서에 걸쳐 집계하거나 더 큰 판사와 결합한 후에는 더 이상 감지되지 않습니다.

arXiv:2609.24927v1cs.AI공통 태그 Decision Making, Fairness

Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류

Et Tu, Brute? Economic Misalignment in Personal AI Agents

개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.