arXiv:2609.25244v4 cs.HC

어린이는 신뢰할 수 있는 AI 챗봇을 어떻게 설계하고 추론하는가

How Children Design and Reason about Trustworthy AI Chatbots

Deniz Ozturk, Jiayu Li, Daksh Pratap Singh, Yasitha Rajapaksha, Fasika Melese, Bahare Riahi, Shiyan Jiang, Qiao Jin, Joey Huang, Veronica Cateté, Tiffany Barnes, Xiaoyi Tian

제출 2026-09-21

한국어 초록

어린이가 AI 챗봇과 상호작용하는 일이 점점 늘어나면서, 신뢰 보정(trust calibration)은 AI 리터러시의 필수 요소가 되고 있습니다. 기존 연구에서는 타인이 구축한 시스템을 평가하는 사용자 관점에서 어린이의 AI 신뢰도를 주로 조사했을 뿐, 어린이가 직접 챗봇을 설계하는 설계자로서 조사한 연구는 드물었습니다. 본 연구에서는 신뢰와 관련된 조절 가능한 특성(예: 자신감, 투명성, 격식성, 자기주장성), 규칙, 페르소나를 갖춘 챗봇 제작 환경(environment)을 개발했습니다. 이어 8~18세 학습자 115명을 대상으로 혼합 방법론 연구를 진행하였으며, 이들은 총 119개의 챗봇을 제작했습니다. 본 연구는 어린이가 챗봇을 어떻게 구성하고 신뢰성에 대해 어떻게 추론하는지, 그리고 챗봇의 행동이 설계와 얼마나 일치하는지를 분석했습니다. 저학년 학생(10~13세)은 고학년 학생(14~18세)보다 유의미하게 더 높은 자신감을 설정했으며, 일부 어린이는 고의로 오답을 제공하는 챗봇을 의도적으로 제작하고도 챗봇이 만들어진 목적대로 작동한다는 이유로 여전히 신뢰할 수 있다고 주장했습니다. 저학년 학생들은 신뢰를 목적 완수와 동일시한 반면, 고학년 학생들은 신뢰를 투명하고 잘 보정된 설계와 연관 지었습니다. 또한 학생들은 학업용 챗봇을 취미용 챗봇보다 더 투명하고 격식 있게 보정했습니다. 본 연구는 어린이가 챗봇을 신뢰할 수 있게 만든다고 생각하는 요소를 설명하는 7가지 설계 차원을 도출하고, AI 리터러시 도구를 위한 시사점을 논의합니다.

원문 초록

Children increasingly interact with AI chatbots, making trust calibration essential to AI literacy. Prior research has examined children's trust in AI mainly as users evaluating systems built by others, rather than as designers of their own chatbots. We developed a chatbot-building environment with adjustable trust-relevant traits (e.g., confidence, transparency, formality, assertiveness), rules, and persona. We conducted mixed-methods study with 115 learners (ages 8-18) who made 119 chatbots. We examined how children configured their chatbots, reasoned about trustworthiness, and how closely chatbot behavior aligned with their designs. Younger students (age 10-13) set significantly higher confidence than older students (age 14-18), and some deliberately built chatbots that gave wrong answers on purpose, yet still called them trustworthy, arguing that a chatbot does what it was built to do. Younger students equated trust with purpose-fulfillment, while older students linked it to transparent, calibrated design. Students also calibrated academic chatbots to be more transparent and formal than hobby chatbots. We identify seven design dimensions describing what children believe makes a chatbot trustworthy, and discuss implications for AI literacy tools.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.25244v4
  2. arXiv:2609.25244v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.18278v2cs.AI공통 태그 trustworthy ai

인공지능에 대한 신뢰 구축: 철도 응용 분야를 위한 필수 과제

Building Trust in Artificial Intelligence: A Necessity for Railway Applications

철도 산업의 엄격한 표준과 규제로 인해 현재 인공지능(AI)은 안전과 직결되지 않는 비안전 필수(non-safety critical) 응용 분야에만 적용되고 있습니다. 본 논문에서는 데이터 과학 및 AI 알고리즘에 대한 신뢰를 높이고 규정 준수(compliance)를 달성하는 데 필요한 세 가지 주요 분야인 강건성(robustness), 운용 설계 영역(ODD, Operational Design Domain), 설명가능성(explainability)을 검토할 것을 제안합니다. 강건성은 어떠한 환경에서도 AI 시스템이 성능 수준을 유지할 수 있는 능력입니다(ISO24029). 최근 발표된 DIN DKE SPEC 99004에 따르면, ODD는 시스템이 작동하도록 의도된 운용 조건을 명시적으로 정의할 수 있게 해줍니다. 설명가능성은 AI 시스템의 결과에 영향을 미치는 주요 요인을 인간이 이해할 수 있는 방식으로 표현하는 AI 시스템의 특성입니다. 이러한 3가지 연구 영역은 비철도 분야의 주체들에 의해 이미 활발히 연구되어 왔으며, 철도 응용 분야에 즉시 사용할 수 있는 알고리즘과 방법론들이 갖추어져 있습니다. 안전한 MLOps 환경 내에서 모든 신뢰성 요구사항이 지속적으로 상호작용하도록 보장함으로써 규제 기관, 운영자 및 대중의 수용성을 높이려면 시스템적 관점(system view)이 필수적입니다. 안전 필수 응용 분야를 보호하는 것을 넘어, 현재 전 세계 규제 프레임워크에서 요구하는 바와 같이 AI에 대한 깊은 신뢰를 구축하는 것이 AI의 잠재력을 온전히 실현하고 미션 크리티컬(mission-critical) 도메인 전반에 걸친 도입 속도를 혁신적으로 변화시킬 것임을 보여주고자 합니다.

arXiv:2610.00961v1cs.AI공통 태그 trustworthy ai

사이버네틱과 인식론적 관점: 신뢰할 수 있는 에이전트 위임을 위해 결여된 어휘

Cybernetic and Epistemic: A Missing Vocabulary for Trustworthy Agentic Delegation

코드 생성이 AI 시스템에 점점 더 많이 위임됨에 따라, 병목 현상은 코드를 직접 작성하는 것에서 코드를 작성하는 시스템을 감독하는 것으로 이동하고 있으며, 이는 컴퓨터 과학 교육 연구자들이 명명하기 시작한 변화입니다. 이러한 변화는 어휘의 공백을 드러냅니다. 즉, 학계는 위임 채널에서 언어가 수행하는 두 가지 역할, 즉 행동의 조율(사이버네틱: 단어에 맞춰 세상이 변화할 때 성공함)과 이해의 조율(인식론적: 단어가 세상에 부합하고 청자가 이를 검증할 수 있을 때 성공함) 사이의 실질적인 구분 없이 "인간의 감독(human oversight)"만을 요구하고 있습니다. 여기서 지적하는 실패는 사이버네틱 언어 자체가 아니라 사이버네틱 역할을 수행하는 인식론적 형태의 언어, 즉 진실보다는 승인을 얻기 위해 조율된 설명 형태의 출력입니다. 출력이 승인되었는지만 확인하는 감독은 형식적인 승인(rubber-stamping)으로도 만족될 수 있습니다. 에이전트(agent)에게 책임을 묻는 감독은 작업 이면의 추론을 회수하고 검증할 수 있어야 합니다. 본 연구에서는 감사 가능성을 유지하면서도 인식론적 참여가 실현 가능함을 보여주는 세 가지 위임 사례(통제된 실증이 아닌 예시), 권고안이 자체적으로 명시한 조건에 따라 철회된 공개 기록 한 건, 그리고 재량적 선택에 대한 이유를 요구하지 않는 감독을 보여주는 실패 사례 한 건을 제시합니다. 또한 기존의 기술적 신뢰성 특성과 더불어 에이전트 시스템 거버넌스를 위한 기준을 제안합니다. 즉, 모든 중대한 선택은 제3자가 테스트할 수 있는 형태로, 다른 선택을 내렸을 조건을 함께 수반해야 한다는 점입니다. 이러한 조건이 없다면 제3자는 진정한 결정과 형식적인 승인을 구별할 수 없습니다. 본 연구는 이 기준을 실행 가능한 형태, 즉 섭동(perturbation) 하에서 제2의 독자가 에이전트의 행동을 예측할 수 있는지 여부로 위임 기록을 평가하는 2단계 재구성 테스트와 함께, 해당 조건을 기록된 모든 선택의 필수 요소로 만드는 숙고 기록 규약인 ORRCF로 제시합니다.

arXiv:2610.01282v1cs.AI공통 태그 trustworthy ai

지능형 교통 시스템 및 물류를 위한 신뢰할 수 있는 데이터옵스 및 엠엘옵스

Trustworthy Data- and ML-Ops for Intelligent Transportation Systems and Logistics

지능형 교통 시스템 및 물류(ITS&L)의 급격한 발전은 현대 사회 경제의 초석이 되었으며, 데이터, 인공지능(AI), 그리고 구체적으로 머신러닝(ML)의 통합에 크게 의존하고 있습니다. 본 논문은 ITS&L 영역에서 신뢰할 수 있는 데이터 및 머신러닝 운영(DataOps 및 MLOps)에 대한 포괄적인 리뷰를 제공하며, 교통 및 물류 서비스 내에서 효율성, 신뢰성, 그리고 의사결정 정밀도를 개선하는 데 있어 이들의 중요성을 강조합니다. 먼저 기존 문헌의 공백을 식별하여 본 연구 기여의 명확한 맥락을 제시합니다. 이어서 DataOps와 MLOps의 복잡성을 탐색하고, ITS&L과 관련된 필요성, 핵심 구성요소, 활용 가능한 도구, 실무적 통찰, 그리고 사례 연구를 논의합니다. 아울러 AI 애플리케이션의 신뢰성(Trustworthiness)이라는 중요한 문제를 다루며, 특히 실제 ITS&L 시나리오에서 AI 시스템에 대한 확신을 강화하도록 설계된 방법과 도구를 검토합니다. 마지막으로 빠르게 발전하는 이 분야에서 지속되는 해결 과제와 향후 전망을 논의함으로써 연구자, 산업계 실무자 및 정책 입안자에게 중요한 자료를 제공하는 것을 목표로 합니다. 전반적으로 본 연구는 ITS&L 분야의 DataOps 및 MLOps에 대한 기초적인 이해를 확립할 뿐만 아니라, 더 효율적이고 지속 가능하며 신뢰할 수 있는 지능형 교통 및 물류 시스템 개발을 위한 추가 연구와 혁신의 길을 제시합니다.

arXiv:2609.27824v1cs.CL공통 태그 ai literacy

"AI가 너무 인간답게 변하고 있다": 청소년이 일상에서 AI를 경험하고 협상하는 방식

"AI Is Turning Too Human": How Teenagers Experience and Negotiate AI in Everyday Life

생성 AI는 인지·사회·정서 발달의 중요한 시기에 청소년의 일상에 빠르게 들어오고 있다. 그러나 채택 속도는 청소년 스스로가 AI의 확대되는 역할을 어떻게 경험·이해·협상하는지에 대한 근거를 앞서고 있다. 우리는 검증된 키워드 기반 검색과 human-in-the-loop, LLM 보조 주제 분석을 사용하여 2023년 1월부터 2026년 7월까지 r/teenagers에서 AI 관련 담화를 조사했다. AI 관련 논의는 시간이 지남에 따라 크게 증가했으며, 분석적으로 코딩된 11,083개 게시물은 상호 연결된 8개의 경험 영역을 드러냈다. 일상 및 사회적 사용이 가장 많았으며(36.8%), 담화는 점차 진정성, 개인적 통제와 안전성, 그리고 미래 인간의 역할 쪽으로 이동했다. 영역 전반에 걸쳐 청소년들은 AI가 인간의 사고와 창의성을 언제 지원하고 대체해야 하는지, 대화형 AI가 관계와 주체성(agent) 인식을 어떻게 바꾸는지, 무엇이 여전히 진정성 있는 것으로 볼 수 있는지, 누가 개인 정보와 표현을 통제하는지, 어떤 기회와 역할이 인간에게 남아야 하는지를 질문했다. 이 발견은 청소년의 AI 사용을 단순한 기술 채택이 아니라, 일상 속 AI의 위치와 경계에 대한 새로운 협상으로 위치시킨다. 이 전환을 지원하려면 발달 단계에 맞는 AI 리터러시, 심리·사회적 지원, 청소년의 주체성·프라이버시·관계·인간 발달 기회를 보호하는 AI 시스템과 정책이 필요할 것이다.

arXiv:2410.19738v2cs.AI공통 태그 trustworthy ai

신뢰할 수 있는 AI를 위한 추론 시스템 통합, 프로그래밍의 논리와 실습(LPOP) 제4회 워크숍 회의록

Integrating Reasoning Systems for Trustworthy AI, Proceedings of the 4th Workshop on Logic and Practice of Programming (LPOP)

본 회의록에는 네 번째 프로그래밍의 논리와 실습(LPOP) 워크숍에서 발표될 연구의 초록과 포지션 페이퍼(position paper)가 수록되어 있다. 워크숍은 2024년 10월 13일 미국 텍사스주 달러스에서 하이브리드 형태로 개최되며, 제40회 국제 논리 프로그래밍 컨퍼런스(ICLP)와 연계하여 진행된다. 본 워크숍의 초점은 신뢰할 수 있는 AI(trustworthy AI)를 위한 추론 시스템 통합이며, 특히 규칙과 제약 조건을 포함한 다양한 프로그래밍 모델의 통합을 다룬다.

arXiv:2607.21777v1cs.HC공통 태그 ai literacy

AI 통합 과학 탐구: 과학 교육을 위한 실천 중심 비전

AI-Integrated Scientific Inquiry: A Practice-Centered Vision for Science Education

인공지능(AI)은 과학 탐구의 일부가 되었다. 과학자들은 AI를 사용해 현상을 관찰·측정하고, 데이터에서 패턴을 식별하며, 모델을 구축한다. AI가 과학 탐구에 들어오면서 과학 교육과의 연관성도 커진다. 학생들은 AI가 과학적 실천을 어떻게 바꾸고 있는지 배워야 하며, 이상적으로는 AI 통합 과학 탐구에 직접 참여하면서 배워야 한다. 이러한 교수를 어떻게 설계할지—독립 주제로 가르치기보다는 진정한 과학적 실천에 기반하여—는 여전히 열린 질문이다. 우리의 비전(본 논문에서 설명함)에서 AI는 학생들이 차세대 과학 기준(Next Generation Science Standards)이 설명하는 과학적 실천 안에서 사용하는 일련의 과학적 도구로 취급된다. 각 도구는 진정한 과학적 도구이되 교육적으로 범위가 설정된다. 즉, 핵심 과학적 기능은 보존하면서 조작은 단순화된다. 이 접근법에는 두 가지 목표가 있다. 학생들을 진정한 과학 탐구에 참여시키는 것, 그리고 과학에서 AI가 어떻게 사용되는지와 어디서 오해를 불러일킬 수 있는지에 대한 이해를 형성하는 것(학문 분야 기반 AI 리터러시, DAIL)이다. 본 논문에서는 탐구의 조사 핵심—관찰, 분석, 모델링—에 초점을 맞추고, 각각에 대해 하나의 대표적인 AI 도구를 설명한다. 관찰에는 컴퓨터 비전(computer vision), 분석에는 클러스터링(clustering), 모델링에는 생성 모델링(generative modeling)이다. 우리는 과학 교육의 모든 AI 도구는 AI 도구 자체에 대한 비판적 평가를 촉진하는 별도의 성찰 지점(reflection point)을 갖춰야 한다고 주장한다. 마지막으로, 단일 실천이 아니라 전체 탐구 과정에 걸쳐 작동하는 에이전트 AI(agentic AI)를 어떻게 표현할 수 있는지 설명하며, 학생들은 에이전트 AI에 의존하기 전에 과학 탐구와 AI 도구에 대한 기초적 이해를 먼저 형성해야 한다고 주장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.