PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10770v1cs.HC

AI 매개 자아: 인간-컴퓨터 상호작용(HCI)이 자아를 정의하고 관계 맺는 방식

AI-Mediated Self: How HCI Defines and Relates to the Self

AI는 우리가 자아(self)를 이해하고 경험하는 방식을 어떻게 변화시킬 수 있을까요? 본 주제 범위 고찰(scoping review)에서는 102편의 논문을 분석하여 인간-컴퓨터 상호작용(HCI) 분야에서 자아가 어떻게 정의되는지, AI와 자아의 관계가 어떻게 개념화되는지, 그리고 AI가 자아성과 얽힐 때 어떠한 위험이 발생하는지 살펴봅니다. 본 연구의 종합적 고찰은 세 가지 기여점을 제시합니다. 첫째, 교육, 직장, 건강, 창작 활동 전반에 흩어져 있는 연구들을 연결하는 개념적 포괄 개념(umbrella term)으로서 'AI 매개 자아(AI-mediated self)'를 정의합니다. 둘째, 자아에 대한 여섯 가지 프레이밍을 주체성/자율성, 정체성/저작권(authorship), 관계적 역량, 의미 부여라는 네 가지 윤리적 위험 영역과 통합하여, 다양한 맥락에서 재사용 가능한 어휘를 제공하는 개념도를 구축합니다. 셋째, AI와 자아의 관계를 근접성 스펙트럼상에 위치시키는 'AI-자아 포함(Inclusion of AI-Self)' 프레임워크를 도입합니다. 이러한 기여점들을 종합하여, 본 연구는 자아성을 HCI의 핵심 디자인 공간으로 자리매김합니다.

arXiv:2506.09354v5cs.HC

"이 사람이 정말 인간 동료 지원가인가요?": LLM 지원 상호작용에서 동료 지원가와 전문가 간의 불일치

"Is This Really a Human Peer Supporter?": Misalignments Between Peer Supporters and Experts in LLM-Supported Interactions

정신 건강은 전 세계적으로 커져가는 문제이며, 이는 심리사회적 지원에 대한 접근성을 확대하기 위한 AI 기반 솔루션에 대한 관심을 불러일으키고 있습니다. 실제 경험에 기반한 동료 지원(peer support)은 전문적인 치료를 보완하는 귀중한 대안을 제공합니다. 그러나 훈련(training), 효과성, 정의의 다양성으로 인해 품질, 일관성 및 안전성에 대한 우려가 제기됩니다. 대규모 언어 모델(LLM)은 특히 실시간 텍스트 기반 상호작용에서 동료 지원 상호작용을 향상시킬 수 있는 새로운 기회를 제공합니다. 본 논문에서는 LLM으로 시뮬레이션된 고통받는 내담자(SimClient), 문맥을 고려한 LLM 생성 제안(Suggestions), 실시간 감정 시각화 기능을 갖춘 AI 지원 시스템을 제시하고 평가합니다. 12명의 동료 지원가와 6명의 정신 건강 전문가를 대상으로 한 2건의 혼합 연구 방법(mixed-methods)을 통해 시스템의 효과성과 실무적 시사점을 검토했습니다. 두 그룹 모두 교육을 강화하고 상호작용 품질을 개선할 수 있는 잠재력을 인정했습니다. 그러나 우리는 핵심적인 긴장 관계가 나타남을 발견했습니다. 동료 지원가들은 유의미하게 참여한 반면, 전문가들은 고통 신호 누락 및 조급한 조언 제공 등 동료 지원가의 응답에서 나타나는 중대한 문제점들을 일관되게 지적했습니다. 이러한 불일치는 특히 안전성과 모범 사례 준수가 필수적인 감정적으로 격앙된 상황에서 현재 동료 지원 교육의 잠재적 한계를 부각합니다. 본 연구 결과는 특히 동료 지원이 전 세계적으로 확장됨에 따라 표준화되고 심리학적 근거를 갖춘 교육의 필요성을 강조합니다. 또한 세심하게 설계되고 전문가의 감독을 받는다면 LLM 지원 시스템이 이러한 역량 개발을 어떻게 뒷받침할 수 있는지 보여줍니다. 본 연구는 정신 건강 분야에서의 책임 있는 AI 통합과 동료 제공 치료를 증강하는 LLM의 진화하는 역할에 관한 새로운 논의에 기여합니다.

arXiv:2610.02631v1cs.AI

생성형 AI를 위한 사용자 피드백의 미래 설계

Designing the Future of User Feedback for Generative AI

배포 후 사용자 피드백은 생성형 AI 시스템과 기능을 모니터링하고 개선하기 위한 비용 효율적이며 확장 가능하고 대표성 있는 수단이 될 수 있습니다. 효과적으로 구현될 경우, 이러한 피드백 제공은 생성형 AI(GenAI) 시스템에 대한 사용자의 참여도와 신뢰를 높일 수 있습니다. 정부 규제와 업계 가이드라인은 배포 후 사용자 참여를 요구하고 있지만, 소비자가 사용하기 쉽고 제품 팀에는 실행 가능한 인사이트를 제공하는 메커니즘을 설계하는 데 대한 지침은 거의 없습니다. 본 연구는 학계 연구진과 eBay 간의 협업을 통해 다단계 연구를 수행했습니다. 현재 업계 접근법에 대한 벤치마크 평가를 통해 발견 용이성(discoverability) 부족, 불명확한 용어, 사용자 가치에 대한 무관심 등의 공통적인 문제를 확인했습니다. 이러한 발견을 바탕으로 모범 사례 권고안을 개발하고 프로토타입 피드백 수집 도구를 설계 및 테스트했습니다. 이 도구는 사용자에게 효율적이고 유연하며 긍정적인 피드백 제공 경험을 선사하고, 제품 팀에는 성능과 잠재적 문제에 대한 풍부한 데이터를 활용 가능한 형태로 제공하는 것을 목표로 합니다.

arXiv:2610.00163v1cs.HC

AI가 재단실을 떠날 때: 대규모 언어 모델(LLM) 조언자가 복잡한 문제 해결에 남기는 영향 측정

When the AI Leaves the Tailorshop: Measuring What an LLM Advisor Leaves Behind in Complex Problem Solving

복잡한 문제 해결은 효과적으로 행동하는 것과 시스템의 작동 방식을 이해하는 것에 달려 있습니다. AI의 조언은 이러한 결과들을 불균등하게 지원할 수 있습니다. 사전 등록된 두 건의 실험에서 대규모 언어 모델(LLM) 조언자의 지원을 받거나 받지 않은 상태로 시뮬레이션 의류 공장을 관리하는 참가자들을 비교했습니다. 연구 전반에서 AI 지원을 받은 참가자들은 더 적은 노력으로 더 높은 자신감과 이해도를 보고했습니다. 첫 번째 연구(N=200)에서 AI 지원은 기업 가치를 높였으나 예측 정확도에서는 감지 가능한 차이를 만들어내지 못했습니다. 지원이 중단된 후, 이전에 지원을 받았던 참가자들은 이전 선택을 반복하는 것을 기준으로 점수를 매겼을 때는 통제군보다 우수한 성과를 보였으나 기본 설정을 기준으로 했을 때는 그렇지 않았습니다. AI 지원 그룹 내에서는 추천을 더 자주 수정할수록 지원 없는 상태에서의 성과가 더 우수할 것으로 예측되었습니다. 두 번째 연구(N=198)에서 AI 지원을 받은 참가자들은 파산 빈도가 낮았으며 사전 등록된 분석에서 약간의 지식 우위를 보였는데, 이는 주로 지급 능력을 유지한 것과 관련이 있었습니다. AI 지원 그룹 내에서는 추천을 더 자주 수정할수록 더 높은 지식을 보일 것으로 예측되었습니다. 응용 인간-AI 상호작용(HAI) 평가는 AI 지원을 통해 달성한 성과뿐만 아니라 사용자의 이해도와 독립적인 역량도 함께 평가해야 합니다.

arXiv:2505.08894v2cs.HC

WaLLM -- WhatsApp 기반 범용 LLM의 사용 및 참여도 이해

WaLLM -- Understanding Use and Engagement with a General-Purpose LLM on WhatsApp

대규모 언어 모델(LLM) 챗봇이 메시징 플랫폼(예: WhatsApp)을 통해 사용자에게 점점 더 많이 다가가고 있습니다. 그러나 이러한 시스템은 대체로 독점적이고 불투명한 상태로 남아 있으며, 학술 연구는 좁은 특정 도메인 전용 어시스턴트에 집중되어 왔습니다. 이로 인해 사람들이 범용 LLM을 어떻게 사용하고 그러한 시스템을 어떻게 설계해야 하는지에 대한 의문이 여전히 남아 있습니다. 이러한 간극을 해소하기 위해, 본 연구에서는 범용 LLM 챗봇인 WaLLM을 개발하고 실제 환경에서의 개방형 AI 사용을 연구하기 위한 디자인 프로브(design probe)로서 WhatsApp에 배포했습니다. 연구 결과, 건강 및 웰빙 관련 질문이 가장 큰 비중을 차지하여 사용자들이 조언과 정보를 얻기 위해 WaLLM을 찾았음을 보여주었습니다. 참여도(engagement) 기능들은 도입률과 관련된 사용 패턴에서 차이를 보였습니다. 능동적 커뮤니케이션(proactive communication)은 서비스의 가시성을 지원하고 더 높은 사용자 활동과 상관관계를 보인 반면, 공유 목록(communal lists)은 콘텐츠 탐색을 촉진했습니다. 본 논문에서는 이러한 기능들이 WhatsApp의 행동 유도성(affordance)에 어떻게 적응되었는지를 보고하고, 메시징 플랫폼 기반 범용 LLM 서비스를 설계하기 위한 시사점을 논의합니다.

arXiv:2609.27824v1cs.CL

"AI가 너무 인간답게 변하고 있다": 청소년이 일상에서 AI를 경험하고 협상하는 방식

"AI Is Turning Too Human": How Teenagers Experience and Negotiate AI in Everyday Life

생성 AI는 인지·사회·정서 발달의 중요한 시기에 청소년의 일상에 빠르게 들어오고 있다. 그러나 채택 속도는 청소년 스스로가 AI의 확대되는 역할을 어떻게 경험·이해·협상하는지에 대한 근거를 앞서고 있다. 우리는 검증된 키워드 기반 검색과 human-in-the-loop, LLM 보조 주제 분석을 사용하여 2023년 1월부터 2026년 7월까지 r/teenagers에서 AI 관련 담화를 조사했다. AI 관련 논의는 시간이 지남에 따라 크게 증가했으며, 분석적으로 코딩된 11,083개 게시물은 상호 연결된 8개의 경험 영역을 드러냈다. 일상 및 사회적 사용이 가장 많았으며(36.8%), 담화는 점차 진정성, 개인적 통제와 안전성, 그리고 미래 인간의 역할 쪽으로 이동했다. 영역 전반에 걸쳐 청소년들은 AI가 인간의 사고와 창의성을 언제 지원하고 대체해야 하는지, 대화형 AI가 관계와 주체성(agent) 인식을 어떻게 바꾸는지, 무엇이 여전히 진정성 있는 것으로 볼 수 있는지, 누가 개인 정보와 표현을 통제하는지, 어떤 기회와 역할이 인간에게 남아야 하는지를 질문했다. 이 발견은 청소년의 AI 사용을 단순한 기술 채택이 아니라, 일상 속 AI의 위치와 경계에 대한 새로운 협상으로 위치시킨다. 이 전환을 지원하려면 발달 단계에 맞는 AI 리터러시, 심리·사회적 지원, 청소년의 주체성·프라이버시·관계·인간 발달 기회를 보호하는 AI 시스템과 정책이 필요할 것이다.

arXiv:2508.09297v4cs.HC

바이어스가 있는 AI는 인간 성과를 향상시키지만 인식된 유용성은 낮춘다

Biased AI improves human performance but reduces perceived helpfulness

인공지능(AI)은 사람들이 생각하고, 참여하고, 정보를 평가하는 방식에 점점 더 큰 영향을 미친다. 위험을 최소화하기 위해 현재 대부분의 시스템은 표준화된 출력과 함께 이념적으로 중립적으로 보이도록 설계되어 있다. 그러나 늘어나는 증거는 이러한 원칙이 인지적 참여를 억압하고, 인간의 의사결정을 저해하며, 사회적 다양성을 약화시킨다고 시사한다. 여기서 우리는 AI 어시스턴트에 의도적으로 바이어스를 주입하는 반대 접근법을 검증한다. 5,000명의 참가자를 대상으로 한 세 번의 무작위 실험에서, 바이어스가 있는 AI는 허위정보 평가, 금융 투자, 대학원 교육에 이르는 과제에서 기본 및 중립 AI 대비 인간의 수행을 향상시켰다. 이러한 이득에는 주관적 대가가 수반되었다. 참가자들은 시스템의 실제 행동과 관계없이, 바이어스가 있다고 믿는 AI를 체계적으로 과소평가하고 중립적이라고 믿는 AI의 유용성을 부풀렸다. 참가자 자신의 관점을 양쪽에서 감싸는 바이어스를 가진 두 AI와 상호작용하면, 성과 향상은 유지하면서 주관적 대가와 일방적 영향을 제한했다. 우리의 발견은 AI 설계에서 의도적 바이어스의 전략적 가치를 보여준다. 단일하고 공정하며 신뢰할 수 있고 권위 있는 목소리 하나를 내는 대신, 특정 관점에서 말하는 AI는 인지적 주체성을 촉발하고 판단, 의사결정, 문제 해결에서 인간-AI 수행을 높인다.

arXiv:2509.10847v3cs.CL

재미있는 동반자: AI 귀속 유머와 인간 귀속 유머에 대한 상이한 신경 반응

A funny companion: Distinct neural responses to AI- versus human-attributed humor

인공지능(AI) 동반자가 농담을 포함한 인간과 유사한 의사소통을 할 수 있게 되면서, 사람들이 AI 귀속 유머에 대해 인지적으로·정서적으로 어떻게 반응하는지 이해하는 것이 점점 더 중요해지고 있다. 본 연구는 EEG를 사용하여 참가자들이 AI 에이전트 또는 인간에 귀속된 말장난(pun)과 대조군을 어떻게 처리하는지 비교했다. 상호작용 과제에서 참가자들은 대화 상대가 펀치라인을 공개하기 전에 농담 설정에 기반해 펀치라인을 추측했다. 행동 분석 결과, 참가자들은 AI 귀속 유머와 인간 귀속 유머를 비슷한 수준으로 재미있다고 평가했다. 그러나 신경생리학적 데이터는 AI 귀속 유머가 인간 귀속 유머에 비해 감소되고 지속적인 N400 효과를 유발했으며, 이는 의미적 충돌 탐지 및 해결에 필요한 인지적 노력이 줄었거나 피드백 관련 처리가 약화되었음을 시사한다. 이는 더 큰 후기 양성 전위(late positive potential, LPP)와도 함께 나타났으며, 후기 단계의 정서적·평가적 처리가 강화되었음을 반영한다. 이는 아마도 뇌가 문화적으로 내재된 말장난에 대한 AI의 전달을 사전의 낮은 기대와 조화시키는 과정을 반영하며, 그 결과 정서적 몰입과 대화 상대 모델 업데이트가 강화되는 것으로 보인다. 사회적 인식의 개인차가 신경 반응에 추가로 영향을 미쳤다. AI의 진정성과 신뢰성에 대한 높은 지각은 전역적으로 감소한 N400과 관련되어 있었으며, 유머러스한 AI 언어와 그렇지 않은 AI 언어 모두에서 의미 통합을 촉진했다. 또한 AI 신뢰성 증가는 LPP의 증가를 예측했으며, 이는 유머 이해 과정에서 대화 상대 모델의 더 강화된 업데이트를 나타낸다. 이러한 결과는 AI 귀속 유머에 대한 뇌의 신경 민감도가 알고리즘 회피(algorithm aversion)와 같은 편향을 우회함을 나타낸다. 이는 새로운 출처의 유머에 대한 뇌의 적응을 강조하며, 인간-AI 사회적 상호작용에서 진정한 참여를 촉진하는 유머의 잠재력을 부각한다.

arXiv:2607.19941v1cs.HC

직장에서의 인간-AI 에이전트 상호작용을 위한 사용자 경험 원칙 프레임워크

A Framework of User Experience Principles for Human-AI Agent Interaction in the Workplace

AI 에이전트가 비즈니스 워크플로에 필수적인 구성 요소가 되면서, 사용자 경험(UX) 원칙을 수립하는 것은 사용자 신뢰와 성공적인 도입을 보장하는 데 매우 중요하다. 이를 위해 본 연구는 참여형 디자인 워크숍, 종이-연필(paper-and-pencil), 전문가 검토, 메타분석, 심층 인터뷰를 결합한 다중 방법 접근법을 사용하여, 직장에서의 인간-AI 에이전트 상호작용을 위한 8가지 핵심 UX 원칙으로 구성된 디자인 프레임워크를 식별하고 검증한다. 이러한 원칙과 그에 따른 기준은 디자이너와 소프트웨어 엔지니어를 위한 실행 가능한 가드레일을 제공하며, 효과적이고 인간 중심적인 AI 에이전트 상호작용 개발의 토대를 마련한다. 본 연구는 기업 환경에서의 에이전트형 AI(agentic AI)에 대한 향후 실증 연구를 위한 구조화된 기반을 제공한다.

arXiv:2607.14593v2cs.HC

기억 기반 자기개방과 관계적 전환점: 인간-AI 상호작용에 대한 종단적 다중모달 연구

Memory-Driven Self-Disclosure and Relational Turning Points: A Longitudinal Multimodal Study of Human-AI Interaction

대화형 AI 시스템이 반복 사용을 위해 설계될수록, 일련의 상호작용이 어떻게 관계가 되는지가 핵심 질문이 된다. 우리는 메모리 증강 대화형 에이전트(참가자 24명 × 10회 세션)에 대한 종단적 다중모달 연구를 수행했으며, 참가자들은 각 세션 후 친숙도, 자기개방, 인지된 기억, 대화 품질, 즐거움의 다섯 가지 관계 구인을 평가했다. 상호 보완적인 두 가지 역학이 나타난다. 첫째, 대화 품질은 당시 세션이 얼마나 즐거운지에 강하게 영향을 미치지만 세션 간으로 이어지지는 않는 반면, 인지된 기억은 관계적으로 조건화되어 있다—시스템 역량만을 반영하기보다는 이전의 관계 상태에 의해 예측되며—이후의 자기개방을 통해 간접적으로 이후의 즐거움을 형성한다. 둘째, 관계는 다중모달 행동에서 부분적으로 추적 가능하고 서로 다른 개입 시점을 열어주는 이산적 전환점—급락과 급등—으로 구분된다: 급등은 그 순간 행동적으로 더 잘 탐지되며, 즐거움 급등은 즐거움 급락이 회복되는 것보다 더 안정적으로 지속되고, 일부 급락은 이미 발생한 이후 탐지되기보다 개인별 행동 표류로부터 더 잘 예측된다. 종합하면, 이러한 발견은 종단적 인간-AI 관계가 느린 축적과 급격한 전환점 모두를 통해 형성됨을 시사한다.

arXiv:2607.14240v1cs.AI

동적 인간-AI 워크플로에 맞는 AI 정렬

Align AI to Dynamic Human-AI Workflows

현재의 정렬(alignment) 접근법은 일반적으로 정적인 인간 선호 표현을 사용하여 인간 행동을 모방하는 데 초점을 맞추며, 실제 인간-AI 상호작용의 역동적이고 맥락 의존적인 특성을 포착하지 못한다. 본 논문에서는 정적·모방적 정렬에서 상호작용적·보완적 정렬로의 전환을 주장한다. 여기서 선호는 상호작용을 통해 형성되며, 정렬은 선호 충족만으로 정의되지 않는다. 우선 기존 정렬과, 인간과 모델 행동이 시간에 따라 공진화(co-evolve)하는 궤적 수준(trajectory-level) 관점을 대비하여 이 간극을 형식화한다. 이러한 상호작용 역학은 기존 기계학습(ML) 공식화 내에서 충분히 포착되지 않았기 때문에, 우리는 학제 간 워크숍의 통찰에 이 관점을 기반을 둔다. 우리는 인간-인간 협업에 대한 사회과학적 서술의 교훈을 바탕으로, 인간-AI 시스템이 이러한 역학을 증폭하며 불확실성에 대한 추론을 더 어렵게 만들고 새로운 조정(coordination) 과제를 도입한다고 주장한다. 이러한 교훈과 새로운 과제를 바탕으로, 상호작용 속에서 인간과 정렬되는 AI 시스템 개발을 위한 연구 의제를 개괄하며 마무리한다. 이는 기계학습과 사회·의사결정 과학의 학제 간 통합을 필요로 한다.

arXiv:2607.14049v1cs.AI

Deep Interaction: 대규모 추론 모델을 위한 효율적인 인간-AI 상호작용 방법

Deep Interaction: An Efficient Human-AI Interaction Method for Large Reasoning Models

사고의 연쇄(Chain-of-Thought, CoT) 추론의 등장은 대규모 언어 모델(LLM)이 복잡한 다단계 작업을 해결하는 능력을 크게 향상시켰다. 그러나 오류가 발생하면, 현재의 상호작용 방식은 일반적으로 실수를 다시 범할 수 있는 다른 응답을 재생성하거나, 사용자가 후속 턴에서 오류 단계를 번거롭게 표시해야 하는데, 이때 <You are right, I made a mistake here>와 같은 응답을 받을 수 있으며 이후에도 유사한 오류가 반복될 수 있다. 이 문제를 해결하기 위해, 우리는 LLM의 추론 오류를 정밀하게 수정하기 위한 효율적인 인간 개입 메커니즘인 Deep Interaction을 제안한다. 우리의 접근법은 원본 응답을 직접 편집할 수 있게 하여, 정확한 추론 단계는 보존하면서 오류가 있는 부분만 수정할 수 있다. 편집된 CoT를 정제하여 증류된 프롬프트로 만들고, 이를 통해 LLM이 수정된 추론 경로를 따르도록 유도한다. 실험 결과, 우리 방법은 기준선 접근법과 비교하여 STEM 추론 작업에서 수정 성공률을 25% 이상 향상시키고 토큰 사용량을 약 40% 줄이는 것으로 나타났다.

arXiv:2607.13562v1cs.AI

AI 조언은 조언이 틀리고 정확성에 대한 인센티브가 있을 때조차 사람들이 "모른다"고 말하려는 의지를 억압한다

AI advice suppresses people's willingness to say "I don't know", even when the advice is wrong and accuracy is incentivized

"모른다"고 말할 시점을 아는 것은 인간 판단의 기본이지만, AI 어시스턴트는 거의 모든 질문에 대해 유창한 답변을 제공한다. 다섯 번의 실험(N = 3,132; 네 건은 사전등록, 한 건은 직접 복제)에서 참가자들은 어려운 질문에 답했으며, 항상 응답을 거부할 수 있었다. 우리는 AI 조언이 틀리도록 질문을 설계하여 AI 사용과 그 정확성을 분리했다. AI에 접근만 할 수 있어도 참가자들이 판단을 유보하려는 의지가 거의 사라졌으며, 이는 조언을 적극적으로 요청했든 단순히 표시되었든 동일하게 나타났다. 그 결과 참가자들은 더 많은 질문에 답했지만, AI를 사용할 수 없을 때보다 정답률이 약 3분의 1 수준이었으며, 그럼에도 자신감은 거의 두 배로 높아졌다. 정확성에 대한 인센티브를 부여하고 부정확함에 페널티를 부과하면 참가자들은 AI 조언을 덜 찾고 따르며, 더 정확하게 답하고, 판단을 더 자주 유보했지만, 여전히 AI를 사용할 수 없을 때보다는 훨씬 덜 그랬다. AI 제안이 어디에나 존재하고 자발적으로 주어지는 형태로 확산됨에 따라, 이는 단순히 답변 정확도에 영향을 미치는 것뿐 아니라 사람들이 답할 만큼 충분히 안다고 판단하는 메타인지적 임계값까지 바꿀 수 있다.

arXiv:2607.12823v1cs.AI

인간-AI 에이전트 상호작용을 신경가소성 학습 환경으로

Human-AI Agent Interaction as a Neuroplastic Training Environment

AI 에이전트와의 상호작용은 일상적인 디지털 생활에서 가장 빈번한 활동 중 하나가 되었다. 어시스턴트와 대화하거나, 코딩 Copilot과 협업하거나, 이미지를 생성하든, 상호작용은 공통적인 반복 루프를 따른다: 요청이 제출되고, 결과가 반환되며, 평가되고, 요청이 수정된다. 우리는 이 루프가 고빈도 접촉 이벤트의 연속임을 관찰한다—결과가 사람을 만나고, 의도적 평가 전에 조건화된 반응이 발생할 수 있는 순간들—이로 인해 일상적인 에이전트 상호작용은 인식되지 않은 신경가소성 학습 환경이 된다. 결과가 실망스러울 때, 조급함, 완벽주의, 좌절, 자기비판의 반응적 패턴이 반복적으로 유발되며, 활동 의존적 시냅스 가소성 하에서 각각의 중단 없는 순환이 장기 강화(long-term potentiation)를 통해 기저 경로를 심화시킨다. 따라서 일상적인 에이전트 사용은 그것이 유발하는 바로 그 패턴을 조용히 강화할 수 있다. 우리는 동일한 학습 환경이 반대 효과를 위해 활용될 수 있음을 제안한다. 조건화된 반응 패턴을 물리적 뉴런 경로로 취급하며—전인지적 감정 톤을 통해 활성화되어 짧은 조절적 간극을 열어주는—우리는 그 간극에서 반응적 재프롬프트 대신 사람이 배후 관찰을 수행하는 프레임워크를 개발한다: 신경 과정이 작동하는 것을 관찰하여 연쇄가 완성되지 않게 하고, 강화가 경로를 강화하는 대신 장기 억제(long-term depression)가 경로를 약화시키도록 한다. 우리는 이 실천을 세 층위의 관찰과 두 가지 적용 모드로 특성화한다: 기존 도구를 변경할 필요가 없는 사용자 주도 모드, 그리고 일반적인 에이전트가 간극에서의 관찰을 지원하도록 가볍게 구성되는 에이전트 지원 모드. 우리는 생성형 이미지 프롬프팅을 통해 프레임워크를 설명하며, 단일 좌절 세션이 관찰 여부와 관계없이 행동적으로는 거의 동일하지만 신경학적으로는 반대임을 보여준다.

arXiv:2607.12755v1cs.HC

불투명 AI 기반 시스템 활용에서의 실천적 판단, 덕, 직관

Practical Judgment, Virtue, and Intuition in the Use of Opaque AI-Enabled Systems

AI 기반 시스템은 수많은 도메인에서 점점 더 널리 배치되고 있으며, 그중 많은 것이 핵심 기능과 역량에 있어 '블랙박스'입니다. 즉, 많은 시스템은 입력을 받아 출력을 내지만, 사용자는 전자가 후자로 이어지는 방식을 전혀 볼 수 없습니다. AI 기반 시스템은 또한 시스템의 자율성을 강화하는 데에도 사용되고 있으며, 자율성과 불투명성이 결합되면 시스템의 신뢰성, 기능 수행의 규칙성, 인간의 통제 능력, 또는 불투명하고 잠재적으로 자율적인 시스템을 배치하는 것이 윤리적·법적 규범을 준수하는지 여부 등 수많은 우려를 제기합니다. 본 논문에서는 불투명한 AI 기반 시스템의 배치와 사용에서 실천적 판단, 덕, 직관을 활용함으로써 이러한 우려의 상당 부분을 완화할 수 있다고 주장합니다. 이러한 고유하게 인간적인 역량에 초점을 두는 것이 불투명성이 야기하는 실질적 난제와 특정 도메인을 뒷받침하는 윤리·법·사회적 규범 사이를 잇는 수단이 됨을 보여 줍니다. 이를 위한 핵심 요소 중 하나는 많은 긍정적 인간 특성이 정량화할 수 없다는 인식이며, 따라서 인문주의적이지만 정량화할 수 없는 가치에 기반한 AI 배치에 관한 학습 체계와 지침을 개발해야 한다는 것입니다. 논문 전반에 걸쳐 군사 도메인을 사례로 삼아 AI 배치를 둘러싼 윤리적이고 효과적인 인간 의사결정을 이끄는 실천적 판단, 덕, 직관의 중요성을 다루지만, 근본 논거는 불투명하고 잠재적으로 자율적인 시스템이 배치되는 모든 도메인에 적용됩니다(도메인별 수정을 전제로).

arXiv:2607.08285v1cs.AI

AI 평가에서 누락된 차원으로서의 심리적 역량

Psychological Competence as a Missing Dimension in AI Evaluation

현재 AI 평가 프레임워크는 주로 정확성, 견고성, 추론 능력, 정책 준수를 포함한 기술적 성능에 초점을 맞추고 있다. 이러한 지표들은 여전히 필수적이지만, 자연어를 통해 사용자와 직접 상호작용하는 시스템에는 충분하지 않다. 사용자 대면 AI 시스템은 조언자, 코치, 튜터, 동반자로 점점 더 많이 활용되고 있다. 이러한 역할에서 AI의 응답은 사용자가 추론하고, 감정을 해석하며, 믿음을 형성하고, 신뢰를 조율하고, 결정을 내리는 방식에 영향을 미칠 수 있다. 따라서 평가의 적절한 단위는 모델만이 아니라 인간-AI 상호작용이다. 본 논문은 AI 평가에서 누락된 차원으로서 심리적 역량(psychological competence)을 소개한다. 심리적 역량은 사용자 대면 AI 시스템이 사용자의 인지, 감정 해석, 행동적 의사결정을 사용자·맥락·상호작용의 목적에 적합한 방식으로 지원하는 능력으로 정의한다. 여기에는 프레이밍, 어조, 인식된 권위, 반응성, 불확실성 처리, 대화 안내와 같은 상호작용 속성이 포함된다. 기존 평가 방법론은 이 문제의 일부를 포착하지만, 이러한 심리적 효과를 직접적으로 평가하는 경우는 드물다. 행동과학과 인간-AI 상호작용 연구를 바탕으로, 심리적 역량과 그 핵심 영역에 대한 개념적 프레임워크를 제시한다. 특정 벤치마크를 제안하기보다는, 구인(construct)을 정의하고 그 경계를 명확히 하며, 시나리오 기반 프로브, 구조화된 인간 평가, 모델 보조 평가 방법을 통해 어떻게 평가될 수 있는지 설명한다. 심리적 역량은 사용자 대면 AI 시스템의 실세계 영향에 관심을 가진 모델 제공자, 배포 조직, 연구자, 규제 기관 모두가 핵심적으로 고려해야 할 사항이 되어야 한다고 주장한다.

arXiv:2607.05680v1cs.CY

정확성을 넘어서: 법적으로 올바르지만 사회적으로 논쟁적인 기계의 법률 조언을 인간이 평가하는 방식

Beyond Accuracy: How Humans Evaluate Legally Correct but Socially Controversial Legal Advice from Machines

AI 시스템이 법률 조언을 제공하는 데 점점 더 많이 활용됨에 따라, 일반인이 알고리즘의 안내를 수용하는지—특히 그 조언이 법적으로는 옳지만 사회적으로 논쟁적인 경우—에 대한 의문이 제기되고 있다. 본 연구는 중국 본토 성인 3,348명을 대상으로 한 사전 등록 설문 실험을 보고한다. 이 실험에서는 동일한 법률 조언이 AI 시스템 또는 인간 변호사에게 귀속될 때, 그리고 추론 과정이 함께 제공될 때와 그렇지 않을 때 사람들이 조언을 어떻게 평가하는지를 살펴보았다. 알고리즘 혐오(algorithm aversion)에 대한 기존 예측과 달리, AI 시스템에 귀속된 조언은 지각된 합리성에 순 효과가 없었다. 그러나 매개 분석(mediation analyses)은 이 영가설 결과의 이면에 상반된 심리적 경로가 존재함을 밝혀냈다. AI에 귀속된 조언은 더 객관적으로 인식되어 지각된 합리성을 높이는 반면, 덜 포괄적이고 특수한 상황에 덜 주의를 기울이는 것으로 인식되어 지각된 합리성을 낮추었다. 반면, 법률적 추론을 제공하는 것은 출처와 무관하게 지각된 합리성을 실질적으로 높였으며, 이는 주로 객관성 인식을 향상시킴으로써 나타났다. 정성적 응답 결과 역시 법률 조언 평가에서 객관성과 맥락적 민감성 사이의 이러한 긴장을 뒷받침한다. 이러한 결과들은 AI 법률 조언자에 대한 대중의 반응이 자동화에 대한 경직된 태도에 의해 형성되는 것이 아니라, 경쟁하는 규범적 기대들 간의 균형 조정에 의해 형성됨을 시사한다. 본 연구의 결과는 알고리즘 혐오 이론 및 규범적으로 민감한 영역에서의 AI 추천 시스템 설계에 함의를 제공한다.

arXiv:2607.00211v1cs.AI

Constructing Epistemic AI Literacy: Detecting Epistemic Aims and Processes in Student-AI Co-Programming

Epistemic thinking plays a central role in students' learning processes when applying generative artificial intelligence (GenAI), particularly in programming contexts where learners must construct queries, evaluate and validate AI-generated outputs, and regulate problem-solving strategies. This study introduces the conceptual framework of Epistemic AI Literacy (EAIL), reframing AI literacy as a process-oriented epistemic phenomenon that emerges through dynamic human-AI interactions across different domains. Drawing on the AIR (epistemic aims, ideals and reliable epistemic processes) framework, this study examines how epistemic aims and epistemic processes are enacted in GenAI-supported co-programming activities and explores scalable approaches for operationalizing these constructs in interaction data. Using a large dialogue dataset of human-AI co-programming, this study identifies observable dimensions of epistemic aims (i.e., mastery-oriented aims) and epistemic processes (i.e., outsourcing, explanation seeking, verification seeking, prompt monitoring, and epistemic justification). The results reveal a prevalent lack of EAIL, with 78.8% of student-GenAI interactions relying on non-mastery-oriented aims and less reliable epistemic strategies like outsourcing and verification-seeking. Conversely, only 11.1% of interactions showed high epistemic engagement, where mastery-oriented aims were coupled with advanced epistemic strategies like epistemic justification in a more reliable epistemic process.

arXiv:2607.00001v1cs.AI

Constructive Alignment: Governing Preference Dynamics in Human-AI Interaction

Most approaches to AI alignment treat human preferences as fixed targets to be inferred and optimized. This assumption conflicts with extensive empirical evidence showing that preferences are layered, dynamic, and constructed through interaction--particularly with adaptive technologies. As AI systems become more persistent, personalized, and socially embedded, they increasingly participate in shaping what people attend to, value, and endorse over time. We introduce Constructive Alignment, a paradigm that reframes alignment as a control problem over evolving human preference trajectories rather than static preference satisfaction. Drawing on behavioral economics, psychology, and constructivist social theory, we model preferences as layered state variables that evolve under interaction with AI systems. We formalize this view using a control-theoretic framework in which system actions and interaction design jointly influence both world states and human evaluative states. We argue that alignment is not primarily about controlling AI behavior, but about regulating how AI systems influence the evolution of human preferences--ensuring that value trajectories remain coherent, reflectively endorsed, epistemically grounded, bounded against manipulation, and empowering under uncertainty. Alignment thus becomes a problem of governing long-term value formation rather than simply satisfying static preferences.

arXiv:2606.21886v1cs.HC

AI 매개 협상: 설계 성찰과 교훈

AI-Mediated Negotiation: Design Reflections and Lessons

고위험 직장 협상 준비를 위한 이론 기반 AI 코칭 시스템 Trucey에서 명료화·개인화·분할 전달·구조화 스캐폴딩 네 가지 가정을 검증했으나, 사전 등록 실험(N=267)과 인터뷰(N=15)에서 정적 핸드북이 두 AI 조건보다 역량 강화와 사용성에서 더 나은 결과를 보였다. 연구는 대화형 AI가 본질적으로 재귀적인 준비 과업에 선형 실행 모델을 부과한다는 점을 밝히고, 향후 AI 코칭 설계를 위한 지도→경로→시뮬레이션 순서 원칙을 제안한다.