arXiv:2610.02369v1 cs.HC

HCI 원칙 적용의 자동화: 온디맨드 UI 구축을 위한 스킬, 인간-AI 사고 공간, 그리고 HCI의 미래

Automating the Application of HCI Principles: Skills for On-Demand UI Construction, the Human-AI Space to Think, and the Future of HCI

Nathan Conklin, Miranda Capra, Chris North

제출 2026-10-01

한국어 초록

인간-컴퓨터 상호작용(HCI)은 중대한 전환기를 맞이하고 있습니다. 이제 대규모 언어 모델(LLM)은 자연어 작업 설명으로부터 기능적인 사용자 인터페이스(UI)를 필요에 따라(on demand) 즉각 생성할 수 있습니다. 사용자가 달성하고자 하는 바를 설명하면, 시스템은 이를 지원하는 작동 가능한 인터페이스를 구현합니다. 이러한 기능은 이미 Claude나 ChatGPT와 같은 시스템에 존재하며, 기반 모델이 발전함에 따라 충실도가 계속해서 향상되고 있습니다. 이 흐름의 다음 단계는 단순히 생성되는 인터페이스를 넘어 '잘' 생성되는 인터페이스로 나아가는 것입니다. 본 논문에서는 사용자와 인공지능(AI) 간의 대화가 '사고 공간(Space to Think)'이 되는 프레임워크를 제안합니다. 이는 작업 분해가 온디맨드 UI를 별개의 결과물이 아닌 사용자 사고의 연장선으로 생성해 내는 공유되고 구조화된 인지 작업 공간입니다. 이 패러다임 안에서 전통적인 HCI 디자인 지식(닐슨의 휴리스틱, 노먼의 어포던스 지침, 웹 콘텐츠 접근성 지침(WCAG) 성공 기준, 인지 부하 제약 조건, 혼합 주도형 원칙)은 '스킬(skill)'로 인코딩됩니다. 즉, 생성 에이전트가 소프트웨어 엔지니어링 도구로서 런타임에 로드하는 기계 판독 가능한 skill.md 파일 형태를 취합니다. 스킬은 HCI 디자인 지식을 HCI 커뮤니티 자체가 소유하는 선언적이고, 검사 가능하며, 버전 관리가 되고, 편집 가능한 아티팩트로 변환함으로써 접근성, 학습 용이성, 일관성이 완성된 제품의 속성이 아니라 생성 프로세스 자체의 속성이 되도록 합니다. 마지막으로, 본 연구는 HCI 분야가 오늘날의 디자인 및 지식 휴리스틱 체크리스트에서 벗어나 전문적 기예(craft)가 기계 판독 가능하고, 실행 가능하며, 개방적인 미래로 전환하는 연구 과제를 제시합니다.

원문 초록

Human-computer interaction (HCI) is in the middle of a transition: large language models can now generate functional user interfaces (UIs) on demand from natural-language task descriptions. A user explains what they are trying to accomplish, and the system materializes a working interface to support it. This capability already exists in systems such as Claude and ChatGPT and continues to grow in fidelity as the underlying models improve. The next step along this trajectory is to move from interfaces that are merely generated to interfaces that are generated well. We propose a framework in which the dialogue between user and artificial intelligence (AI) becomes a Space to Think: a shared, structured cognitive workspace in which task decomposition produces an on-demand user interface as an extension of the user's thinking rather than as a separate artifact. Within this paradigm, classical HCI design knowledge (Nielsen's heuristics, Norman's affordance prescriptions, Web Content Accessibility Guidelines (WCAG) success criteria, cognitive-load constraints, and mixed-initiative principles) is encoded as skills: machine-readable skill.md files that the generating agent loads at runtime as software engineering tools. Skills turn HCI design knowledge into declarative, inspectable, version-controlled, and editable artifacts owned by the HCI community itself so that accessibility, learnability, and consistency become properties of a generative process rather than properties of a finished product. We outline a research agenda depicting a future where the HCI field transitions from today's design and knowledge heuristic checklist towards a future where the craft becomes machine-readable, executable, and open.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02369v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26865v1cs.HC공통 태그 human-computer interaction

Safety Nudges: 실시간 AI 위험 인식을 위한 사용자 대면 개입

Safety Nudges: User-Facing Interventions for Real-Time AI Risk Awareness

대화형 AI 시스템은 환각(hallucination), 아부(sycophancy), 과잉 자신감(overconfidence), 의인화(anthropomorphism) 등 사용자에게 안전성(safety) 위험을 초래할 수 있으나, 이러한 위험은 일상 사용 중 사용자가 감지하기 어렵다. 우리는 챗봇 대화에서 우려할 만한 행동이 감지될 때 경량의 in situ 플래그를 제공하는 브라우저 기반 도구인 Safety Nudges를 제안한다. 챗봇을 자주 사용하는 45명을 대상으로 2주간 현장 연구(field study)를 수행하여 Safety Nudges를 평가했으며, 상호작용 로그, 설문, 개별 넛지에 대한 피드백을 수집했다. 참가자들은 도구가 유용하고 명확하며 방해가 최소라고 평가했고, 거의 모든 사용자가 잠재적 AI 위해(harm)에 대한 인식이 높아졌다고 보고했으나, 이러한 인식 향상만으로는 반드시 뚜렷한 행동 변화로 이어지지는 않았다. 결과는 사용자 대면 안전 넛지가 맥락 속에서 AI 응답을 비판적으로 평가하도록 돕음으로써 모델 수준 보호 장치를 보완할 수 있음을 시사하며, 대화형 AI 안전을 위한 넛지 설계에서 관련성(relevance), 보정(calibration), 사용자 통제(user control)의 중요성을 부각한다.

arXiv:2609.24859v1cs.HC공통 태그 human-computer interaction

아이디어 발상을 지원하기 위해 AI 위험을 브레인스토밍하는 에이전트의 좁은 세상 네트워크

Small-world Networks of Agents Brainstorm AI Risks to Support Ideation

참여형 AI 위험 평가의 아이디어 발상(ideation) 단계는 백지 상태나 사전에 정의된 제한된 위험 목록에서 시작하는 경우가 많아, 간접적이거나 시스템적인 위해를 드러내기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 3단계 아이디어 발상 지원 도구를 제안합니다. 이 도구는 참여형 AI를 대체하기보다는 보완하며, 향후 영향을 받는 커뮤니티와의 참여를 집중시키는 데 도움을 줍니다. 첫째, 주어진 AI 활용에 따라 이해관계자를 동적으로 발굴하고 바깥으로 재귀적으로 확장하여 간과되거나 간접적인 이해관계자가 드러날 수 있도록 합니다. 둘째, 대규모 언어 모델(LLM)로 이러한 이해관계자들을 시뮬레이션하고, 주어진 토폴로지의 네트워크로 이들을 연결하여 위험에 대해 아이디어를 내도록 합니다. 셋째, 네트워크 중심성 측도를 사용하여 위험의 우선순위를 지정합니다. 초기 평가에서 좁은 세상(small-world) 네트워크로 연결된 에이전트들을 통해 실행되는 매개 중심성(betweenness centrality)이 가장 효과적임을 발견했습니다. 이는 단절된 그룹을 연결하는 이해관계자가 제기한 위험을 부각하여, 전통적인 방식에서는 종종 놓치는 새롭고 시스템적인 위해를 표면화하기 때문입니다. AI 챗봇 컴패니언 사용 사례에서 이 접근 방식은 식별된 위험의 타당성이나 심각성을 줄이지 않으면서도, 정규화된 5점 리커트 척도 기준으로 단일 LLM 브레인스토밍 대비 약 1.1점, 에이전트 기반 LLM 브레인스토밍 대비 0.5점만큼 식별된 위험의 신규성을 높였습니다. 본 프레임워크가 미래 바퀴(Futures Wheel) 접근 방식을 사용하는 인간 주도 아이디어 발상 세션에 도움이 되는지 테스트하기 위해, 참여형 AI 위험 평가에서 비서구권 젊은 챗봇 사용자로 구성된 11개 팀을 대조군(팀)과 실험군(팀)의 두 가지 유형으로 나누었습니다. 대조군 팀은 초기 평가에서 45명의 AI 실무자가 생성한 위험 목록에서 시작했고, 실험군 팀은 본 프레임워크가 생성한 목록에서 시작했습니다. 실험군 팀은 전반적으로 더 많은 위험을 식별했으며, 더 많은 시스템적 위험, 인간-컴퓨터 상호작용(HCI) 위험, 환경적 위험을 식별했습니다.

arXiv:2607.21598v1cs.HC공통 태그 human-computer interaction

대규모 언어 모델에서 사용자 의도를 명확히 하는 컨트롤 패널

Control panels to clarify user intent with Large Language Models

대규모 언어 모델(LLM)의 일반적인 사용자 인터페이스는 사용자의 자연어 질의를 유도하는 빈 프롬프트 창을 제공하지만, 거의 안내를 제공하지 않는다. 본 논문은 프롬프트 구성의 의미론에 대한 더 많은 단서를 제공하여 사용자가 의도를 더 쉽게 표현할 수 있게 하는 시각적 컨트롤 패널 인터페이스를 제안한다. 회상(recall)보다 인식(recognition)을 강조함으로써, 컨트롤 패널은 사용자가 의도에 부합하는 더 효과적인 프롬프트를 구성하도록 돕는다.

arXiv:2607.21601v1cs.AI공통 태그 human-computer interaction

프레임 수준 인식에서 이벤트 수준 확인으로: 공공 공간 제스처 상호작용의 수리 기록과 런타임 실패 분석

From Frame-Level Recognition to Event-Level Confirmation: Repair Traces and Runtime Failure Analysis of Public-Space Gesture Interaction

공공 공간 제스처 상호작용은 종종 프레임 수준 인식 문제로 평가되지만, 배포된 시스템은 다른 실패 경계를 드러낸다. 관광지 키오스크, 전시장, 서비스 터미널에서 사용자는 개별 손 랜드마크(hand-landmark) 프레임이 정확한지 여부가 아니라, 의도한 동작이 안정적인 상호작용 이벤트가 되는지를 경험한다. 이를 인식-상호작용 격차(recognition-to-interaction gap)라고 부른다. 본 논문은 관광지 인터랙티브 키오스크 프로젝트의 8건의 엔지니어링 수리 기록을 분석하며, 4가지 제스처 과제를 다룬다: 양손 절하기, 한손 주먹 흔들기, 양손 잡기 제어, 지식 그래프 노드 호버링. 이러한 흔적에서 20건의 실패 사례를 추출하고, 여섯 가지 비배타적 작업 실패 클래스로 분류한다: 모델 출력 퇴화, 시간적 불일치, 기하-스케일 불안정성, 좌표-렌더링 불일치, 런타임 라이프사이클 실패, 피드백 동기화 및 복구 실패. 또한 반복되는 수리 메커니즘을 손 랜드마크 모델과 상호작용 과제 사이의 이벤트 수준 런타임 추상화로 정리한다. 기여는 의도적으로 범위가 제한된다: 배포 기반 실패 분류체계, 이벤트 확인 런타임 추상화, 사례 연구 결과. 새로운 인식 모델, 대규모 사용자 평가, 또는 정량화된 정확도 향상을 주장하지 않는다.

arXiv:2607.20773v1cs.HC공통 태그 human-computer interaction

HARP: 인간-AI 연구 플랫폼

HARP: The Human--AI Research Platform

대규모 언어 모델(LLM)은 인간-컴퓨터 상호작용을 '전통적인' 인터페이스 여정에서 보다 대화형 교류로 전환시켰다. HCI 및 UI를 연구하는 연구자들은 중재된 사용성 세션, 인터뷰, 설문조사, 대화 기록 분석, 정적 프로토타입을 사용한다. 그러나 정적 프로토타입은 실시간 AI 시스템과의 상호작용을 연구하거나 참가자와 시나리오 전반에 걸쳐 LLM이 어떻게 행동하는지 체계적으로 제어할 기회를 제한적으로만 제공한다. 대화 기록은 사용자가 제출 전에 프롬프트를 어떻게 구성하고, 수정하고, 망설이는지에 대해 거의 드러내지 않는다. 우리는 연구자, 디자이너, 그리고 '만약 AI가 이렇게 했다면?'이라고 궁금해해 본 모든 이를 위해 Human-AI Research Platform(HARP)을 설계했다. HARP는 참가자를 실시간으로 구성 가능한 AI 에이전트가 있는 통제된 모의 시나리오에 배치한다. 연구자는 에이전트 프롬프트, 모델 매개변수, 응답 특성, 실험 조건을 제어할 수 있고, 사전 정의된 시점에 설문조사를 트리거할 수 있으며, 프롬프트 작성 시간, 응답 지연 시간, 삭제, 키스트로크 일시정지를 기록할 수 있다. 계획된 기능에는 음성, 표정, 제스처, 그리고 법적으로 및 윤리적으로 적절한 경우 감정 분석이 포함된다. 우리는 기술적 구체성과 응답 길이가 LLM 출력의 기억 유지에 어떤 영향을 미치는지 검토하는 연구를 통해 HARP를 설명한다. 제어 가능한 실시간 에이전트와 행동 및 자기 보고 측정을 결합함으로써, HARP는 AI 설계 선택이 사용자에게 미치는 영향을 체계적으로 검증할 수 있게 한다.

arXiv:2607.15006v1cs.HC공통 태그 human-computer interaction

AI가 기여의 경계를 흐릴 때: 저작 인식 보정에 대한 실증 연구

When AI Blurs the Boundaries of Contribution: An Empirical Study of Authorship Calibration

인공지능(AI), 특히 생성형 AI의 광범위한 채택은 사용자가 이러한 시스템과 상호작용하여 새로운 콘텐츠를 생산하는 방식에 관한 긴급한 질문을 제기한다. 본 논문에서는 AI와 상호작용할 때 자신의 실제 저작에 대한 사용자의 인식, 즉 저작 인식 보정(authorship calibration)이라는 개념을 도입한다. CoAuthor 데이터셋을 사용하여, 저작 인식 보정이 사용자마다 어떻게 달라지는지, 그리고 AI 사용 빈도와 어떤 관련이 있는지를 실증적으로 조사한다. 결과는 높은 변동성을 보여준다. AI에 크게 의존하는 사용자는 자신의 저작을 잘못 판단하는 경향이 있는 반면, AI를 덜 자주 사용하는 사용자는 더 정확한 저작 인식 보정을 보인다. 이러한 발견은 AI가 사용자의 자기 저작에 대한 인식을 흐릴 수 있음을 시사한다. 학습 맥락에서, 보정 오류(miscalibration)는 메타인지(metacognitive) 모니터링과 학습 전략에 영향을 미치고, 궁극적으로 학습 성과에 영향을 줄 수 있다. 따라서 저작 인식 보정을 함양하는 것은 책임 있고 교육적으로 의미 있는 AI 통합을 촉진하는 데 필수적인 것으로 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.