skillbench.com

이 이메일 도메인이 관측된 논문 2건

arXiv:2603.02050v5cs.HC

"언제 인계하고, 언제 함께 작업할 것인가": 공유 공동 창작 워크스페이스에서의 동시적 인간-에이전트 상호작용 이해

"When to Hand Off, When to Work Together": Understanding Concurrent Human-Agent Interaction in Shared Co-Creative Workspaces

공유 공동 창작 워크스페이스는 에이전트(agent)가 작업을 실행하는 동안 사용자가 함께 기여할 수 있도록 지원합니다. 그러나 사용자의 작업과 에이전트의 실행이 상호 형성되는 과정에서 사용자가 자신의 참여를 어떻게 조정하는지는 아직 덜 알려져 있습니다. 본 연구에서는 전문 디자이너를 대상으로 두 차례의 디자인 프로브 연구를 수행했습니다. 연구 1(N=10)에서 참가자들은 에이전트의 진행 상황을 관찰하며 기여할 기회를 포착했으나, 에이전트가 자신의 편집을 오해했을 때는 개입을 피했습니다. 이에 따라 사용자의 행동을 추적하고 계획을 선택적으로 업데이트하는 두 번째 프로브인 CLEO를 개발했습니다. 연구 2(N=12)에서는 255회의 상호작용 턴과 자극 회상 인터뷰(stimulated recall interview)를 분석하여 5가지 행동 범주, 10가지 코드, 6가지 트리거, 4가지 촉진 요인을 도출했습니다. 참가자들은 턴의 33.73% 동안 동시적 상호작용에 참여했으며, 편집을 통해 새롭게 인식한 디자인 아이디어나 선호도를 표현하고, 대기 중인 하위 작업을 완료하거나 미완성된 결과물의 복사본을 독립적으로 발전시킴으로써 작업 분담을 변경했습니다. 마지막으로 동시적 인간-에이전트 협업을 위한 의사결정 모델(decision model)과 5가지 디자인 시사점을 제시합니다.

arXiv:2609.00608v1cs.CL

역할 벡터를 이용한 LLM 사용자 시뮬레이터의 어시스턴트 바이어스 조사

Investigating Assistant Bias in LLM User Simulators Using a Role Vector

LLM 기반 사용자 시뮬레이터는 값비싼 인간 평가를 대체하여 자율 에이전트를 대규모로 평가하는 데 점점 더 많이 사용되고 있다. 이러한 기대에도 불구하고, 이들 시뮬레이터는 협조하고 과제 목표를 추구하려는 경향인 "어시스턴트 바이어스"를 보인다. 실제 사용자가 보이는 좌절이나 이탈을 거의 재현하지 못해 평가 타당성을 훼손한다. 선행 연구는 이 바이어스가 모델 학습 과정에 내재되어 역할 연기 프롬프트로는 이를 상쇄하지 못한다고 지적한다. 우리는 모델 활성화(activations)로부터 이 바이어스를 분석하며, 동일한 대화에서 사용자와 어시스턴트 관점을 모델이 어떻게 표현하는지 대비하여 사용자 역할 벡터를 추출한다. 우리는 두 가지 발견을 관찰한다: (i) 사용자 방향(user direction)은 활성화에서 식별 가능하며, 사용자와 유사한 행동을 유발하고 어시스턴트 특성과 구별되는 특징을 포착한다; (ii) 사용자 역할 활성화가 시뮬레이션 현실성과 연관되고 steering이 이를 강화하지만, 사용자 행동을 과장하고 개별 사용자 프로필을 덮어쓸 수 있다. 종합하면, 본 연구는 LLM 사용자 시뮬레이터에 대한 표현 수준(representation-level) 분석을 제공하며, 어시스턴트 바이어스가 구조적으로 식별 가능하고 사용자 행동을 방향적으로 분석할 수 있음을 확인한다.