arXiv:2609.27246v1 cs.HC

경청과 반사: VR에서 체화 AI 에이전트의 사회적·공감적 인식에 대한 언어적 공감 조율 및 행동 모방의 효과

Listening and Mirroring: The Effects of Verbal Attunement and Behavioral Mimicry on Social and Empathic Perceptions of Embodied AI Agents in VR

Nathalia Gomez, Haig Shamlian, Omar Khan, Tiffany D. Do

제출 2026-09-24

한국어 초록

체화 에이전트가 VR에서 점점 더 사회적·관계적 역할을 맡게 됨에 따라, 시각적 사실성과 체화만으로는 부족할 수 있으며, 사용자는 이러한 에이전트를 정서적으로 공감하고 지지하며 인간 같다고 인식해야 한다. 선행 연구는 언어적 공감 조율(verbal attunement)과 비언어적 모방이 각각 체화 에이전트에 대한 사용자의 사회적 평가를 향상시킬 수 있음을 시사한다. 그러나 행동 모방(behavioral mimicry)은 대체로 실시간 대화형 AI 상호작용 밖에서 연구되어, 에이전트가 맥락에 반응하는 대화를 동시에 생성하고 몰입형 대화 중 비언어적 행동을 조정할 때 사용자가 어떻게 반응하는지에 대한 이해는 제한적이다. 이 공백을 메우기 위해, 우리는 대화형 AI와 실시간 얼굴 표정 및 자세 모방을 결합하고, 언어적으로 공감 조율된 응답 또는 중립적 응답을 생성하는 체화 AI 상담사를 개발했다. 언어적 공감 조율과 행동 모방을 조작한 2×2 피험자 내 연구에서 20명의 참가자를 대상으로 시스템을 평가했다. 결과는 언어적 공감 조율이 지각된 공감의 가장 신뢰할 만한 요인임을 보여주었다. 행동 모방은 지각된 인간다움과 한계적인(marginal) 관계를 보였으며, 더 많은 모방 노출은 공감, 긍정성, 인간다움과의 예비적·탐색적(exploratory) 양의 연관을 보였고, 특히 여성 참가자에서 두드러졌다. 이러한 발견은 VR에서 공감적 대화 에이전트를 설계할 때 다중 모달 동조(multimodal synchrony)가 단순 가산적 전략이 아님을 보여주며, 실시간 상호작용 중 언어적·비언어적 행동이 어떻게 결합되는지 고려할 필요를 강조한다.

원문 초록

As embodied agents take on increasingly social and relational roles in VR, visual realism and embodiment alone may be insufficient; users must also perceive these agents as emotionally attuned, supportive, and humanlike. Prior work suggests that verbal attunement and nonverbal mimicry can each improve users' social evaluations of embodied agents. However, behavioral mimicry has largely been studied outside of real-time, conversational AI interactions, leaving limited understanding of how users respond when an agent simultaneously generates contextually responsive dialogue and adapts its nonverbal behavior during an immersive conversation. To address this gap, we developed an embodied AI counselor that combines conversational AI with real-time facial-expression and posture mimicry, while producing either verbally attuned or neutral responses. We evaluated the system in a 2 X 2 within-subjects study with 20 participants, manipulating verbal attunement and behavioral mimicry. Results showed that verbal attunement was the most reliable driver of perceived empathy. Behavioral mimicry showed a marginal relationship with perceived humanness, while greater mimicry exposure showed preliminary, exploratory positive associations with empathy, positivity, and humanness, particularly among female participants. Together, these findings show that multimodal synchrony is not a simple additive strategy for designing empathic conversational agents in VR and underscore the need to consider how verbal and nonverbal behaviors are combined during real-time interaction.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27246v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.17767v1cs.HC공통 태그 conversational agents, embodied agents

데이터와 대화하기: 개인 건강 성찰 인터페이스로서의 구현 대화 탐구

Talking to Your Data: Exploring Embodied Conversation as an Interface for Personal Health Reflection

웨어러블 기기에서 수집한 개인 건강 데이터는 일반적으로 차트와 요약 통계로 구성된 대시보드를 통해 제시되며, 사용자가 패턴과 그 함의를 능동적으로 해석해야 한다. 우리는 대안적인 상호작용 패러다임을 탐구한다: 사용자와의 대화 속에서 객관적인 데이터 성찰을 촉진하는 구현 대화형 에이전트를 통해 개인 건강 데이터와 상호작용하는 방식이다. 웨어러블 데이터의 경량 전처리와 Unity 기반 구현 캐릭터를 결합한 시스템을 제시한다. 내부적으로 이 시스템은 이중 에이전트 설계를 따르며, Observer 에이전트가 기술 통계와 시간적 추세를 추출하고, Presenter 에이전트가 이러한 발견을 "구술 통계(spoken statistics)"를 통해 전달한다. 상호작용 방식의 영향을 분리하기 위해 의도적으로 임상적 조언은 하지 않는다. 우리는 피험자 내 설계(within-subject design)를 사용한 시뮬레이션 자기 사용자 연구(simulated-self user study, N=5)를 통해 이 접근법을 평가한다. 참가자는 LifeSnaps 데이터셋에서 유도된 건강 페르소나와 목표를 채택하여, 전통적인 대시보드 탐험과 구현 대화형 성찰을 비교했다. 평가는 인지된 이해, 생성된 행동의 구체성, 수동적 열람에서 능동적 의미 구성으로의 인지적 전환에 초점을 둔다. 이 논문은 기능적 프로토타입, 객관적 건강 데이터 서술 생성을 위한 디자인 패턴, 그리고 구현(embodiment)이 개인 건강 지표 해석에 미치는 영향에 대한 초기 경험적 통찰을 기여한다.

arXiv:2610.13534v1cs.AI공통 태그 embodied agents

MAGMA-Bench: 동적 태스크 및 실행 실패 환경에서의 장기 임바디드 에이전트 평가

MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures

장기(long-horizon) 임바디드 에이전트(embodied agent)는 실행이 진행됨에 따라 태스크 관련 정보를 유지하고, 이종 로봇들을 조율하며, 의사결정을 적응적으로 변경할 수 있어야 합니다. 기존 벤치마크는 동적 태스크 실행 및 임바디드 멀티 에이전트 조율을 조사하지만, 둘의 교차점에 대한 평가는 제한적입니다. 본 연구에서는 동적 멀티 로봇 환경에서의 지속적 태스크 추론을 위한 아키텍처 비종속적 벤치마크인 MAGMA-Bench를 소개합니다. MAGMA-Bench는 이종 역량을 가진 로봇 간의 조율이 필요한 시나리오와 함께, 실행 실패, 태스크 중단, 미션 업데이트를 포함한 통제된 온라인 섭동(online perturbation) 및 늘어나는 태스크 범위에 걸쳐 에이전트를 평가합니다. 본 벤치마크는 구조화된 스킬 수준 인터페이스를 활용하여 태스크 수준 추론을 인지 및 저수준 제어로부터 분리합니다. 저자들은 로컬 배포가 가능한 오픈 가중치 플래너, 멀티 에이전트 상태 추적 전략, 그리고 프론티어 모델들을 평가합니다. 평가된 가장 강력한 모델조차도 섭동이 없는 에피소드의 상당 부분에서 실패하며, 온라인 섭동 하에서는 성공률이 더욱 감소합니다. 지도 적응(supervised adaptation)은 소형 모델의 성능을 크게 향상시키지만, 더 길고 다중 로봇이 관여하는 미션에서는 성능이 여전히 크게 낮게 유지됩니다. 저자들은 벤치마크, 261,646개의 태스크 수준 학습 예제, 그리고 아키텍처 비종속적 전문가 궤적 생성 파이프라인을 공개합니다.

arXiv:2610.01045v2cs.AI공통 태그 conversational agents

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

arXiv:2610.10962v1cs.RO공통 태그 embodied agents

iAm.md: 미지의 개방형 어휘 도메인을 위한 에이전틱 자기성찰 기반 로봇 스킬 자가 평가

iAm.md: Robot Skill Self-Assessment through Agentic Introspection for Unknown Open-Vocabulary Domains

대규모 언어 모델(LLM)의 일반화 능력을 기반으로 하는 에이전틱 AI(Agentic AI)는 체화된(embodied) 작업 계획을 포함하여 광범위한 잠재적 응용 분야를 제공합니다. 예를 들어, 파운데이션 모델(Foundation model) 기반의 체화된 에이전트는 자율 로봇 시나리오에서 그럴듯한 계획을 생성할 수 있습니다. 그러나 제한된 컨텍스트 윈도우(context window)나 다음 토큰(token) 예측 방식에서의 환각(hallucination) 현상으로 인해, 배포된 로봇과 관측된 환경(environment)이 요청된 작업을 실제로 지원하는지 확인하지 않은 채 행동이 생성될 수 있으며, 이를 우리는 "그라운딩 실패(grounding failure)"라고 부릅니다. 최근 파운데이션 모델의 추론 능력 향상 덕분에 자율 로봇 행동 생성 문제는 코드 생성 문제로 공식화될 수 있습니다. 본 논문에서는 배포 환경의 상호 보완적인 증거 형태에 이러한 과정을 고정(anchoring)할 수 있도록 지원하는 마크다운 표준 및 생성 프레임워크인 iAm.md를 제시합니다. 개방형 어휘(open-vocabulary) 시맨틱 매핑을 통해 로컬 비전-언어(vision-language) 검출 및 객체 분할을 결합하고, 이를 이러한 중간 표준화 표현 내의 영구 객체 레코드에 참조시킴으로써 에이전틱 자기성찰(agentic introspection)을 가능하게 합니다. 이어 시뮬레이션된 TIAGo 로봇의 내비게이션 및 매니퓰레이션 작업을 통해 이 새로운 기법을 연구하며, 이러한 표준화된 표현이 스킬 자가 평가와 실행 가능한 작업 일반화를 동시에 어떻게 지원하는지 보여줍니다.

arXiv:2605.13335v2cs.AI공통 태그 embodied agents

Ego2World: 1인칭 시점 요리 영상을 신념 상태 계획을 위한 실행 가능한 세계로 컴파일하기

Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning

가정 환경의 임바디드 에이전트(embodied agent)는 부분 관측(partial observation) 상태에서 계획을 수립해야 합니다. 즉, 물체를 기억하고 상태 변화를 추적하며 행동이 실패했을 때 복구할 수 있어야 합니다. 기존 벤치마크는 이러한 능력을 부분적으로만 테스트합니다. 1인칭 시점(egocentric) 비디오 데이터셋은 현실적인 인간 활동을 포착하지만 수동적인 상태로 남아 있는 반면, 대화형 시뮬레이터는 실행을 지원하지만 합성 장면과 수작업으로 제작된 역학에 의존하므로 시뮬레이션-현실 간 격차(sim-to-real gap)가 발생하고 완전 관측 가능한 상태를 가정하는 경우가 많습니다. 본 논문에서는 1인칭 시점 요리 영상을 그래프 전이 규칙으로 제어되는 실행 가능한 기호 세계로 변환하는 실행형 벤치마크인 Ego2World를 소개합니다. HD-EPIC을 기반으로 구축된 Ego2World는 비디오 주석에서 재사용 가능한 전이 규칙을 도출하고 이를 은닉 기호 세계 그래프에서 실행합니다. 평가 과정에서 시뮬레이터는 은닉 세계 그래프를 유지하는 반면, 에이전트는 국소적 관측과 실행 피드백만을 사용하여 자체적인 부분 신념 그래프 상에서 계획을 수립합니다. 이러한 분리는 에이전트가 실제 세계 상태를 관찰하지 않고 메모리를 업데이트하고 다시 계획을 세우도록 강제합니다. 실험 결과, 행동 중첩 점수가 물리적 상태 성공을 과대평가하며, 지속적인 신념 메모리가 반복적인 시각적 탐험을 줄이면서 작업 완료율을 향상시키는 것으로 나타났습니다. 이는 신념 유지가 임바디드 에이전트 평가의 주요 목표가 되어야 함을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.