PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.16666v3cs.AI

Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크

Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents

Interval timing is considered an important aspect of human cognition. As artificial agents increasingly function alongside humans, their interval timing abilities need to be studied. However, research in this area remains limited and scattered. This paper presents Chronocooked, a reinforcement learning (RL) benchmark environment that enables a systematic study of interval timing abilities in RL agents. The suite comprises cooking scenarios involving interval timing tasks inspired by psychology literature. Each task is accompanied by evaluation metrics to study different aspects of interval timing in RL agents, namely, task performance, human-like timing and scalability. We report baselines using a non-recurrent model (CNN), a recurrent model (LSTM), and a biologically inspired recurrent model (CTRNN). The CNN model showed limited ability to perform the basic timing tasks. In contrast, both recurrent models with sufficient memory successfully performed the timing tasks, exhibited temporal control in the Fixed Interval (FI) task, and qualitatively reproduced human-like psychometric curves in the Temporal Bisection task. However, no quantitative evidence of human-like timing behavior was found. A systematic study of interval timing in artificial agents may offer complementary perspectives for improving task performance in fields like human-robot interactions (HRI), while also contributing to broader research on time perception.

arXiv:2610.13628v1cs.RO

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2509.24001v3cs.CV

인간-로봇 상호작용을 위한 시선 추정: NICO 플랫폼을 이용한 분석

Gaze Estimation for Human-Robot Interaction: Analysis Using the NICO Platform

본 논문은 공유 작업공간(shared workspace) 시나리오의 인간-로봇 상호작용(HRI) 맥락에서 현재의 시선 추정(gaze estimation) 방법들을 평가한다. 우리는 NICO 로봇 플랫폼으로 수집한 새로운 주석 처리된 데이터셋을 소개한다. 우리는 네 가지 최신(state-of-the-art) 시선 추정 모델을 평가한다. 평가 결과, 각도 오차(angular error)는 범용 벤치마크에서 보고된 값과 비슷한 수준으로 나타났다. 그러나 공유 작업공간 내 거리로 환산했을 때 최적의 중앙값 오차는 14.57cm로, 이는 현재 방법들의 실질적인 한계를 수치화한다. 마지막으로 우리는 이러한 한계를 논의하고, 시선 추정을 HRI 시스템의 한 모달리티(modality)로 가장 잘 통합하는 방법에 대한 권고안을 제시한다.

arXiv:2609.40245v3cs.RO

STARS: 인간-로봇 상호작용에서 시공간 동역학부터 사회적 표현까지

STARS: From Spatiotemporal Dynamics to Social Representations in Human-Robot Interaction

동적이고 인간 중심적인 환경에서의 로봇 내비게이션은 강건한 장면 이해에 기반한(grounded) 사회적 규범을 준수하는(socially-compliant) 결정을 필요로 합니다. 최근 비전-언어 모델(VLM)은 객체 인식, 상식 추론, 문맥 이해와 같이 사회적 로봇 내비게이션의 미묘한 요구사항에 부합하는 유망한 능력을 보여주고 있습니다. 그러나 VLM이 안전하고 사회적으로 순응하는 로봇 내비게이션에 필수적인 복잡한 사회적 내비게이션 장면을 정확히 이해할 수 있는지(예: 에이전트 간의 시공간적 관계 및 인간의 의도 추론)는 여전히 불분명합니다. 일부 최근 연구에서 사회적 로봇 내비게이션에 VLM을 활용하는 방안을 모색했으나, 이러한 필수 조건을 충족하는 능력을 체계적으로 평가한 연구는 전무합니다. 본 논문에서는 실제 사회적 로봇 내비게이션 시나리오에서 장면 이해를 위한 VLM을 평가하도록 설계된 시각적 질의응답(VQA) 데이터셋이자 벤치마크인 SocialNav-SUB(Social Navigation Scene Understanding Benchmark)를 소개합니다. SocialNav-SUB는 사회적 로봇 내비게이션에서 공간적, 시공간적, 사회적 추론을 요구하는 VQA 태스크 전반에 걸쳐 인간 및 규칙 기반 베이스라인과 VLM을 비교 평가하기 위한 통합 프레임워크를 제공합니다. 최첨단 VLM을 활용한 실험을 통해, 최고 성능을 보이는 VLM이 인간의 답변과 일치할 고무적인 확률을 달성하지만, 여전히 더 단순한 규칙 기반 접근법과 인간 합의 베이스라인보다 성능이 떨어짐을 확인하였으며, 이는 현재 VLM의 사회적 장면 이해에 중대한 격차가 있음을 시사합니다. 우리의 벤치마크는 사회적 로봇 내비게이션을 위한 파운데이션 모델에 대한 추가 연구의 발판을 마련하며, 실제 사회적 로봇 내비게이션 요구사항을 충족하도록 VLM을 맞춤 조정하는 방법을 탐구할 수 있는 프레임워크를 제공합니다. 본 논문의 개요와 코드 및 데이터는 https://larg.github.io/stars 에서 확인할 수 있습니다.

arXiv:2609.24742v1cs.RO

MyBuddy 휴머노이드 로봇을 위한 LLM 기반 대화형 AI 지식 어시스턴트

LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot

휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.

arXiv:2607.23204v1cs.RO

문맥 인식 서두 생성을 통한 실세계 대화 로봇의 저지연 턴 테이킹

Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot

대규모 언어 모델(LLM) 기반 대화 시스템은 생성이 최종 음성 인식 이후에만 시작되기 때문에 응답 지연이 발생한다. 고정 필러(filler)는 우회 방법이지만, 시간이 지날수록 부자연스러워진다. 우리는 서두 응답(prefatory response) 준비와 발화 시작을 분리하는 2단계 점진적 프레임워크를 제안한다. 사용자 의도가 예측 가능해지면, 의도 준비도(intent readiness) 탐지기가 짧은 서두 응답의 LLM 기반 생성을 트리거한다. 동시에, 음성 활동 투영(VAP) 모델이 이를 전달할 시점을 결정한다. 쇼핑몰의 경로 안내 로봇을 이용한 현장 실험을 통해 no-filler, fixed-filler, contextual-preface 세 가지 조건을 평가했다. fixed-filler와 contextual-preface 모두 no-filler 대비 초기 응답 지연을 유의미하게 줄였다. fixed-filler 대비 contextual-preface는 초기 응답 지연이 유의미하게 더 길었지만, 초기-본문 간격(initial-to-main gap)은 유의미하게 더 짧았다. 탐색적 평가에서는 유의미한 차이가 없었다. 이러한 결과는 타이밍 트레이드오프를 나타낸다.

arXiv:2607.21964v1cs.RO

ACME: 다문화, 다중 체형 사회적 내비게이션 데이터셋

ACME: A Multi-Cultural, Multi-Embodiment Social-Navigation Dataset

공유 공간에서 로봇과 인간이 어떻게 움직이는지 이해하는 것은 효과적인 사회적 로봇 내비게이션 정책을 설계하고 인간 행동을 예측하는 데 필수적이다. 그러나 기존 데이터셋은 문화, 지리, 인간-로봇 상호작용의 차이—적절한 사회적 행동을 크게 형성하는 요인들—를 포착하는 데 필요한 다양성이 부족한 경우가 많다. 이 격차를 해소하기 위해, 우리는 ACME: 사회적 내비게이션을 위한 교차문화적, 다중 체형 데이터셋을 제안한다. 5개국 8개 현장에서 7가지 로봇 체형을 사용한 대규모 데이터 수집 노력을 통해, ACME는 사회적 내비게이션 연구를 발전시키기 위한 대규모이고 다양한 멀티모달 데이터셋으로, 29.35시간의 온보드 로봇 데이터와 43.5시간의 상공 보행자 추적 데이터를 제공한다. 이전 데이터셋과 달리, 로봇 음성을 통한 명시적인 로봇-군중 상호작용이 포함된 복잡한 사회적 시나리오에서 목표 지향적 사회적 내비게이션 행동을 포착하는 데 중점을 둔다. 내비게이션 정책 학습과 보행자 궤적 예측을 용이하게 하기 위해, ACME는 3D 및 2D 장면 특징, 오도메트리(odometry), 상호작용 정보, 사람이 주석을 단 보행자 궤적 레이블을 제공한다. 각 센서 모달리티에 대한 사람이 읽을 수 있는 데이터와 원시 바이너리 데이터를 모두 제공하여 ACME를 사용하기 쉽게 한다. 우리의 정성적 및 정량적 분석은 본 데이터셋이 이전 데이터셋보다 더 도전적인 시나리오와 더 넓은 분포의 보행자 행동을 포착함을 보여준다.

arXiv:2603.15403v2cs.CV

포인팅 기반 객체 인식

Pointing-Based Object Recognition

이 논문은 RGB 이미지를 사용하여 사람의 포인팅 제스처로 지목된 객체를 인식하기 위한 포괄적인 파이프라인을 제시한다. 휴먼-로봇 상호작용이 더 직관적인 인터페이스를 향해 발전함에 따라, 비언어적 의사소통의 대상을 식별하는 능력이 중요해진다. 제안하는 시스템은 객체 검출, 신체 자세 추정, 단안 깊이 추정, 비전-언어 모델을 포함한 여러 기존 최첨단 방법들을 통합한다. 단일 이미지에서 재구성된 3D 공간 정보의 영향과 분류 오류를 수정하는 데 있어 이미지 캡셔닝 모델의 유용성을 평가한다. 맞춤형 데이터셋에 대한 실험 결과, 깊이 정보를 통합하면 특히 겹치는 객체가 있는 복잡한 장면에서 대상 식별이 크게 향상됨을 보여준다. 이 접근법의 모듈성 덕분에 전용 깊이 센서를 사용할 수 없는 환경에서도 배포할 수 있다.

arXiv:2607.14675v1cs.RO

로봇을 위한 지능형 클라우드-엣지 멀티모달 상호작용 시스템

An Intelligent-Cloud Edge Multimodal Interaction System for Robots

복잡한 환경에서의 견고한 인간-로봇 상호작용은 제한된 온보드 컴퓨팅 자원 하에서 정확한 제스처 인식, 의미론적 장면 이해, 그리고 신뢰할 수 있는 작업 계획을 필요로 한다. 본 논문은 향상된 YOLO 기반 제스처 검출기를 조율된 대규모 언어 모델(LLM) 및 비전-언어 모델(VLM) 에이전트와 통합하는 클라우드-엣지 멀티모달 상호작용 프레임워크를 제시한다. 제안된 검출기는 neck에 Convolutional Block Attention Module(CBAM)을 통합하고, 기준선 바운딩 박스 회귀 목적 함수를 Distance-IoU(DIoU) 손실로 대체한다. 이러한 수정은 복잡한 배경에서 작거나 부분적으로 가려진 제스처에 대한 특징 구별과 위치 추정을 개선한다. 클라우드 층은 제스처 검출, 장면 이해, 멀티모달 융합, 행동 계획을 수행하고, TonyPi 로봇은 로컬에서 데이터 수집, 통신, 행동 실행, 피드백을 처리한다. 공개 제스처 데이터셋과 사용자 정의 데이터셋에 대한 실험 결과, YOLO-DC는 각각 98.9% 및 95.0%의 정밀도와 90.7% 및 92.7%의 [email omitted] 달성한다. 시스템 수준 평가에서는 단일 행동, 복합 행동, 시각 의존 작업에 대해 각각 95%, 88%, 82%의 성공률을 보인다. 30명 참가자 평가에서는 전체 평균 만족도 점수가 5점 만점에 3.69점이다. 이러한 결과는 자원 제약 환경에서의 로봇 상호작용을 위해 정교화된 제스처 검출과 멀티모달 에이전트를 결합하는 것의 타당성을 보여준다.

arXiv:2602.12873v5cs.HC

고등교육에서 생성형 소셜 로봇을 위한 지식 기반 설계 요구사항

Knowledge-Based Design Requirements for Generative Social Robots in Higher Education

대규모 언어 모델(LLM)로 구동되는 생성형 소셜 로봇(GSR)은 적응형 대화 기반 튜터링을 가능하게 하지만, 동시에 허위 정보, 과도한 의존, 개인정보 침해와 같은 위험도 초래한다. 교육 기술 및 책임 있는 AI를 위한 기존 프레임워크는 주로 바람직한 행동을 정의하는 데 그치며, 생성형 에이전트가 이러한 행동을 안정적으로 표현하는 데 필요한 지식 전제조건을 구체적으로 명시하는 경우는 드물다. 이러한 간극을 해소하기 위해 본 연구는 지식 기반 설계 관점을 채택하고, 튜터링 지향 GSR이 고등교육 환경에서 책임감 있고 효과적으로 기능하기 위해 어떤 정보를 필요로 하는지 탐구한다. 대학생 및 강사와의 12회 반구조화 인터뷰를 바탕으로, 세 가지 지식 유형에 걸친 12개의 설계 요구사항을 도출하였다: 자기 지식(역할 커스터마이징이 가능한 적극적·성실·친화적 성격), 사용자 지식(학생의 학습 목표, 학습 진도, 동기 유형, 감정 상태, 배경에 관한 개인화 정보), 맥락 지식(학습 자료, 교육 전략, 강좌 관련 정보, 물리적 학습 환경). 이러한 결과를 토대로, 본 연구는 튜터링 GSR 설계를 위한 구조화된 기반을 제공하며, 생성형 AI 역량을 교육학적·윤리적 기대와 정렬시킨다.

arXiv:2607.07775v1cs.AI

아이디오바이오닉스: 프라이버시와 지능형 로봇 보조기의 통합

Idiobionics: The Unification of Privacy and Intelligent Robotic Prostheses

AI 기반 바이오닉 의지(bionic limbs)의 센싱·제어 기술 발전이 동시에 프라이버시 위협 벡터를 야기한다는 문제를 다루기 위해, 이 연구는 아이디오바이오닉스(idiobionics)라는 새로운 학제간 연구 분야를 정의하고, 전완부 가속도계 데이터를 이용한 활동 추론 공격(Activity Inference Attack)이 평균 83% 정확도로 실현 가능함을 실증적으로 보여준다.

arXiv:2607.06344v1cs.RO

책임감 있는 개인화: 인간-로봇 상호작용에서 개인화의 양날의 검

Responsible Personalisation: The Double-Edged Sword of Personalisation in Human-Robot Interaction

인간-로봇 상호작용(HRI)에서 개인화가 핵심 기능으로 부상함에 따라 자율성 침식, 편향된 사용자 모델링, 조작, 비인간화, 프라이버시 침해 등의 윤리적 위험이 증폭될 수 있다는 점에 주목하여, 이 연구는 로봇의 구현성(embodiment)을 고려한 생애주기 기반의 맥락 민감형 책임 있는 개인화 프레임워크를 제시한다. 개인화 프로세스의 각 단계를 단기/장기, 개방형/폐쇄형 도메인 상호작용 유형과 결합하여 위험의 발생 양상을 체계적으로 분석하고, 실행 가능한 설계 권고사항과 미해결 연구 과제를 도출하였다.

arXiv:2607.00530v1cs.RO

From Technical Metrics to User Perception: A User Study of a Multimodal Human-Robot Interaction System for Object Detection and Grasping

인간-로봇 상호작용(HRI) 시스템에서 기술 지표 향상이 실제 사용자 인식 차이로 이어지는지 검증하기 위해, Whisper·Florence-2·LLaMA 3.1 기반 베이스라인(성공률 75%)과 Grounding DINO+SAM·Qwen 3.5 9B로 모듈을 교체한 개선 시스템(성공률 90%)을 24명 참여자 대상 within-subject 실험으로 비교했다. 참여자의 70.83%가 개선 시스템을 선호했으며, 지각 속도·신뢰성·유능함 및 유창성 세 가지 지표 모두 통계적으로 유의미하게 높은 평가를 받아(p < 0.001), 기술적 개선이 실제 인터랙션에서도 사용자에게 지각 가능한 수준임이 확인됐다.

arXiv:2606.31158v1cs.RO

LLM-Powered Interactive Robotic Action Synthesis from Multimodal Speech, Gestures, and Music

음성 명령, 손 제스처, 음악 비트를 통합한 멀티모달 입력을 대규모 언어 모델(LLM)로 처리하여 4족 보행 로봇의 복잡한 동작 시퀀스를 합성하는 새로운 프레임워크를 제안한다. Whisper 기반 음성 인식, HaGRID 기반 제스처 인식, 비트 감지 파이프라인을 통해 구조화된 프롬프트를 생성하고 Qwen3:0.6b 모델이 사전 정의된 행동 공간 내에서 안전하게 동작 계획을 수립하여 Unitree Go2 로봇에서 실시간으로 실행함을 실험적으로 검증하였다.

arXiv:2606.26382v1cs.CL

사회-물리적 HRI(spHRI) 성장 지도: 소형 언어 모델로 보강한 체계적 문헌 고찰 파이프라인

Charting the Growth of Social-Physical HRI (spHRI): A Systematic Review Pipeline Augmented by Small Language Models

사회-물리적 인간-로봇 상호작용(spHRI) 대규모 체계적 문헌 고찰에서 15억 파라미터 미만 소형 언어 모델(SLM)이 제목·초록 선별을 얼마나 보조할 수 있는지 평가했다. SLM은 인간 검토자 성능에는 미치지 못했지만 로컬에서 훨씬 빠르게 동작했고, 4모델 일치 앙상블은 검토자가 놓친 관련 논문 39편(최종 데이터셋의 10.29%)을 찾아 전문가를 대체하기보다 보완하는 2차 선별 도구로 쓸 수 있음을 보였다.

arXiv:2604.28197v2cs.RO

OmniRobotHome: A Multi-Camera Home Platform for Real-Time Human-Robot Interaction

가정 환경에서 실시간·고품질 인지가 인간-로봇 상호작용의 핵심 요인임을 검증하기 위해, 48대의 하드웨어 동기화 카메라와 3대 조작기를 통합 세계 좌표계로 묶은 OmniRobotHome 테스트베드를 구축했다. 이 플랫폼은 마커 없는 전신 인체 자세, 6D 객체 자세, 동작 예측, 사회적 아바타 대화를 실시간 제공하며, 안전·인간 보조·사회적 상호작용 실험에서 실시간성·세분성·커버리지·정확도·예측·기억 등 인지 품질이 약화될수록 상호작용 품질이 측정 가능한 수준으로 저하됨을 확인했다.

arXiv:2606.25160v1cs.RO

에고센트릭 시각 이해에서 이중 정확 예측을 갖는 저지연 비전-언어 모델을 향하여

Toward Low-Latency Vision-Language Models with Doubly-Correct Predictions in Egocentric Visual Understanding

에고센트릭 시각 이해용 비전-언어 모델(VLM)의 저지연 추론을 위해 가중치 가지치기를 연구하되, 기존 방법이 증거 위치는 유지하면서도 예측 정확도를 떨어뜨리는 문제를 지적한다. 증거와 결정을 더 잘 맞추는 근거 기반(rationale-informed) 가지치기를 제안했으며, 에고센트릭 비디오 벤치마크에서 예측 정확도와 이중 정확(doubly-correct) 예측 모두에서 기존 접근을 능가했다.

arXiv:2606.25337v1cs.RO

AI Coaching for Accelerating Human Skill Development with Reinforcement Learning

AI copilots can substantially boost human performance through shared control, but excessive assistance can induce over-reliance and skill atrophy. This paper studies how an embodied AI agent can act as a coach that accelerates human motor-skill development. We argue that effective coaching requires strategic scaffolding and stepping back that are aligned with the learner's capability, allowing productive failures that drive learning. We formalize the interactive AI coaching process as a non-cooperative dynamic game in which the learner optimizes task performance while the coach targets the learner's independent competence. Building on this formalism, we develop a reinforcement learning framework combining adaptive shared control with probabilistic models of the coach's causal influence on skill evolution, enabling tractable training of coaching policies. A comprehensive user study (N=33) on first-person-view drone racing shows significant gains in human learning outcomes over state-of-the-art AI coaching baselines.

arXiv:2606.24498v1cs.CV

VistaRef: 포인팅-객체 검출을 위한 시각적 공간 방향 인식 강화

VistaRef: Boosting Visual Spatial Orientation Awareness for Pointing-to-Object Detection

자연 이미지에서 지시적 제스처를 그라운딩하는 것은 AR 및 인간-로봇 협업의 근간으로, 원활한 공간적 상호작용의 기반을 제공한다. 트랜스포머 기반 시각 모델이 일반 객체 검출에서 상당한 발전을 이루었음에도 불구하고, 이들의 전역 어텐션 메커니즘은 미세한 기하학적 관계를 간과하는 경향이 있어 방향 정확도를 저하시킨다. 포인팅 태스크에서 이 결함은 손가락 포즈로부터 암시되는 포인팅 레이를 정확하게 포착하지 못하는 형태로 나타나며, 멀리 떨어지거나 밀집된 객체를 다룰 때 포인팅 드리프트 및 위치 모호성을 야기한다. 이를 해결하기 위해 우리는 공간 방향 인식을 명시적으로 강화하도록 설계된 프레임워크인 VistaRef를 제안한다. 첫째, 손 포즈 임베딩을 통합하여 미세한 손가락 편차를 포착하는 모델의 능력을 강화하는 LHEM(Local Hand Entity Modeling) 모듈을 개발한다. 둘째, 다중 시점 기하학에서 영감을 받아, 암묵적인 방향 정보를 명시적인 공간 기하학적 특징으로 변환하고 어텐션 메커니즘을 통해 특징 집계 및 심층 융합을 유도하는 GRM(Geometric Ray Modeling) 모듈을 구성한다. 또한, 손의 존재 여부와 포인팅 일관성을 상호보완적으로 감독하는 새로운 OCAL(Orientation-Consistent Alignment Loss)을 도입하여, 모든 아키텍처적 개선이 공간 위치 추정이라는 핵심 목표에 집합적으로 기여하도록 보장한다. 실험 결과, VistaRef는 그라운딩 정확도에서 14포인트 절대 향상을 달성하며 기준선을 크게 능가함을 보인다. 정성적 분석을 통해 VistaRef가 손에서 대상 객체까지의 기하학적 상관관계를 효과적으로 모델링하여, 복잡한 시나리오에서 전통적인 트랜스포머에 내재된 공간 지각 격차를 해소함을 확인한다. 코드: https://github.com/lingli1724/VistaRef.

arXiv:2606.03694v2cs.RO

인간-로봇 상호작용을 위한 얼굴 대 신체 추적: 에고센트릭 데이터셋

Face versus Body Tracking for Human-Robot Interaction: An Egocentric Dataset

의미 있는 인간-로봇 상호작용(HRI)을 위해서는 로봇이 지속적인 사용자 추적을 통해 사용자 참여도를 지속적으로 평가해야 한다. 그러나 최신 다중 객체 추적(Multi-Object Tracking) 모델은 감시 또는 자율 주행에 최적화되어 있다. 소셜 로봇은 인간이 예측 불가능한 비선형 패턴으로 이동하거나, 서로를 가리거나, 장면을 벗어났다가 다시 진입하는 등 에고센트릭(egocentric) 특유의 어려움에 직면한다. 이러한 역동성은 빈번한 신원 전환(IDSW)을 유발하여 로봇이 대화 도중 추적 대상을 잃게 만든다. 이를 해결하기 위해 Furhat 로봇을 통해 수집한 집중적이고 맞춤형 어노테이션이 적용된 에고센트릭 데이터셋을 소개한다. 본 논문은 탐지 오류와 추적 로직을 분리하고, 얼굴 추적과 신체 추적을 비교하며, 확장된 메모리와 외관 재식별(ReID)의 영향을 평가하는 체계적인 평가를 제시한다. 결과에 따르면, 시간적 메모리를 늘리면 장시간 가림(occlusion)은 완화되지만 복잡한 동적 이벤트에서는 효과가 없다. ReID를 통합하면 복잡한 전환 문제는 해결되나 상반된 효과를 나타낸다: 신체 추적 안정성은 크게 향상되는 반면, 프로필 각도 민감성으로 인해 얼굴 IDSW가 급증한다. 최종적으로 최적화된 파이프라인은 표준 탐지 기반 추적 기준선(baseline) 대비 IDSW를 49% 감소시켜 상호작용 중단을 효과적으로 완화한다. 표준 벤치마크에는 밀집된 근거리 가림 상황이 부재하므로, 본 연구는 HRI 인식 모델을 진정으로 검증하기 위해 자연스럽게 포착된 소셜 역동성 데이터셋의 절실한 필요성을 강조한다.