arXiv:2611.17802v1 cs.RO

관측 조건 변화 하에서 인물 식별을 위한 멀티모달 인물 개념 모델

Multimodal Person Concept Model for Person Identification under Varying Observation Conditions

Mizuho Okitani, Yoshinobu Hagiwara

제출 2026-11-13

저자 비고

arXiv Comments

12 pages, 4 figures, 11 tables. Submitted to Artificial Life and Robotics (AROB Journal Track). Project page: https://okitamisan01.github.io/person_concept/

한국어 초록

가정과 사무실 환경의 서비스 로봇은 사용자의 선호와 이전 상호작용에 기반한 개인화된 서비스를 제공하기 위해 사용자를 식별해야 한다. 학습에 사용할 수 있는 관측이 적을 수 있고, 외모, 환경 소음, 발화 내용으로 인해 관측 조건이 변하기 때문에 이는 어려운 과제이다. 이 과제를 해결하기 위해 본 연구는 인물 레이블 없이 소수의 관측으로부터 인물 개념을 학습하며 변화하는 조건에서도 강건한 식별을 가능하게 하는 멀티모달 인물 개념 모델을 제안한다. 이 모델은 중국집 프로세스에 기반한 비모수 베이지안 생성 모델을 사용하며, Contrastive Language-Image Pre-training(CLIP)과 Contrastive Language-Audio Pretraining(CLAP)으로 추출한 시각, 음향, 언어 특징을 통합한 뒤 주성분 분석(PCA)을 적용한다. 외모 변화, 가산 잡음, 전사 오류를 개별적으로 또는 조합하여 도입한 여덟 가지 조건에서 여섯 명의 참가자를 평가하였다. 여덟 가지 조건에 대해 평균한 결과, 제안 모델은 관측으로부터 인물 개념의 수를 추론하면서 0.89의 식별 정확도를 달성하였으며, 이는 실제 참가자 수를 입력받은 k-means 군집화의 0.88과 비슷한 수준이다. 또한 PCA 차원, 모달리티 가용성, 변동 강도를 검토하고 Toyota Human Support Robot에서 모델을 시연하였다. 이러한 결과는 멀티모달 인물 개념 학습이 변화하는 조건에서 강건한 인물 식별을 뒷받침하며, 개념의 수가 올바르게 복원되지 않더라도 식별에 성공할 수 있음을 보여준다. 프로젝트 페이지와 시연 영상은 https://okitamisan01.github.io/person_concept/ 에서 확인할 수 있다.

원문 초록

Service robots in domestic and office environments must identify users to provide personalized services based on their preferences and previous interactions. This is challenging because only a few observations may be available for learning, while observation conditions change owing to appearance, environmental noise, and utterance content. To address this challenge, this study proposes a multimodal person concept model that learns person concepts from a small number of observations, without person labels, and enables robust identification under changing conditions. The model employs a nonparametric Bayesian generative model based on the Chinese restaurant process and integrates visual, acoustic, and linguistic features extracted using Contrastive Language-Image Pre-training (CLIP) and Contrastive Language-Audio Pretraining (CLAP), followed by principal component analysis (PCA). We evaluated six participants under eight conditions in which appearance changes, additive noise, and transcription errors were introduced individually and in combination. Averaged over the eight conditions, the proposed model achieved an identification accuracy of 0.89 while inferring the number of person concepts from the observations, which is comparable to k-means clustering that was supplied with the true number of participants (0.88). We also examined PCA dimensionality, modality availability, and variation strength, and demonstrated the model on a Toyota Human Support Robot. These results show that multimodal person concept learning supports robust person identification under changing conditions, and that identification can succeed even when the number of concepts is not correctly recovered. The project page and demonstration video are available at https://okitamisan01.github.io/person_concept/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.17802v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.