휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.
대규모 언어 모델(LLM) 기반 대화 시스템은 생성이 최종 음성 인식 이후에만 시작되기 때문에 응답 지연이 발생한다. 고정 필러(filler)는 우회 방법이지만, 시간이 지날수록 부자연스러워진다. 우리는 서두 응답(prefatory response) 준비와 발화 시작을 분리하는 2단계 점진적 프레임워크를 제안한다. 사용자 의도가 예측 가능해지면, 의도 준비도(intent readiness) 탐지기가 짧은 서두 응답의 LLM 기반 생성을 트리거한다. 동시에, 음성 활동 투영(VAP) 모델이 이를 전달할 시점을 결정한다. 쇼핑몰의 경로 안내 로봇을 이용한 현장 실험을 통해 no-filler, fixed-filler, contextual-preface 세 가지 조건을 평가했다. fixed-filler와 contextual-preface 모두 no-filler 대비 초기 응답 지연을 유의미하게 줄였다. fixed-filler 대비 contextual-preface는 초기 응답 지연이 유의미하게 더 길었지만, 초기-본문 간격(initial-to-main gap)은 유의미하게 더 짧았다. 탐색적 평가에서는 유의미한 차이가 없었다. 이러한 결과는 타이밍 트레이드오프를 나타낸다.
타인 개시 자기-수리(other-initiated self-repair), 또는 줄여서 타인 개시 수리(other-initiated repair, OIR)는 대화 상호작용에서 필수적인 메커니즘으로, 수신자가 말하기, 듣기, 또는 이해와 관련된 문제를 신호하여 이전 화자가 이를 해결하도록 유도한다. 대화 에이전트(conversational agent)의 경우, 의사소통 단절을 효율적으로 해결하기 위해 이러한 수리 개시 전략을 정확히 식별하는 것이 필수적이다. 대화 분석(conversation analysis) 연구는 OIR 개시가 시선 전환, 표정, 자세, 손짓 등 언어적 및 비언어적 신호와 함께 나타남을 보여주었지만, 기존 계산(computational) 접근법은 주로 텍스트와 오디오에 의존한다. 본 논문은 대화 분석에서 도출한 시각적 특징 집합을 통합한 OIR 탐지 및 분류를 위한 새로운 멀티모달 모델을 제안한다. 서로 다른 언어와 상호작용 설정을 가진 두 코퍼스에서 접근법을 평가한다. 결과는 시각 정보가 텍스트 및 오디오 기준선(baseline) 대비 성능을 일관되게 향상시키며, 두 코퍼스에 걸친 교차 모달(cross-modal) 특징 기여에 대한 통찰을 제공함을 보여준다.
목표 지향 대화 시스템은 상호작용 대화를 통해 사용자 목표를 완수하는 데 강한 능력을 보여주었다. 그러나 기존 연구는 주로 단일하고 명시적인 목표 완수를 위해 설계되었으며, 전화 통화 어시스턴트는 기기 소유자의 명시적 사전 설정 목표와 발신자의 암묵적이고 동적인 목표를 조율해야 하는 대리(proxy) 설정에 직면한다. 우리는 전화 통화 어시스턴트에서 이중 목표 조율을 평가하기 위한 중국어 벤치마크 CallBench를 제안한다. CallBench는 배달 음식, 배송, 택시, 업무, 생활, 괴롭힘 등 6가지 시나리오에 걸친 50,000개의 완전한 다중 턴 전화 통화 대화를 포함한다. 일반 사전 설정, 창발적(emergent) 사전 설정, 사전 설정 없음 케이스를 다루며, 정렬(alignment), 상호 보완, 무관, 충돌 등 소유자 측과 발신자 측 목표 간의 다양한 관계를 포함한다. 또한 의미 이해, 문맥 활용, 능동적 안내, 응답 품질, 사전 설정 준수, 대화 리듬, 안전성(safety)을 포괄하는 사전 설정 인식 턴 수준 평가 프로토콜을 설계한다. 대표적인 대화 방법에 대한 실험 결과, 기존 접근법은 여전히 이 과제에서 어려움을 겪는 것으로 나타나며, 대리 제약 하에서 두 독립적 목표 사이에서 신뢰할 수 있는 턴 수준 결정을 내릴 수 있는 전화 통화 어시스턴트의 필요성을 부각한다.
인간 대화는 정보 교환 이상을 포함하며, 신념, 감정, 주관적 인지 스타일을 표현하기도 한다. 그러나 현재 AI 대화 시스템은 종종 의미적 균일성을 강제하여 다양성과 해석 가능성을 희생한다. 우리는 MAPS(Multi-Agent Perspective Spaces)를 제안한다. 이는 도메인 가중 프로필, 동적 GRU 기반 메모리, 해석 가능한 토큰 수준 어텐션을 통해 인지적으로 서로 다른 에이전트 간 대화를 모델링하는 새로운 프레임워크이다. MAPS는 에이전트가 개별화된 추론을 유지하면서 점진적으로 공유 의미에 수렴하도록 한다. EmpatheticDialogues, TopicalChat, MultiWOZ에 대한 평가에서 MAPS가 주관성을 붕괴시키지 않으면서 의미적 정렬(semantic alignment)을 지원함을 보여준다. 우리 결과는 표현력과 일관성을 균형 있게 하는 인지적으로 그라운딩(grounded)되고 해석 가능한 대화 시스템을 향한 경로를 제시한다.
20 Questions(Q20) 게임에서 최적의 질문 선택 정책을 학습하기 위해, 마르코프 결정 과정(MDP)으로 문제를 정식화하고 정책 기반 강화학습(RL) 프레임워크와 즉각적인 보상을 추정하는 RewardNet을 제안한다. 제안된 방법은 기존 지식 베이스(Knowledge Base)에 의존하지 않으며 노이즈가 있는 답변에도 강인하여, 엔트로피 기반 시스템을 명확히 능가하는 성능을 보였다.
Seamless Interaction 데이터셋의 4,000시간 이상 대화 음성을 활용해 음성-음성(S2S) AI 에이전트의 운율(prosody)과 리듬 평가를 위한 화자 특성·상호작용 상태별 매칭 참조 기준(matched reference regimes)을 구축하고, 백분위 기반 평가 프로토콜을 제안했다. 실험 결과, 통합 참조(pooled reference)는 상태 조건부 F₀ 표현력과 리듬을 과도하게 플래그하는 반면, 매칭 참조는 명목 플래그 비율(10%)에 근접해 편차 방향을 해석 가능하게 하는 행동적 타당성 검사로 기능함을 보였다.
자원이 제한되거나 프라이버시에 민감한 환경에서 개인화와 문맥 그라운딩을 한꺼번에 학습하는 기존 방식의 한계를 GRAG(Generic Response-Augmented Generation)가 고용량 범용 LLM의 오프라인 범용 응답을 스캐폴드로 활용해 콘텐츠 그라운딩과 페르소나 주입을 분리함으로써 해결한다. 사전·사후 융합 아키텍처로 구현한 GRAG는 여러 벤치마크 대화 데이터셋에서 보조 스캐폴딩 없는 최신 방법 대비 ROUGE-2 최대 47%, BLEU 36% 향상을 보였다.
대화형 환경에서 인간 사용자를 시뮬레이션하기 위해, LLM 판정기(judge)가 부여하는 판별적 튜링 보상으로 생성 응답의 구별 불가능성을 최적화하는 강화학습 방법 Turing-RL을 제안한다. PRISM 다중 턴 채팅과 Reddit 포럼 토론(ConvoKit)에서 응답 유사도·로그 확률 기반 기준선 대비 LLM 및 인간 평가 지표에서 일관되게 더 우수한 성능을 보였다.
장문맥 대화에서 변화하는 의도에 적응하지 못하고 이력에 과도하게 머무는 상태 관성(state inertia) 문제를, 갈등 인식 최적화와 구조적 시간적 어텐션 바이어스를 결합한 DZ-TiDPO로 최소 침습적으로 해결한다. Multi-Session Chat과 IC-Bench 실험에서 턴 간 갈등을 해결하면서 구조적 일관성을 유지했으며, 7B급 모델이 문맥 정렬 부담을 크게 늘리지 않고 시간적 정렬을 효율적으로 내재화할 수 있음을 보였다.
그래프·멀티에이전트 기반 대규모 언어 모델(LLM) 오케스트레이션은 실행 연속성은 제공하지만, 여러 상호 의존 목표를 중단·재개·수정·무효화해야 하는 복잡 대화의 목표 연속성(objective continuity)은 해결하지 못한다. 이를 위해 목표·태스크 프레임·수명주기 상태·무효화 규칙·재개 계약을 1급 런타임 객체로 두고 실행은 그래프 런타임·에이전트·도구·API에 위임하는 프레임워크 중립 설계 패턴 GODR(Goal-Oriented Dialogue Runtime)을 제안하며, 문제 정식화·아키텍처 선택 기준·향후 실증 평가 의제를 제시한다.
CURIOBOT은 Berlyne의 collative variables(신규성, 복잡성, 갈등, 불확실성)를 대화형 튜터링의 적응적 언어적 개입으로 구현한 프레임워크로, 270건의 실험에서 호기심 지향 개입이 탐색적 학습자 행동을 지속적으로 증가시켜 고정 시간 내 대화 턴을 최대 2.4배까지 늘렸다. 튜터 측 교수 품질과 무관하게 학습자 측 이득이 유지되어, 호기심이 부분적으로 독립적인 상호작용 수준 메커니즘으로 작용함을 보였다.
멀티턴 대화 시스템 테스트의 오라클 문제를 줄이기 위해 대화 수준 섭동과 메타모픽 관계(MR)로 테스트 케이스를 자동 생성하는 MORTAR를 제안한다. LLM 판사에 의존하지 않는 완전 자동화 방식으로 8개 LLM 대화 시스템에서 단일 턴 메타모픽 테스팅 기준선보다 테스트 케이스당 51% 더 많은 버그를 발견하고, 정밀도는 24.6% 높으며 발견 버그의 42% 이상이 유일하다.
정서적 확인(Emotional Validation) - 사용자의 감정이 타당함을 명시적으로 인정하는 것 -은 치료적 가치가 입증되었으나 계산적 측면에서는 큰 주목을 받지 못했습니다. 대화 시스템에서의 정서적 확인은 (i) 확인 반응 식별, (ii) 확인 타이밍 감지, (iii) 확인 반응 생성으로 분해될 수 있습니다. 이 세 가지 하위 작업에 대한 연구를 지원하기 위해, 우리는 수동 및 자동 주석의 하이브리드 방식으로 생성된 12만 개의 영어-일본어 다국어 말뭉치인 M-EDESConv와 다국어 구어 대화 테스트 세트인 M-TESC를 공개합니다. 타이밍 감지를 위해, 우리는 크로스 모달 어텐션(attention)과 게이티드(gated) 융합을 통해 동결된 XLM-RoBERTa의 의미를 언어별 감정 인코더와 융합하는 MEGUMI(Multilingual Emotion-aware Gated Unit for Mutual Integration)를 제안합니다. MEGUMI는 M-EDESConv와 M-TESC 데이터셋(dataset) 모두에서 객관적 및 주관적으로 우수한 성능을 보여줍니다. 마지막으로, GPT-4.1 Nano와 Llama-3.1 8B에 대한 우리의 EmoValidBench 벤치마크(benchmark) 결과는 현재의 대규모 언어 모델(LLM)이 문맥적으로 유사하고 다양한 확인 반응을 생성할 수 있지만, 정서적 이해는 여전히 개선이 필요한 주요 영역임을 나타냅니다. 프로젝트 페이지: https://github.com/zihaurpang/Multilingual-Emotional-Validation