History-Aware Question Answering in a Blocks World Dialogue System
원문 초록
It is essential for dialogue-based spatial reasoning systems to maintain memory of historical states of the world. In addition to conveying that the dialogue agent is mentally present and engaged with the task, referring to historical states may be crucial for enabling collaborative planning (e.g., for planning to return to a previous state, or diagnosing a past misstep). In this paper, we approach the problem of spatial memory in a multi-modal spoken dialogue system capable of answering questions about interaction history in a physical blocks world setting. This work builds upon a full spatial question-answering pipeline consisting of a vision system, speech input and output mediated by an animated avatar, a dialogue system that robustly interprets spatial queries, and a constraint solver that derives answers based on 3-D spatial modelling. The contributions of this work include a symbolic dialogue context registering knowledge about discourse history and changes in the world, as well as a natural language understanding module capable of interpreting free-form historical questions and querying the dialogue context to form an answer.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
트리비아가 결코 사소하지 않을 때: 다국어 LLM의 일상 지식 실패
When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs
퀴즈 룸, 트리비아 나이트, 퀴즈 쇼는 정통 사실부터 일상 문화에 이르기까지 폭넓은 주제에 걸쳐 인간의 지식을 시험한다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 환경에서 경쟁력 있는 성능을 보일 수 있는지 살펴보고자, 퀴즈 형식의 질문을 활용하여 일반적인 주제와 틈새 주제 모두에서 모델을 테스트한다. 우리는 288개 주제에 걸쳐 일상적이고 문화적으로 그라운딩된 롱테일 지식을 평가하도록 설계된 다국어 벤치마크인 TriviaRoomQA를 소개한다. 이 벤치마크는 6개 유럽 언어로 된 3,300개의 병렬 객관식 질문과, 보다 세밀한 사례 연구를 위한 5,340개의 프랑스어 전용 추가 질문을 포함한다. 우리는 7B에서 70B 매개변수에 이르는 유럽, 아시아, 북미 제공업체의 30개 오픈 가중치 LLM을 평가한다. 그 결과, 모델들은 역사, 지리, 수학과 같은 지식 집약적 주제에서는 강세를 보이지만, 유명인, 음악, 영화, 뉴스와 같은 일상 대중문화 주제에서는 상당히 취약하다는 점을 발견했다. 나아가 동일한 근본 질문에 대해서도 언어에 따라 모델 성능이 달라지며, 이는 사실적 지식에 대한 접근이 항상 언어에 독립적이지는 않음을 시사한다. 요약하자면, 우리의 데이터셋과 실험은 기존의 학술 기반 포화 벤치마크에서는 포착되지 않는 중요한 지식 격차를 보여준다.
SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.
ReasonLab: A Controlled and Auditable Evaluation of Prompting Techniques for Multiple-Choice QA
대규모 언어 모델(LLM)의 능력을 탐색하고 다지선다형 질의응답(MCQA)에 대한 견고한 해법을 구축하는 일은 자연어 이해에서 여전히 핵심 과제이다. 또한 LLM의 급속한 확산은 더 정교한 프롬프팅 기법이 더 나은 성능을 낸다는 암묵적 가정을 만들어 왔다. 여러 연구가 그러한 이득을 주장하지만 서로 다른 모델, 프롬프트 문구, 답 추출 규칙 아래에서 보고하므로, 이득을 기법만으로 귀속할 수 없다. 우리는 ReasonLab으로 이 공백을 메운다. ReasonLab은 프롬프팅 기법을 모델·데이터셋과 함께 일급 실험 변수로 두고 모든 생성 결과를 검사용으로 보존하는 평가 프레임워크이다. ReasonLab으로 temperature 0에서 10개 MCQA 데이터셋, 27개 모델 구성, 480,927회 평가에 걸쳐 8가지 프롬프팅 기법에 대한 통제 연구를 수행했다. 프롬프팅 기법은 정확도의 사소한 결정 요인임을 발견했다. 추론 예산이 없는 구성에서는 추론 트리거가 직접 프롬프팅 대비 3.92~4.69%p만 개선하며 서로 구별되지 않고, 추론이 켜진 구성에서는 어떤 기법도 0.51%p 이상 차이 나지 않는다. Self-Generate만 일관된 효과를 보이며 2.95%p 감소이다. 세 가지 현상을 추가로 조사한다. (1) 공통 데이터셋 집합에서의 모델 비교—모델 크기는 정확도를 예측하지 않는다. (2) 사고(thinking) 예산 간 트레이드오프—추론 활성화는 최대 12.74%p 가치가 있으나 예산을 8배 늘려도 0.48~2.10%p만 추가된다. (3) 데이터셋 난이도 변동—벤치마크의 60%가 70% 미만 정확도이며 최easy~최hard 간 43.9%p 격차가 있다. 이 결과는 MCQA에서 프롬프팅 기법은 모델 추론 활성화에 비해 사소한 레버이며 상당한 여지가 남아 있음을 시사한다.
MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅
MemoryAthena: Adaptive Routing over Latent and Generated Memories
학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.
MyBuddy 휴머노이드 로봇을 위한 LLM 기반 대화형 AI 지식 어시스턴트
LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot
휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.
추론인가 암기인가: LLM은 중국어 쉬에허우(歇后语) 수수께끼를 이해하고 생성할 수 있는가?
Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?
본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.