arXiv:2307.07544

A Dialogue System for Assessing Activities of Daily Living: Improving Consistency with Grounded Knowledge

Zhecheng Sheng, Raymond Finzel, Michael Lucke, Sheena Dufresne, Maria Gini, Serguei Pakhomov

제출 2023-07-15

원문 초록

In healthcare, the ability to care for oneself is reflected in the "Activities of Daily Living (ADL)," which serve as a measure of functional ability (functioning). A lack of functioning may lead to poor living conditions requiring personal care and assistance. To accurately identify those in need of support, assistance programs continuously evaluate participants' functioning across various domains. However, the assessment process may encounter consistency issues when multiple assessors with varying levels of expertise are involved. Novice assessors, in particular, may lack the necessary preparation for real-world interactions with participants. To address this issue, we developed a dialogue system that simulates interactions between assessors and individuals of varying functioning in a natural and reproducible way. The dialogue system consists of two major modules, one for natural language understanding (NLU) and one for natural language generation (NLG), respectively. In order to generate responses consistent with the underlying knowledge base, the dialogue system requires both an understanding of the user's query and of biographical details of an individual being simulated. To fulfill this requirement, we experimented with query classification and generated responses based on those biographical details using some recently released InstructGPT-like models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26942v1cs.CL공통 태그 Text Generation, Natural Language Understanding

인식되나 생성되지 않음: 문화적으로 특수한 친족 호칭에 대한 생성 벤치마크

Recognized but Not Produced: A Generation Benchmark for Culturally Specific Kinship Terms

기존 문헌은 다지선다 벤치마크를 사용해 대규모 언어 모델(LLM)의 다언어 친족 이해를 평가하며, 이를 인식 문제로 다룬다. 우리는 대신 두 가지 의사소통 과제에 걸쳐 세 가지 비서구 언어(힌디어, 타밀어, 한국어)에서 친족 호칭을 생성하도록 다섯 개의 오픈 가중치 LLM에 프롬프트를 주고, 이를 일치하는 선택지 지원 선택 기준선과 짝지었다. 동일한 관계-언어 셀에서 GPT OSS120B는 75개의 유효 셀 중 90.67%에서 올바른 용어를 선택하지만, 해당 시도의 36.00%에서만 수용 가능한 용어를 생성한다; Llama 3.370B도 같은 패턴을 보인다(77.92% 대 24.24%). 4지선다 조건은 후보 용어를 제시하며 문자 생성을 요구하지 않으므로, 이 차이는 어휘 지식이 온전함을 직접 증명하기보다는 평가 형식 간극으로 해석된다. 명시적으로 지정된 L3 프롬프트에서 정확도는 GLM-5.1의 72.29%부터 Llama-3.370B의 24.24%까지 크게 달라진다. 부계 혈통 우위는 언어별로 다르며, 힌디어에서는 크지만 한국어에서는 약하거나 역전되고, 타밀어의 공유 용어 쌍은 측정 변동에 대한 통제를 제공한다. 이 결과는 관계가 명시적으로 진술된 경우에도 문화적으로 특수한 친족 호칭 생성이 여전히 어렵다는 것을 보여 주며, 다지선다 검사와 병행한 생성 기반 평가의 필요성을 제기한다.

arXiv:2609.25186v1cs.CY공통 태그 Text Generation, Natural Language Understanding

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2609.25853v1cs.CL공통 태그 Text Generation, Natural Language Understanding

MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅

MemoryAthena: Adaptive Routing over Latent and Generated Memories

학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.

arXiv:2607.23204v1cs.RO공통 태그 Text Generation, Natural Language Understanding

문맥 인식 서두 생성을 통한 실세계 대화 로봇의 저지연 턴 테이킹

Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot

대규모 언어 모델(LLM) 기반 대화 시스템은 생성이 최종 음성 인식 이후에만 시작되기 때문에 응답 지연이 발생한다. 고정 필러(filler)는 우회 방법이지만, 시간이 지날수록 부자연스러워진다. 우리는 서두 응답(prefatory response) 준비와 발화 시작을 분리하는 2단계 점진적 프레임워크를 제안한다. 사용자 의도가 예측 가능해지면, 의도 준비도(intent readiness) 탐지기가 짧은 서두 응답의 LLM 기반 생성을 트리거한다. 동시에, 음성 활동 투영(VAP) 모델이 이를 전달할 시점을 결정한다. 쇼핑몰의 경로 안내 로봇을 이용한 현장 실험을 통해 no-filler, fixed-filler, contextual-preface 세 가지 조건을 평가했다. fixed-filler와 contextual-preface 모두 no-filler 대비 초기 응답 지연을 유의미하게 줄였다. fixed-filler 대비 contextual-preface는 초기 응답 지연이 유의미하게 더 길었지만, 초기-본문 간격(initial-to-main gap)은 유의미하게 더 짧았다. 탐색적 평가에서는 유의미한 차이가 없었다. 이러한 결과는 타이밍 트레이드오프를 나타낸다.

arXiv:2607.23440v1cs.CL공통 태그 Text Generation, Natural Language Understanding

추론인가 암기인가: LLM은 중국어 쉬에허우(歇后语) 수수께끼를 이해하고 생성할 수 있는가?

Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?

본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.

arXiv:2607.22635v1cs.AI공통 태그 Text Generation, Natural Language Understanding

CallBench: 전화 통화 어시스턴트의 이중 목표 조율을 위한 벤치마크

CallBench: A Benchmark for Dual-Goal Coordination in Phone Call Assistants

목표 지향 대화 시스템은 상호작용 대화를 통해 사용자 목표를 완수하는 데 강한 능력을 보여주었다. 그러나 기존 연구는 주로 단일하고 명시적인 목표 완수를 위해 설계되었으며, 전화 통화 어시스턴트는 기기 소유자의 명시적 사전 설정 목표와 발신자의 암묵적이고 동적인 목표를 조율해야 하는 대리(proxy) 설정에 직면한다. 우리는 전화 통화 어시스턴트에서 이중 목표 조율을 평가하기 위한 중국어 벤치마크 CallBench를 제안한다. CallBench는 배달 음식, 배송, 택시, 업무, 생활, 괴롭힘 등 6가지 시나리오에 걸친 50,000개의 완전한 다중 턴 전화 통화 대화를 포함한다. 일반 사전 설정, 창발적(emergent) 사전 설정, 사전 설정 없음 케이스를 다루며, 정렬(alignment), 상호 보완, 무관, 충돌 등 소유자 측과 발신자 측 목표 간의 다양한 관계를 포함한다. 또한 의미 이해, 문맥 활용, 능동적 안내, 응답 품질, 사전 설정 준수, 대화 리듬, 안전성(safety)을 포괄하는 사전 설정 인식 턴 수준 평가 프로토콜을 설계한다. 대표적인 대화 방법에 대한 실험 결과, 기존 접근법은 여전히 이 과제에서 어려움을 겪는 것으로 나타나며, 대리 제약 하에서 두 독립적 목표 사이에서 신뢰할 수 있는 턴 수준 결정을 내릴 수 있는 전화 통화 어시스턴트의 필요성을 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.