생성형 AI는 대화 시스템의 핵심 기술을 근본적으로 변화시키며, 컴포넌트 기반 방식에서 엔드투엔드 방식으로의 전환을 이끌고 있다. 그러나 대규모 언어 모델(LLM)은 여전히 비일관성을 생성할 수 있으며, 이는 특히 작업 지향 대화(TOD)에서 심각한 문제가 된다. TOD에서는 시스템 응답이 도메인 지식 베이스(예: 도시 내 식당 정보)의 정보를 엄격히 준수해야 하기 때문이다. 단 하나의 환각(예: 존재하지 않는 식당을 추천하는 것)도 심각한 작업 실패로 이어질 수 있다. 우리는 TOD를 제약 만족 문제(CSP)로 개념화하여 비일관성을 자동으로 탐지하는 방법을 연구한다. 이 접근법에서 변수는 대화 도메인을 참조하는 대화 세그먼트를 나타내고, 변수 간의 제약 조건은 턴 일관성 및 도메인 지식 준수와 같은 대화 속성을 포착한다. 우리는 대상 대화에서 변수를 먼저 식별한 후 CSP 솔버를 적용하여 유효한 해를 찾는 파이프라인을 제안한다. 대상 대화와 유효한 변수 할당을 비교함으로써 비일관성을 탐지하고 대화 일관성을 보장하기 위한 최소한의 변경 사항을 제안할 수 있다. 우리는 비일관성 탐지에서 CSP 기반 접근법의 높은 정확도를 입증하고, 연구 결과에 대한 상세한 분석을 제공한다.
Chain-of-Intention(CoI) 기반의 다차원 평가 프레임워크를 활용해 고품질 합성 대화 데이터를 선별하는 3단계 채용 프로액티브 대화 에이전트 학습 프레임워크 SimRPD를 제안하며, 실제 채용 플랫폼 배포 실험에서 기존 시뮬레이터 기반 데이터 선택 전략 대비 우수한 성능을 입증하였다.
작업 지향 대화 시스템(task-oriented dialogue system)은 최종 실패가 명확해지기 전에 이미 오류가 발생하는 경우가 많지만, 대부분의 평가는 대화가 이미 잘못된 이후에야 실패를 측정한다. 본 논문에서는 작업 지향 대화의 조기 실패 감지를 위한 방법인 TRACER를 제안한다. TRACER는 부분적인 대화로부터 전체 대화가 결국 실패할지를 예측하며, 이를 위해 믿음 상태(belief-state) 변화에서 추출한 단순한 궤적 신호와 진화하는 대화 상태의 텍스트 표현을 결합한다. 본 방법은 오라클(oracle) 및 생성된 믿음 상태 설정 모두에서 평가되며, 대화의 25%, 50%, 75%, 100%만 관측 가능한 경우에 대해서도 성능을 검증한다. 이러한 설정 전반에 걸쳐 TRACER는 대화가 끝나기 훨씬 전에 유용한 실패 신호를 감지하며, 휴리스틱, 전통적 방법, 단일 스트림 기반 기준 모델을 능가한다. 이 결과는 조기 실패 감지가 상호작용이 완전히 붕괴되기 전에 대화 시스템에 실용적인 경고 신호를 제공할 수 있음을 시사한다.
태스크 지향 대화(TOD) 시스템에서 백엔드 데이터베이스 호출 실패 시 LLM 에이전트가 근거 없는 예약 정보를 환각(hallucination)하는 문제를 다루며, 재학습 없이 구조화된 DB 상태 조건부 프롬프트(Guided-Retry)만으로 MultiWOZ와 SGD 두 벤치마크에서 환각률을 각각 50%, 42% 감소시켰다. 그러나 특히 잘못된 도메인 검색 실패 상황에서는 모델에 따라 6~37%의 잔여 환각이 남아, 프롬프트 수준의 복구 전략만으로는 강건한 TOD 배포에 충분하지 않음을 6개 오픈-가중치 모델 패밀리(DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, Qwen-2.5) 전반에 걸쳐 확인했다.
스마트 홈에서 대화가 길어질수록 나타나는 점진적 생략 명령어는 참조·의도 모호성 때문에 기존 LLM 기반 홈 어시스턴트가 정확히 해석하기 어렵다. 이를 평가하기 위해 PEC-Home 시뮬레이션 데이터셋을 제안했으며, GPT-4o를 포함한 여러 LLM 실험에서 생략 명령만으로는 완전한 명령 대비 실행 정확도가 낮고 대화 기록 검색 도구를 써도 한계가 남는다는 결과를 보였다.