구어 사실 주장은 종종 멀티턴 대화 안에서 등장하며, 주변 대화는 주장만으로는 얻을 수 없는 맥락을 제공할 수 있다. 그러나 대부분의 팩트체킹(fact-checking) 연구는 고립된 텍스트만 평가하여, 대화형 오디오는 연구가 부족한 상태로 남아 있다. 우리는 MAD2를 제안한다. 이는 구어 주장 검증을 위한 합성 멀티턴 오디오 대화(Multi-turn Audio Dialogues) 벤치마크로, 1,000개의 2화자 대화, 1,230개의 문장 수준 검증 가치 후보 어노테이션, 약 10시간 분량의 오디오를 포함한다. 또한 맥락 인식 오디오 인코더와 대화 인식 텍스트 모델의 보정(calibrated) 멀티모달 퓨전(fusion)을 제안한다. 대화 맥락을 추가하면 설정 전반에서 검증 성능이 향상되지만, 향상폭은 시나리오에 따라 달라진다. 과거 맥락만 사용할 때는 종종 지역적 오프라인(local offline) 성능에 근접하여, 미래 맥락을 사용할 수 없을 때 유용함을 시사한다. 퓨전은 전체 대화 맥락에서 텍스트 대비 평균 이점이 가장 크지만, 설정 전반에 걸쳐 텍스트를 일관되거나 유의미하게 능가하지는 못한다. 전체 대화 맥락 하에서, 탐색적 하위군 결과는 텍스트와 퓨전에서 대화 시나리오에 따른 성능 변동이 더 크고, 오디오에서는 spread 스타일에 따른 변동이 더 크다는 것을 보여준다.
To facilitate research on text generation, this paper presents a comprehensive and unified library, TextBox 2.0, focusing on the use of pre-trained language models (PLMs). To be comprehensive, our library covers $13$ common text generation tasks and their corresponding $83$ datasets and further incorporates $45$ PLMs covering general, translation, Chinese, dialogue, controllable, distilled, prompting, and lightweight PLMs. We also implement $4$ efficient training strategies and provide $4$ generation objectives for pre-training new PLMs from scratch. To be unified, we design the interfaces to support the entire research pipeline (from data loading to training and evaluation), ensuring that each step can be fulfilled in a unified way. Despite the rich functionality, it is easy to use our library, either through the friendly Python API or command line. To validate the effectiveness of our library, we conduct extensive experiments and exemplify four types of research scenarios. The project is released at the link: https://github.com/RUCAIBox/TextBox.
대화형 입장 탐지(conversational stance detection)는 정적 텍스트 분석에서 동적 다중 모달 모델링으로 전환되었다. 그러나 기존 벤치마크에는 세 가지 핵심 한계가 있다: 신념의 동적 진화, 특히 입장 반전(stance reversal) 과정을 포착하지 못하는 점; 정서 상태와 논리적 추론을 분리하기 어려운 점; 풍자(sarcasm)와 같은 화용적(pragmatic) 모호성을 해소하는 데 있어 다중 모달 단서의 중요한 역할을 간과하는 점이다. 이러한 한계를 해결하기 위해, 우리는 StanceFlip을 제안한다. StanceFlip은 다중 턴 대화에서 다섯 가지 모달리티와 다양한 시나리오에 걸친 다중 모달 대화형 입장 전환 예측을 위해 설계된 벤치마크로, 두 가지 새로운 하위 과제를 포함한다: 1) 다중 모달 입장 6-tuple 추출(Multimodal Stance Sextuple Extraction)—화자(holder), 대상(target), 감정(emotion), 감성(sentiment), 입장(stance), 근거(rationale)를 대화의 정적 상태 스냅샷으로 추출하여 세밀한 인지 구조를 포착한다. 2) 동적 입장 전환 귀인(Dynamic Stance Flip Attribution)—대화 전반에 걸친 입장 반전을 추적하고 그 근본적 촉발 요인을 식별한다. 데이터셋과 함께, 우리는 다중 모달 대화형 입장 전환 예측(MCSFF)을 위한 전용 프레임워크인 ConStaFF를 제안한다. 대규모 언어 모델(LLM)을 기반으로, ConStaFF는 구조화된 입장 모델링과 충실한 전환 귀인을 위해 Thought-of-Stance(ToS) 추론 프레임워크와 자기 성찰적(self-reflective) 검증 메커니즘이 통합된 end-to-end 입장 추론을 수행한다. 구체적으로, ToS는 추론 과정을 전문화된 인지 페르소나(cognitive persona)로 분해하여 대상 명제를 구성하고, 교차 모달 충돌을 해결하며, 과거 입장 궤적을 추론한다. 광범위한 실험 결과, 우리의 접근법은 6-tuple 추출과 전환 촉발 요인 귀인 모두에서 최신(state-of-the-art) 성능을 달성하며, 강력한 다중 모달 대규모 언어 모델 기준선(baseline)들을 상당한 폭으로 능가한다.
문화는 대화를 통해 살아 숨 쉬지만, 기존 인도네시아 문화적 상식 벤치마크는 대규모 언어 모델(LLM)을 짧고 고립된 프롬프트로 평가하여, 문화적 뉘앙스가 실제로 드러나는 대화적 맥락을 제거한다. 우리는 CultureTalk-ID를 제안한다. 이는 인도네시아어 및 그 지역 언어에서 문화적 상식을 평가하기 위한 최초의 대화 기반 벤치마크로, 11개 언어와 13개의 문화적으로 중요한 주제에 걸친 4,496개의 문화적으로 정합된 대화로 구성되며, 진정성을 보장하기 위해 원어민 화자가 참여한 다단계 인간 파이프라인을 통해 구축되었다. CultureTalk-ID는 세 가지 상호 보완적인 과제, 즉 대화 기반 다지선다 문화적 상식 추론, 문화적으로 충실한 기계 번역, 그리고 언어 스티어링(language steering)을 도입하며, 이들은 LLM이 문화적으로 정합된 언어를 이해하고, 전달하고, 생성할 수 있는지를 함께 탐색한다.
Frictive Policy Optimization(FPO)을 공유 지각 맥락을 가정하는 명제적 비대칭에서 참여자들이 서로 다른 부분 정보를 보유하는 지각적 비대칭(perceptual asymmetry) 설정으로 확장하여, HCRC MapTask 코퍼스 분석과 LLM 프로빙을 통해 마찰 범함수가 각 참여자의 정보 지평 내에서 관점별로 평가될 때만 유효하며 전지적 접근보다 단일 정보 관점이 우수함을 실증적으로 보인다.
의대생의 임상 및 의사소통 능력은 흔히 객관적 구조화 임상 시험(OSCE)을 통해 평가되는데, 이는 의사-환자 상호작용을 시나리오 기반으로 간략하게 시뮬레이션하는 방식으로 구성된다. 그러나 표준화 환자(standardized patient)로 활동할 수 있는 인력이 부족하여 훈련 기회가 제한되는 경우가 많으며, 이는 현실적인 가상 환자(VP) 개발의 필요성을 높이고 있다. 이러한 공백을 해소하기 위해, 우리는 240개의 학생-환자 훈련 상호작용으로 구성된 프랑스어 OSCE 대화 데이터셋을 소개한다. 이를 기반으로 합성 OSCE 대화를 생성하는 제어 가능한 대규모 언어 모델(LLM) 기반 파이프라인을 구축하였다. 해당 파이프라인은 검색 기반 그라운딩(retrieval-based grounding) 및 반성 루프(reflection loop) 등 모듈형 구성 요소를 통합하여 환자의 충실도, 일관성, 현실감을 보장한다. 또한 LLM-as-a-judge 방식을 활용하여 환자 시뮬레이션 품질, 학생 수행 능력, 언어 품질을 평가하는 다단계 평가 프레임워크를 제안한다. 실험 결과, 제어 가능성 모듈이 환자 충실도와 학생 평가 일관성을 전반적으로 향상시키는 것으로 나타났다. 마지막으로, 학생들이 가상 환자와 실습하고 자동 피드백을 받을 수 있는 대화형 프로토타입을 구현하였다.
수용과 전념 치료(Acceptance and Commitment Therapy, ACT)와 같은 근거 기반 중재에 대한 심리치료사 훈련은 의미 있는 피드백과 함께 반복 연습이 필요하지만, 안전하고 표준화된 훈련 기회는 윤리적, 물류적, 자원적 제약으로 인해 제한적이다. 본 연구에서는 체현화된 가상 환자와의 음성 대화를 통해 ACT 지향 심리치료 훈련을 지원하도록 설계된 시스템을 제안한다. 이 시스템은 실제 치료 세션에서 도출된 프로필과 구성 가능한 임상 시나리오에 조건화된 환자 행동을 대규모 언어 모델(LLM)로 시뮬레이션하며, 별도의 자동 평가기가 확립된 ACT 충실도(fidelity) 기준에 따라 치료사 응답에 대한 턴별 피드백을 제공한다. 감독을 대체하는 것을 목표로 하기보다, 이 시스템은 저위험 환경에서 실험, 성찰, 즉각적 피드백을 가능하게 함으로써 의도적 연습(deliberate practice)을 지원하도록 설계되었다. 임상 심리학자들에 의한 전문가 평가는 환자 행동의 높은 현실성을 확인했으며, 즉각적인 턴별 ACT 피드백이 치료사의 중재 선택에 대한 인식을 높이고 대안적 응답에 대한 효과적인 실험을 가능하게 함을 보여주었다. 49개의 치료 전사록에 대한 정량 평가 결과, GPT-4o-mini가 최적의 피드백 모델로 확인되었으며, 인간 감독자의 ACT 충실도 평가를 재현하는 데 있어 통계적으로 유의한 일치를 보이면서 최저 평균 절대 오차(MAE = 6.12)를 달성했다. 본 연구는 충실도 인식(fidelity-aware) 시뮬레이션 환자가 심리치료 훈련에 대한 확장 가능한 보완 수단이 될 수 있는 잠재력을 보여준다.
문맥화된 창의성 평가 시 인지적 숙련도와 참여 의지가 결과에 혼재되는 문제를 해결하기 위해 대화 정책 최적화를 활용한 IntElicit 프레임워크를 제안한다. 제약된 적응형 AI 인터뷰어로서 비지시적 지원과 분해된 프로세스 보상 메커니즘을 통해 참여자의 창의적 결과를 기존 기준선보다 향상시킨다.