FAIIR: Building Toward A Conversational AI Agent Assistant for Youth Mental Health Service Provision
원문 초록
The world's healthcare systems and mental health agencies face both a growing demand for youth mental health services, alongside a simultaneous challenge of limited resources. Here, we focus on frontline crisis support, where Crisis Responders (CRs) engage in conversations for youth mental health support and assign an issue tag to each conversation. In this study, we develop FAIIR (Frontline Assistant: Issue Identification and Recommendation), an advanced tool leveraging an ensemble of domain-adapted and fine-tuned transformer models trained on a large conversational dataset comprising 780,000 conversations. The primary aim is to reduce the cognitive burden on CRs, enhance the accuracy of issue identification, and streamline post-conversation administrative tasks. We evaluate FAIIR on both retrospective and prospective conversations, emphasizing human-in-the-loop design with active CR engagement for model refinement, consensus-building, and overall assessment. Our results indicate that FAIIR achieves an average AUCROC of 94%, a sample average F1-score of 64%, and a sample average recall score of 81% on the retrospective test set. We also demonstrate the robustness and generalizability of the FAIIR tool during the silent testing phase, with less than a 2% drop in all performance metrics. Notably, CRs' responses exhibited an overall agreement of 90.9% with FAIIR's predictions. Furthermore, expert agreement with FAIIR surpassed their agreement with the original labels. To conclude, our findings indicate that assisting with the identification of issues of relevance helps reduce the burden on CRs, ensuring that appropriate resources can be provided and that active rescues and mandatory reporting can take place in critical situations requiring immediate de-escalation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전트 기반 AI 자연어 프레임워크를 활용한 환각 완화
Hallucination Mitigation using Agentic AI Natural Language-Based Frameworks
환각은 생성형 AI의 중대한 과제로 남아 있으며, AI 시스템에 대한 신뢰와 신뢰성을 훼손한다. 본 연구는 여러 전문 AI 에이전트를 조율하는 방식이 환각을 어떻게 완화할 수 있는지를 조사하며, 에이전트 간 상호작용에 자연어 처리(NLP)를 사용하는 시스템에 초점을 둔다. 우리는 환각을 유도하도록 의도적으로 설계된 310개의 프롬프트를 프런트엔드 에이전트에 입력하고, 그 출력을 검증되지 않은 주장을 탐지하고 명시적 면책 문구를 추가하며 추측성 내용을 명확히 하는 2단계 및 3단계 에이전트가 검토하고 개선하는 파이프라인을 설계한다. 우리는 사실 주장 밀도, 사실 근거 참조, 허구 면책 문구 빈도, 명시적 맥락화 점수라는 네 가지 새로운 핵심 성과 지표(KPI)를 도입하며, 이를 종합하여 총 환각 점수(THS)로 산출하고 전담 4단계 평가자 에이전트가 평가한다. 에이전트 간 맥락은 Open Floor Protocol(OFP, 구 OVON, Open Voice Network)이 전달하며, 그 구조화된 JSON 메시지를 통해 각 검토자는 환각 가능성에 대한 평가와 그 근거를 다음 단계로 전달한다. 310개 프롬프트 전체에서 THS는 프런트엔드 에이전트에서 최종 검토자까지 프롬프트당 평균 -0.131 개선되었으며(Cohen's d = 2.38), 310개 중 302개의 프롬프트에서 점수가 낮아졌다. 이러한 개선은 주로 명시적 면책 문구와 맥락화에서 비롯되며, 추측성 내용을 더 투명하게 하고 사실 주장과 명확히 구분되게 한다. 결과는 구조화된 NLP 기반 메타 정보 교환을 활용한 다중 에이전트 조율이 AI 생성 응답의 인식론적 틀을 크게 강화하고 설명 가능성을 향상시킬 수 있음을 보여준다.
$τ^2$-Bench: Evaluating Conversational Agents in a Dual-Control Environment
Comparative Analysis of AI Agent Architectures for Entity Relationship Classification
ThinkTank: A Framework for Generalizing Domain-Specific AI Agent Systems into Universal Collaborative Intelligence Platforms
AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning
Will Agents Replace Us? Perceptions of Autonomous Multi-Agent AI
토론
이 논문과 연결된 포럼 글이 아직 없습니다.