PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30256v1cs.AI

EMPATH: 정서 지원 챗봇의 안전성 평가를 위한 다국어 감사자-판정자 벤치마크

EMPATH: A Multilingual Auditor-Judge Benchmark for Safety Evaluation of Emotional-Support Chatbots

안전성 벤치마크는 프롬프트, 언어, 턴 구조를 고정함으로써 확장성을 확보하는 경우가 많다. 그러나 정서 지원 챗봇에서 이러한 방식은 안전성 실패가 실제로 발생하는 지점, 즉 다국어·다턴 위기 대화 상황을 정확히 가려버린다. 우리는 정서 지원 챗봇의 안전성 평가를 위한 벤치마크 EMPATH를 제시한다. 감사자(auditor) 모델이 도움을 요청하는 사용자를 역할극하여 140개의 시드 지시문과 34개의 페르소나로부터 다턴 대화를 생성한다. 판정자(judge) 모델은 각 전체 대화록을 위기 처리, 치료적 품질, 대화 무결성, 정서적 안전성, 문화적 적응의 다섯 가지 차원에 걸친 19개 지표에 따라 채점한다. EMPATH는 멕시코 스페인어와 미국 영어를 위해 구축되었으며, 본 연구에서 보고된 실험은 멕시코 스페인어로 진행된다. 감사자와 판정자는 서로 다른 모델 계열에서 선택하며, 판정자는 신뢰의 대상이 아닌 보정(calibration)이 필요한 측정 도구로 다룬다. 기준별 엄격한 루브릭을 통해 19개 지표 중 10개에서 점수 팽창 현상을 발견하고 이를 바로잡아 변별력을 회복한다. 우리는 판정자 보정과 계열 간 판정자 간 일치도를 통해 벤치마크의 측정 특성을 연구한다. 또한 오픈웨이트(open-weight) 모델 1개를 포함한 세 가지 프론티어 모델에 EMPATH를 적용하여 예시를 제시한다. 종합 점수는 서로 0.74점 이내에 위치하지만, 지표별 프로파일은 모델 특정 지점에서 최대 6점까지 차이를 보인다. 표준 루브릭 하에서 순위와 취약 지점 모두 두 번째 계열 간 판정자에 걸쳐 안정적으로 유지된다: 점수의 93%가 ±1 범위 내에 속한다. 5회 반복 재검사는 또 다른 축을 추가한다: 가장 안정적인 모델조차 동일한 재실행에서 위기 지표에 대해 2점에서 10점까지 편차를 보이며, deepseek-v4-pro는 temperature 0에서도 매번 실행마다 다른 대화를 반환한다. 따라서 실행 간 신뢰도는 평균화해야 할 노이즈가 아니라 모델별 안전성 속성이다. EMPATH는 시스템에 구애받지 않으며, 파이프라인, 시드, 페르소나, 루브릭은 재사용을 위해 공개된다.

arXiv:2606.21930v1cs.CL

MindTailor: 게시 이력 기반 사례 개념화와 협력적 정제를 통한 개인화된 정서적 지원

MindTailor: Personalized Emotional Support via Post History-Grounded Case Formulation and Collaborative Refinement

MindTailor는 구희자의 게시 이력으로 사례 개념화를 만들고, 서로 다른 상담 전략에 기반한 상담사 에이전트들의 협력적 비평으로 정서적 지원 응답을 반복 정제하는 프레임워크이며, 이를 위해 798개 Reddit 게시물과 이전 게시 이력을 쌍으로 묶은 ReddiSupp 데이터셋을 구축했다. LLM-as-a-Judge 평가, 전문가 평가, 구희자 대상 사용자 연구에서 베이스라인을 능가해 공감, 개인화, 이해를 높이고 전반적 선호도에서 가장 높은 성능을 보였다.