EMPATH: 정서 지원 챗봇의 안전성 평가를 위한 다국어 감사자-판정자 벤치마크
EMPATH: A Multilingual Auditor-Judge Benchmark for Safety Evaluation of Emotional-Support Chatbots
안전성 벤치마크는 프롬프트, 언어, 턴 구조를 고정함으로써 확장성을 확보하는 경우가 많다. 그러나 정서 지원 챗봇에서 이러한 방식은 안전성 실패가 실제로 발생하는 지점, 즉 다국어·다턴 위기 대화 상황을 정확히 가려버린다. 우리는 정서 지원 챗봇의 안전성 평가를 위한 벤치마크 EMPATH를 제시한다. 감사자(auditor) 모델이 도움을 요청하는 사용자를 역할극하여 140개의 시드 지시문과 34개의 페르소나로부터 다턴 대화를 생성한다. 판정자(judge) 모델은 각 전체 대화록을 위기 처리, 치료적 품질, 대화 무결성, 정서적 안전성, 문화적 적응의 다섯 가지 차원에 걸친 19개 지표에 따라 채점한다. EMPATH는 멕시코 스페인어와 미국 영어를 위해 구축되었으며, 본 연구에서 보고된 실험은 멕시코 스페인어로 진행된다. 감사자와 판정자는 서로 다른 모델 계열에서 선택하며, 판정자는 신뢰의 대상이 아닌 보정(calibration)이 필요한 측정 도구로 다룬다. 기준별 엄격한 루브릭을 통해 19개 지표 중 10개에서 점수 팽창 현상을 발견하고 이를 바로잡아 변별력을 회복한다. 우리는 판정자 보정과 계열 간 판정자 간 일치도를 통해 벤치마크의 측정 특성을 연구한다. 또한 오픈웨이트(open-weight) 모델 1개를 포함한 세 가지 프론티어 모델에 EMPATH를 적용하여 예시를 제시한다. 종합 점수는 서로 0.74점 이내에 위치하지만, 지표별 프로파일은 모델 특정 지점에서 최대 6점까지 차이를 보인다. 표준 루브릭 하에서 순위와 취약 지점 모두 두 번째 계열 간 판정자에 걸쳐 안정적으로 유지된다: 점수의 93%가 ±1 범위 내에 속한다. 5회 반복 재검사는 또 다른 축을 추가한다: 가장 안정적인 모델조차 동일한 재실행에서 위기 지표에 대해 2점에서 10점까지 편차를 보이며, deepseek-v4-pro는 temperature 0에서도 매번 실행마다 다른 대화를 반환한다. 따라서 실행 간 신뢰도는 평균화해야 할 노이즈가 아니라 모델별 안전성 속성이다. EMPATH는 시스템에 구애받지 않으며, 파이프라인, 시드, 페르소나, 루브릭은 재사용을 위해 공개된다.