PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29685v1cs.LG

CAREBench: 언어 모델을 위한 아동 안전 위험 벤치마크

CAREBench: A Child-Safety Risk Benchmark for Language Models

최전선 AI 시스템이 명시적 피해로 확대되기 전에 아동 안전 위험을 인식하는지 어떻게 평가할 수 있을까? 기존 아동 안전 평가는 아동 성적 학대 자료에 집중하고 있으나, 많은 아동 안전 실패는 그보다 앞선 단계에서 시작된다: 성인이 미성년자를 조종하거나, 사칭하거나, 프로파일링하거나, 고립시키도록 돕는 모델 지원과, 아동을 인간 지원으로 유도하는 대신 AI 시스템에 대한 감정적 의존을 심화시키는 모델 응답이 그것이다. 우리는 언어 모델의 이러한 상위 단계 아동 안전 위험을 평가하기 위한 벤치마크인 CAREBench(Child AI Risk Evaluation)를 소개한다. CAREBench는 그루밍 및 관계 조작, 기만 및 사칭, 감시 및 프라이버시, 섹스토션 및 성적 학대, AI 의인화, 감정적 의존, 정신 질환 민감성을 포함한 12가지 위험 범주에 걸쳐 500개의 프롬프트를 포함한다. 부모와 임상의의 응답 어노테이션을 바탕으로 개발된 이 벤치마크는 명시적 학대 자료 및 이미지를 제외하며, 대신 모델이 피해가 명시화되기 전에 위험한 상호작용을 인식하고, 거부하고, 완화하거나, 다른 방향으로 유도하는지를 평가한다. 우리 벤치마크에서 7개의 최전선 모델을 평가한 결과, 실패율은 2%에서 58%까지 다양하며, 위험 범주에 따라 실패 패턴이 상이함을 확인했다. CAREBench는 대규모 언어 모델(LLM) 개발자들이 아동 안전 정책의 격차를 식별하고 해소할 수 있도록 책임감 있는 범위로 설계된 평가 도구를 제공한다.

arXiv:2606.25396v1cs.AI

Long-Term Simulation Exposes Cognitive-Developmental Risks in AI Companions

AI companions powered by large language models increasingly interact with cognition-developing users, including children and adolescents, creating risks that may accumulate over time. Existing safety evaluations largely rely on single-turn or short-session tests, which cannot capture risks that emerge only through prolonged interaction. To address this gap, we propose TSJ (Theater-Stage-Judge), a longitudinal framework combining persona-driven user simulation, dynamic psychological-state updating and retrospective evaluation. We evaluate six mainstream models across four developmental stages, twenty-four risk dimensions and three psychological-vulnerability personas, covering 12,960 simulated person-day interactions. TSJ shows that short-horizon testing systematically underestimates developmental risks, for which TSJ yields a stable risk estimate only after 140 turns within prolonged simulated relationships. Applying TSJ further identifies early childhood and emerging adulthood as the most vulnerable stages, with cognitive trust and emotional dependency as the weakest domains. TSJ provides a scalable methodology for longitudinal cognitive developmental risk evaluation in AI companion systems.