읽고 무시하다: 공공서비스 시나리오에서 자기 주도형 LLM 에이전트가 하는 일
Read and Ignore: What Self-Directed LLM Agents Do in Public Service Scenarios
한국어 초록
불충분하게 명시된 지시는 LLM 에이전트가 무엇을 할지 스스로 결정하도록 남겨 둔다. 공공서비스에서는 직원이 이러한 지시를 작성하지만, 에이전트의 결정은 주민, 환자, 학생에게 영향을 미친다. 우리는 파일에서 확인할 수 있는 기록과 의사결정 수단을 갖춘, 전문가가 검증한 네 개의 공공서비스 시나리오를 구축하고, 네 가지 프롬프트 조건에서 열 개의 LLM으로부터 $2{,}400$개의 궤적을 수집하여 문맥이 없는 샌드박스에서의 $1{,}000$회 실행과 비교한다. 에이전트는 개방형 실행의 $96.9\%$에서 기록을 읽지만, 산출물이나 스스로 선택한 작업을 생성하는 비율은 $18.7\%$이며, 명시적 작업이 주어지면 $86.0\%$가 산출물을 생성한다. 도메인 문맥은 산출물을 생성하는 실행의 수를 바꾸지 않으며($18.7\%$ 대 $16.0\%$), 모델의 산출 순위는 대체로 유지되는 반면(스피어만 $0.79$), 모델이 기록을 읽는지 여부에 따른 순위는 그렇지 않다($0.19$). 문맥은 실행당 경계 탐색 턴을 $60\%$ 줄이며, 일부 산출물은 기록과 모순된다. 우리는 공공서비스 기관이 조달 전에 자체 기록으로 수행할 수 있는 테스트를 제시하며, 이 테스트의 규칙 기반 분류 체계는 레이블된 데이터가 필요 없고, 시나리오, 코드, 궤적을 공개한다.
원문 초록
Underspecified instructions leave LLM agents to decide what to do. In public services, staff write these instructions, but the agent's decisions affect residents, patients, and students. We build four expert-validated public-service scenarios with records and decision levers that can be checked in the files, collect $2{,}400$ trajectories from ten LLMs under four prompt conditions, and compare them with $1{,}000$ runs in a context-free sandbox. Agents read the records in $96.9\%$ of open-ended runs and produce an artifact or a self-chosen task in $18.7\%$; with an explicit task, $86.0\%$ produce. Domain context does not change how many runs produce ($18.7\%$ vs.\ $16.0\%$), and the production ranking of the models largely carries over (Spearman $0.79$), while the ranking by whether a model reads the records does not ($0.19$). Context cuts boundary-probing turns per run by $60\%$, and some artifacts contradict the records. We contribute a test that a public-service institution can run on its own records before procurement; its rule-based taxonomy needs no labeled data, and scenarios, code, and trajectories are released.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Trustworthy AI for Good @ NeurIPS 2026