arXiv:2611.23651v1 cs.SE

안전한 개인용 RSI: 개인 에이전트 업데이트의 평가와 수리

Safe Personal RSI: Evaluating and Repairing Personal-Agent Updates

Jiapeng Pei, Yuhang Yao, Sitan Liu, Hanxin Chen, Hao Li, Guogeng Li, Jiapei Liu, Ruijie Chen, Hongshan Lin, Yang Mo, Tianyu Shi, Shangding Gu

제출 2026-11-19

한국어 초록

Kicker는 개인 건강 어시스턴트이다. 어시스턴트의 재사용 가능한 지침을 변경하면 작업 처리는 개선될 수 있지만, 무엇을 공개하는지, 어떤 요청을 따르는지, 행동을 어떻게 보고하는지도 달라질 수 있다. 우리는 Kicker를 위해 개발된 업데이트 평가 구성요소인 Safe Personal RSI를 연구한다. 우리는 재귀적 자기 개선(RSI)을 프롬프트 업데이트로 제한하고 모델 가중치와 런타임 코드는 고정한다. 이 절차는 제안된 지침과 현재 지침을 테스트하고, 실패한 사례를 반복하며, 변경을 일시적으로 되돌려 수리를 안내하고, 채택 전에 안전성과 작업 성능을 점검한다. 통과하는 버전이 없으면 현재 지침을 계속 사용한다. 우리의 실행 가능한 벤치마크는 이메일, 캘린더, 건강, 마켓플레이스 사례 29개를 포함하며, 권한 재사용, 메모리, 도구 출력 주입에 대한 별도의 프로브를 갖는다. 세 가지 모델과 의도적으로 위험한 두 가지 수정에 걸쳐, 이 절차는 21건의 업데이트 시도 중 20건을 거부한다. 수리 확인에서 채택된 GPT-5.6 Luna 수리는 공격 위반을 10.7%에서 0%로 줄이고 안전한 작업 완료율을 89.7%에서 100%로 높이며, 광범위한 수작업 권한 규칙도 같은 결과를 보인다. 더 강한 공격에서 Qwen2.5-7B-Instruct에서 Qwen3-14B로 전이된 수리는 위반을 69.0%에서 17.9%로 줄이고 안전한 작업 완료율을 19.5%에서 64.4%로 높인다. 별도의 런타임 프로브는 메모리 항목 삭제를 검토하고 평가된 스냅샷에서 로컬 OAuth 범위 검사가 누락된 부분을 식별한다.

원문 초록

Kicker is a personal health assistant. Changes to an assistant's reusable instructions can improve task handling while changing what it discloses, which requests it follows, and how it reports actions. We study Safe Personal RSI, an update-evaluation component developed for Kicker. We restrict recursive self-improvement (RSI) to prompt updates, with model weights and runtime code fixed. The procedure tests proposed and current instructions, repeats failing cases, temporarily undoes changes to guide repairs, and checks safety and task performance before adoption. If no version passes, the current instructions stay in use. Our executable benchmark contains 29 email, calendar, health, and marketplace cases, with separate probes for authorization reuse, memory, and tool-output injection. Across three models and two deliberately risky edits, the procedure rejects 20 of 21 update attempts. In repair confirmation, an admitted GPT-5.6 Luna repair reduces attack violations from 10.7% to 0% and increases safe task completion from 89.7% to 100%; a broad handwritten authority rule matches these outcomes. Under stronger attacks, a repair transferred from Qwen2.5-7B-Instruct to Qwen3-14B reduces violations from 69.0% to 17.9% and increases safe task completion from 19.5% to 64.4%. Separate runtime probes examine memory-entry deletion and identify missing local OAuth scope checks in the evaluated snapshot.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23651v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.