연습이 안전을 위협할 때: 자기 개선 LLM 에이전트의 기술 오진화
Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents
대규모 언어 모델(LLM) 에이전트는 기술 진화(skill evolution)를 통해 과거 작업의 경험을 재사용 가능한 기술로 저장하는 경우가 점점 많아지고 있습니다. 에이전트가 안전하지 않은 작업을 완료할 때, 기술 진화는 다른 면에서는 유용한 기술 내부에 안전하지 않은 절차를 보존할 수 있으며, 이후의 무해한 작업에서는 안전하지 않은 지시가 사라진 후에도 해당 위해가 반복될 수 있습니다. 본 연구에서는 이러한 실패 현상을 기술 오진화(skill misevolution)라고 정의합니다. 이 현상은 에이전트가 안전하지 않은 절차를 기술로 작성하고, 이후의 작업에서 해당 기술을 검색하여 따르는 과정을 필요로 합니다. 본 연구에서는 각 작업 세션을 초기화하되 기술 라이브러리는 유지하여 이러한 각 단계를 독립적으로 검증할 수 있는 SkillMisevo-Gym을 소개합니다. 또한 25개 에피소드에 걸쳐 525개 작업으로 구성된 SkillMisevo-Bench를 구축하였으며, 각 에피소드는 새로운 세션에서 세 가지 무해한 작업을 수행하기 전에 악의적인 작업과 관련된 무해한 작업을 번갈아 수행하도록 설계되었습니다. 에이전트와 진화 방법의 21가지 조합 전반에 걸쳐 모든 조합이 안전하지 않은 기술을 작성했으며, 그중 15개 조합은 새로운 세션으로 위해를 전파하여 이러한 위험이 기술 진화 자체에서 비롯됨을 보여주었습니다. 기술 진화는 15개 조합에서 무해한 작업의 효용성을 높였지만 17개 조합에서 악의적 작업의 위해성 또한 증가시켰으므로, 효용성만으로 방법을 평가하는 것은 이러한 위험을 은폐할 수 있습니다. 이에 본 연구는 기술이 작성될 때와 이후 작업에서 기술이 검색될 때 각각 검증을 수행하는 SafeEvolve를 제안합니다. 이 방법은 학습 중 무해한 작업의 효용성을 0.4점 이내로 유지하면서, 새로운 세션에서의 안전하지 않은 검색 비율을 35.3%에서 8.7%로, 위해 발생 비율을 21.3%에서 4.0%로 줄입니다. SafeEvolveUp은 완화 기법이 없는 기술 진화 대비 효용성을 1.3점 이내로 유지하면서 새로운 세션의 위해를 16.0점 감소시킵니다. 에이전트가 자체 경험을 통해 학습함에 따라, 과거의 행동을 미래 작업으로 전달하는 기술 또한 안전성(safety)의 대상에 포함되어야 합니다. 코드는 https://github.com/henrymao2004/misevolve 에서 확인할 수 있습니다.