PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.12851v2cs.AI

연습이 안전을 위협할 때: 자기 개선 LLM 에이전트의 기술 오진화

Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents

대규모 언어 모델(LLM) 에이전트는 기술 진화(skill evolution)를 통해 과거 작업의 경험을 재사용 가능한 기술로 저장하는 경우가 점점 많아지고 있습니다. 에이전트가 안전하지 않은 작업을 완료할 때, 기술 진화는 다른 면에서는 유용한 기술 내부에 안전하지 않은 절차를 보존할 수 있으며, 이후의 무해한 작업에서는 안전하지 않은 지시가 사라진 후에도 해당 위해가 반복될 수 있습니다. 본 연구에서는 이러한 실패 현상을 기술 오진화(skill misevolution)라고 정의합니다. 이 현상은 에이전트가 안전하지 않은 절차를 기술로 작성하고, 이후의 작업에서 해당 기술을 검색하여 따르는 과정을 필요로 합니다. 본 연구에서는 각 작업 세션을 초기화하되 기술 라이브러리는 유지하여 이러한 각 단계를 독립적으로 검증할 수 있는 SkillMisevo-Gym을 소개합니다. 또한 25개 에피소드에 걸쳐 525개 작업으로 구성된 SkillMisevo-Bench를 구축하였으며, 각 에피소드는 새로운 세션에서 세 가지 무해한 작업을 수행하기 전에 악의적인 작업과 관련된 무해한 작업을 번갈아 수행하도록 설계되었습니다. 에이전트와 진화 방법의 21가지 조합 전반에 걸쳐 모든 조합이 안전하지 않은 기술을 작성했으며, 그중 15개 조합은 새로운 세션으로 위해를 전파하여 이러한 위험이 기술 진화 자체에서 비롯됨을 보여주었습니다. 기술 진화는 15개 조합에서 무해한 작업의 효용성을 높였지만 17개 조합에서 악의적 작업의 위해성 또한 증가시켰으므로, 효용성만으로 방법을 평가하는 것은 이러한 위험을 은폐할 수 있습니다. 이에 본 연구는 기술이 작성될 때와 이후 작업에서 기술이 검색될 때 각각 검증을 수행하는 SafeEvolve를 제안합니다. 이 방법은 학습 중 무해한 작업의 효용성을 0.4점 이내로 유지하면서, 새로운 세션에서의 안전하지 않은 검색 비율을 35.3%에서 8.7%로, 위해 발생 비율을 21.3%에서 4.0%로 줄입니다. SafeEvolveUp은 완화 기법이 없는 기술 진화 대비 효용성을 1.3점 이내로 유지하면서 새로운 세션의 위해를 16.0점 감소시킵니다. 에이전트가 자체 경험을 통해 학습함에 따라, 과거의 행동을 미래 작업으로 전달하는 기술 또한 안전성(safety)의 대상에 포함되어야 합니다. 코드는 https://github.com/henrymao2004/misevolve 에서 확인할 수 있습니다.

arXiv:2607.15272v1cs.CL

SciDiagramEdit: 논문 수정본으로부터 과학 다이어그램 편집 학습

SciDiagramEdit: Learning to Edit Scientific Diagrams from Paper Revisions

연구 논문의 그림을 편집하는 일은 일상적인 연구 실무에서 흔하고 시간이 많이 드는 작업이다. 저자들은 원고를 수정하면서 구성 요소의 라벨을 바꾸고, 패널을 재배치하며, 시각 요소의 스타일을 변경한다. 그러나 자연어 지시(instruction) 하에서 이 편집 워크플로를 자동화하는 것은 쉽지 않다. 과학 figure는 도식(schematic), 플롯, 사진, 캡션, 화살표 같은 이질적인 시각 요소들이 긴밀한 시각 문법(visual grammar) 아래 특정 논지를 전달하기 위해 배치된 밀집형 인포그래픽이기 때문이다. 이를 해결하기 위해, 자연스러운 논문 수정본으로부터 학습하고 figure의 편집 가능한 벡터 소스(source)에서 동작하는 벤치마크 및 스킬 진화(skill evolution) 프레임워크 SciDiagramEdit를 제안한다. 여기서 사용자는 에이전트와 함께 개별 원시 요소(primitive)를 검사하고 공동 편집할 수 있다. 우리 벤치마크는 arXiv 버전 이력에서 수정 전/후 figure 쌍을 추출하며, 각 쌍은 저자들의 수정 의도에 기반한다. 편집 지시의 다양성을 수용하기 위해, 스킬 진화를 통한 에이전틱 학습(agentic learning)을 채택한다. 에이전틱 제안자(agentic proposer)가 여러 epoch에 걸친 실행 추적(execution trace)으로부터 에이전트의 스킬 명세를 지속적으로 개선한다. 그 결과 생성된 스킬은 홀드아웃(hold-out) 검증 세트에서 편집 정확도를 점진적으로 향상시키며, 자연스러운 논문 수정본이 지시 기반(instruction-driven) figure 편집을 위한 효과적인 학습 신호임을 보여준다.

arXiv:2607.05297v1cs.AI

MetaSkill-Evolve: Recursive Self-Improvement of LLM Agents via Two-Timescale Meta-Skill Evolution

최근 LLM 에이전트는 점점 더 장기적이고 개방형 태스크를 처리하며, 에이전트에 제공되는 재사용 가능한 절차적 지식인 외부 스킬이 이 능력을 더욱 확장한다. 그러나 고정된 수작업 스킬은 최적이기 어렵고, 에이전트가 마주하는 다양한 태스크에 적응할 수 없다. 자기 개선 에이전트는 실행 트레이스로부터 자신의 스킬 파일을 재작성함으로써 이 문제를 해결하며, 어려운 벤치마크에서 의미 있는 성능 향상을 달성한다. 그러나 이러한 자기 진화는 비재귀적으로, 태스크 스킬(에이전트가 무엇을 하는가)만 개선할 뿐, 개선 절차(어떻게 개선하는가) 자체는 한 번 작성된 채 고정된다. 우리는 에이전트의 스킬 개선을 재귀적으로 만드는 이중 시간 척도 프레임워크인 MetaSkill-Evolve를 제안한다. 각 브랜치는 태스크 스킬 $s$와, 개선 파이프라인의 Analyzer, Retriever, Allocator, Proposer, Evolver 에이전트를 매개변수화하는 다섯 가지 구성 요소 $m=(ψ,σ,α,π,\varepsilon)$로 이루어진 브랜치 로컬 메타-스킬을 함께 보유한다. 태스크 스킬은 빠른 루프에서 진화하고, 메타-스킬은 동일한 파이프라인이 자기 자신에게 적용되는 느린 루프에서 진화하며, 추가적인 모델이나 목적 함수는 필요하지 않다. 다섯 가지 파이프라인 에이전트가 단일 고정 백본을 공유하는 환경에서, MetaSkill-Evolve는 세 가지 에이전트 벤치마크(OfficeQA, SealQA, ALFWorld)에서 스킬 없음, 정적 스킬, 단일 수준 진화 기준 모델을 능가하며, 원시 백본 대비 보류 테스트 정확도를 각각 +23.54, +16.09, +1.92 포인트 향상시킨다.