PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.12851v2cs.AI

연습이 안전을 위협할 때: 자기 개선 LLM 에이전트의 기술 오진화

Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents

대규모 언어 모델(LLM) 에이전트는 기술 진화(skill evolution)를 통해 과거 작업의 경험을 재사용 가능한 기술로 저장하는 경우가 점점 많아지고 있습니다. 에이전트가 안전하지 않은 작업을 완료할 때, 기술 진화는 다른 면에서는 유용한 기술 내부에 안전하지 않은 절차를 보존할 수 있으며, 이후의 무해한 작업에서는 안전하지 않은 지시가 사라진 후에도 해당 위해가 반복될 수 있습니다. 본 연구에서는 이러한 실패 현상을 기술 오진화(skill misevolution)라고 정의합니다. 이 현상은 에이전트가 안전하지 않은 절차를 기술로 작성하고, 이후의 작업에서 해당 기술을 검색하여 따르는 과정을 필요로 합니다. 본 연구에서는 각 작업 세션을 초기화하되 기술 라이브러리는 유지하여 이러한 각 단계를 독립적으로 검증할 수 있는 SkillMisevo-Gym을 소개합니다. 또한 25개 에피소드에 걸쳐 525개 작업으로 구성된 SkillMisevo-Bench를 구축하였으며, 각 에피소드는 새로운 세션에서 세 가지 무해한 작업을 수행하기 전에 악의적인 작업과 관련된 무해한 작업을 번갈아 수행하도록 설계되었습니다. 에이전트와 진화 방법의 21가지 조합 전반에 걸쳐 모든 조합이 안전하지 않은 기술을 작성했으며, 그중 15개 조합은 새로운 세션으로 위해를 전파하여 이러한 위험이 기술 진화 자체에서 비롯됨을 보여주었습니다. 기술 진화는 15개 조합에서 무해한 작업의 효용성을 높였지만 17개 조합에서 악의적 작업의 위해성 또한 증가시켰으므로, 효용성만으로 방법을 평가하는 것은 이러한 위험을 은폐할 수 있습니다. 이에 본 연구는 기술이 작성될 때와 이후 작업에서 기술이 검색될 때 각각 검증을 수행하는 SafeEvolve를 제안합니다. 이 방법은 학습 중 무해한 작업의 효용성을 0.4점 이내로 유지하면서, 새로운 세션에서의 안전하지 않은 검색 비율을 35.3%에서 8.7%로, 위해 발생 비율을 21.3%에서 4.0%로 줄입니다. SafeEvolveUp은 완화 기법이 없는 기술 진화 대비 효용성을 1.3점 이내로 유지하면서 새로운 세션의 위해를 16.0점 감소시킵니다. 에이전트가 자체 경험을 통해 학습함에 따라, 과거의 행동을 미래 작업으로 전달하는 기술 또한 안전성(safety)의 대상에 포함되어야 합니다. 코드는 https://github.com/henrymao2004/misevolve 에서 확인할 수 있습니다.

arXiv:2607.15272v1cs.CL

SciDiagramEdit: 논문 수정본으로부터 과학 다이어그램 편집 학습

SciDiagramEdit: Learning to Edit Scientific Diagrams from Paper Revisions

연구 논문의 그림을 편집하는 일은 일상적인 연구 실무에서 흔하고 시간이 많이 드는 작업이다. 저자들은 원고를 수정하면서 구성 요소의 라벨을 바꾸고, 패널을 재배치하며, 시각 요소의 스타일을 변경한다. 그러나 자연어 지시(instruction) 하에서 이 편집 워크플로를 자동화하는 것은 쉽지 않다. 과학 figure는 도식(schematic), 플롯, 사진, 캡션, 화살표 같은 이질적인 시각 요소들이 긴밀한 시각 문법(visual grammar) 아래 특정 논지를 전달하기 위해 배치된 밀집형 인포그래픽이기 때문이다. 이를 해결하기 위해, 자연스러운 논문 수정본으로부터 학습하고 figure의 편집 가능한 벡터 소스(source)에서 동작하는 벤치마크 및 스킬 진화(skill evolution) 프레임워크 SciDiagramEdit를 제안한다. 여기서 사용자는 에이전트와 함께 개별 원시 요소(primitive)를 검사하고 공동 편집할 수 있다. 우리 벤치마크는 arXiv 버전 이력에서 수정 전/후 figure 쌍을 추출하며, 각 쌍은 저자들의 수정 의도에 기반한다. 편집 지시의 다양성을 수용하기 위해, 스킬 진화를 통한 에이전틱 학습(agentic learning)을 채택한다. 에이전틱 제안자(agentic proposer)가 여러 epoch에 걸친 실행 추적(execution trace)으로부터 에이전트의 스킬 명세를 지속적으로 개선한다. 그 결과 생성된 스킬은 홀드아웃(hold-out) 검증 세트에서 편집 정확도를 점진적으로 향상시키며, 자연스러운 논문 수정본이 지시 기반(instruction-driven) figure 편집을 위한 효과적인 학습 신호임을 보여준다.