PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.26258v3cs.CL

FlowBot: 이뉴 최적화와 텍스트 기울기를 통한 LLM 워크플로우 유도

FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients

LLM 워크플로우는 개별 LLM/에이전트에 대한 구조화된 호출을 조율하여 특정 목표를 달성하는 방식으로, 다양한 작업을 처리할 수 있는 강력한 AI 시스템을 구축하는 유망한 경로를 제공한다. 그러나 이러한 워크플로우를 구축하는 기존 접근법은 일반적으로 사람이 작성한 파이프라인과 프롬프트에 의존하며, 이는 실제 배포에서 상당한 병목을 야기한다. 데이터 기반 방식으로 LLM 기반 에이전트와 워크플로우를 자동으로 유도할 수 있는 방법은 무엇인가? 본 논문은 에이전트와 LLM 워크플로우를 자동으로 유도하기 위한 간단한 데이터 기반 접근법을 설명한다. 우리는 워크플로우 유도를 이뉴 최적화(bilevel optimization) 문제로 공식화한다: 외부 루프는 워크플로우의 고수준 개요(특히 LLM 호출이 어떻게 구조화되어야 하는지)를 최적화하고, 내부 루프는 각 개별 LLM 호출을 하나씩 최적화한다. 두 루프 모두 ``텍스트 기울기(textual gradients)''로 최적화되며, 내부 루프에서는 ``역전파'' 텍스트 기울기를 층별로 수행하여 각 구성 요소를 모듈식으로 최적화한다. 우리는 \textsc{FlowBot} (work\textbf{flow} induction through \textbf{b}ilevel \textbf{o}ptimization and \textbf{t}extual gradients) 접근법을 통해 발견된 LLM 워크플로우가 사람이 작성하거나 생성된 워크플로우를 사용하는 강력한 베이스라인 대비 경쟁력 있는 성능을 보인다는 것을 확인한다.

arXiv:2606.06893v1cs.AI

워크플로우-투-스킬: 라우팅-워크플로우-시맨틱스-어태치먼트 분해를 통한 스킬 생성

Workflow-to-Skill: Skill Creation via Routing-Workflow-Semantics-Attachments Decomposition

대규모 언어 모델(LLM) 에이전트는 절차적 지식을 인코딩하기 위해 스킬(Skill)에 점점 더 의존하고 있지만, 고품질 스킬을 직접 작성하는 데는 여전히 높은 비용이 든다. 본 논문은 데모, 에이전트 궤적, 도구 실행 추적, 실행 로그 등 이질적인 상호작용 증거로부터 스킬을 자동으로 구성하는 방법을 연구한다. 추적-투-스킬(trace-to-skill) 구성은 단순한 요약 태스크가 아님을 주장하는데, 이는 추적 데이터가 단편적이고 중복적이며 드물지만 안전에 중요한 동작을 누락할 수 있기 때문이다. 이를 해결하기 위해, 본 논문은 스킬을 워크플로우 구조, 실행 시맨틱스(Semantics), 런타임 어태치먼트(Attachments)로 분해하는 워크플로우 지향 중간 표현인 RWSA를 제안한다. RWSA는 태스크 분해, 제어 흐름, 검증, 안전성, 롤백, 상태 관리를 포착한다. RWSA를 기반으로, 추적을 분할하고 로컬 스킬 초안을 유도하며 공유 구조를 정렬하고 분기를 조정하면서 증거 및 신뢰도 어노테이션을 보존하면서 중복성을 압축하는 프레임워크 W2S를 제안한다. 70개 스킬에 대한 실험에서 W2S는 요약 및 프롬프팅 기반 베이스라인 대비 행동 재현 일관성을 10.5% 향상시켰으며, 이는 추적을 압축 가능한 텍스트가 아닌 실행 가능한 런타임 명세로 다루어야 할 필요성을 강조한다.