PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20978v1cs.AI

에이전트는 시연을 어떻게 읽어야 하는가? 계층적 구조가 평탄한 행동 로그를 능가한다

How Should Agents Read Demonstrations? Hierarchical Structure Beats Flat Action Logs

시연 기반 프로그래밍(Programming by Demonstration, PbD)은 LLM 에이전트를 위한 절차적 지식을 작성하는 인간 중심의 방법을 제공한다. 사용자는 프롬프트나 코드를 작성하는 대신 행동을 보여줌으로써 원하는 것을 전달하므로, 비프로그래머도 에이전트 작성에 접근할 수 있다. PbD 녹화의 자연스러운 출력은 평탄한 행동 로그이지만, 이 로그를 에이전트에 전달하기 전에 어떻게 구성할지는 계획 품질에 상당한 영향을 미치는 미결정 설계 문제이다. 우리는 기록된 행동을 레이블이 붙은 계층적 하위 목표(subgoal)로 그룹화하는 방법을 제안하고, 통제 실험에서 이 조직적 구조의 효과를 평가한다. 85개의 웹 자동화 작업에서, 동일한 행동 시퀀스를 공유하지만 구조가 다른 네 가지 시연 형식을 제로샷 기준선과 비교한다. 모호한 설명을 가진 43개의 자연어 작업에서, 계층적으로 그룹화된 시연은 통과율을 76.7%에서 90.7%로 향상시킨다(쌍체 순열 검정 $p{=}0.034$; win-loss 6:0). 반면 평탄한 시연은 더 작고 통계적으로 유의하지 않은 개선만 보인다. 정확한 설명을 가진 42개 작업에서는 어떤 형식도 이점을 제공하지 않으며, 이는 계층적 이점이 설명이 절차적 세부사항을 모호하게 남길 때에만 발생함을 확인한다. 절제(ablation) 분석은 하위 목표 그룹화만이 효과를 주도함을 보여준다. 전제조건(preconditions), 사후조건(postconditions), 매개변수 주석은 측정 가능한 이점을 추가하지 않는다. 이 결과는 PbD 파이프라인에 대한 구체적인 설계 권고를 제공하며, 더 넓게는 LLM 에이전트에 절차적 컨텍스트를 공급하는 모든 시스템에 대해서도 마찬가지이다. 평탄한 단계 목록을 제시하는 대신 행동 시퀀스를 명명된 하위 목표 그룹으로 분할하라.