arXiv:2409.13588

ChainBuddy: An AI Agent System for Generating LLM Pipelines

Jingyue Zhang, Ian Arawjo

제출 2024-09-20

원문 초록

As large language models (LLMs) advance, their potential applications have grown significantly. However, it remains difficult to evaluate LLM behavior on user-defined tasks and craft effective pipelines to do so. Many users struggle with where to start, often referred to as the "blank page problem." ChainBuddy, an AI workflow generation assistant built into the ChainForge platform, aims to tackle this issue. From a single prompt or chat, ChainBuddy generates a starter evaluative LLM pipeline in ChainForge aligned to the user's requirements. ChainBuddy offers a straightforward and user-friendly way to plan and evaluate LLM behavior and make the process less daunting and more accessible across a wide range of possible tasks and use cases. We report a within-subjects user study comparing ChainBuddy to the baseline interface. We find that when using AI assistance, participants reported a less demanding workload, felt more confident, and produced higher quality pipelines evaluating LLM behavior. However, we also uncover a mismatch between subjective and objective ratings of performance: participants rated their successfulness similarly across conditions, while independent experts rated participant workflows significantly higher with AI assistance. Drawing connections to the Dunning-Kruger effect, we draw design implications for the future of workflow generation assistants to mitigate the risk of over-reliance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.07089v4cs.CV공통 태그 AI Agent공식 코드 · Papers with Code

RS-Agent: 지능형 에이전트를 통한 원격 탐사 작업 자동화

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 시각적 질의응답 및 장면 이해와 같은 원격 탐사 작업에서 가능성을 보여주었다. 그러나 기존 모델들은 기본적인 인스트럭션 팔로잉에 머물러 있으며, 다중 소스 데이터 통합, 세밀한 공간 추론, 도메인 전문 지식을 요구하는 실세계 시나리오에서는 한계를 보인다. 이러한 격차를 해소하기 위해, 우리는 구조화된 작업 계획 및 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트 RS-Agent를 제안한다. RS-Agent는 전형적인 원격 탐사 워크플로우에 맞춰 네 가지 구성요소로 이루어진다: 의도 이해 및 프로세스 계획을 위한 중앙 컨트롤러(Central Controller), 도구 실행을 위한 동적 툴킷, 작업별 전문가 가이던스를 위한 솔루션 공간(Solution Space), 그리고 도메인 지식 지원을 위한 지식 공간(Knowledge Space)이다. 또한 작업 유형을 식별하고 전문가 정의 솔루션을 검색함으로써 계획 수립을 향상시키는 Task-Aware Retrieval과, 검색된 지식의 관련성과 완전성을 높이는 가중 이중 경로 검색-증강 생성(RAG) 방법인 DualRAG를 새롭게 도입한다. RS-Agent는 광학 영상과 SAR(합성 개구 레이더) 영상을 포함한 다양한 촬영 모달리티를 기본 지원하며, SAR 전용 처리 도구를 실행 가능한 워크플로우로 자동 구성할 수 있다. 9개 데이터셋과 18개 원격 탐사 작업에 대한 실험 결과, RS-Agent는 최신 MLLM 대비 현저히 높은 성능을 달성하였으며, 95% 이상의 작업 계획 정확도와 장면 분류, 객체 계수, 원격 탐사 시각적 질의응답에서 우수한 결과를 보였다. 이 결과는 지능형 지리공간 분석을 위해 LLM 추론과 원격 탐사 전문성을 결합하는 것의 가치를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.