데이터 엔지니어링을 위한 로컬 언어 모델 에이전트 평가: 모빌리티 워크플로에 대한 실증적 소프트웨어 공학 연구
Evaluating Local Language Model Agents for Data Engineering: An Empirical Software Engineering Study of Mobility Workflows
한국어 초록
배경: 대규모 언어 모델(LLM) 에이전트는 소프트웨어 및 데이터 엔지니어링 보조 도구로 점점 더 많이 사용되고 있으나, 로컬에 배포 가능한 오픈 웨이트 에이전트에 대한 근거는 여전히 제한적이다. 기존 평가는 완전한 엔지니어링 산출물보다 텍스트 응답이나 단편적인 코드를 중시하는 경우가 많다. 목적: 본 연구는 로컬 LLM 에이전트가 올바르고 신뢰할 수 있는 데이터 엔지니어링 산출물을 생성할 수 있는지 평가하고, 폐루프 작업 공간과 입력 구조 지식 각각의 기여를 분리하며, 실행 시간, 비용, 실패 양상 측면의 상충 관계를 검토한다. 방법: 본 연구는 스크립트, 표, 구조화된 파일, 그림, 보고서 등 산출물에 대한 결정론적 검사기를 갖춘 15개의 모빌리티 데이터 엔지니어링 과제로 구성된 벤치마크를 제안한다. 여섯 개 모델 계열의 16개 구성을 세 가지 조건(채팅 전용, 채팅-스키마, 도구를 갖춘 에이전트)에서 평가하며, 모델, 조건, 과제마다 5회 반복하여 소비자용 GPU에서 총 3,600건의 채점된 시도를 얻었다. 결과: 4비트 40억 파라미터 모델은 77.3%, 약 6.5 GB 이내의 90억 파라미터 모델은 80.0%, 다른 계열의 120억 파라미터 모델은 81.3%에 도달하였으며, 최고 점수 구성은 98.7%로 15개 과제 중 14개를 5회 반복 모두에서 해결하였다. 20억 파라미터를 초과하는 모델에서 작업 공간 루프는 정보 없이 한 번에 생성하는 방식보다 통과율을 24.0~65.3 퍼센트포인트 높였으며, 15개 과제 중 11개에서 그 기여가 입력 구조 요약의 기여를 넘어섰다. 결론: 소비자용 GPU 한 대에 적재되는 오픈 웨이트 모델도 작업 공간 루프가 주어지면 데이터 엔지니어링 업무의 상당 부분을 지원할 수 있으나, 사용 가능한 구성과 불가능한 구성은 여전히 모델 성능에 의해 나뉘며 중요도가 높은 출력은 검증이 필요하다. 본 벤치마크는 모빌리티에 특화되어 있고 검사기 기반이므로, 평가된 구성의 특성을 보여줄 뿐 데이터 엔지니어링 실무 전반을 대표하지는 않는다.
원문 초록
Context: Large language model (LLM) agents are increasingly used as software and data-engineering assistants, yet evidence about locally deployable open-weight agents remains limited. Existing evaluations often emphasise textual responses or isolated code rather than complete engineering artifacts. Objectives: We evaluate whether local LLM agents can produce correct and reliable data-engineering artifacts, isolate the contribution of a closed-loop workspace and of input-structure knowledge, and examine trade-offs in runtime, cost, and failure behaviour. Methods: We introduce a benchmark of fifteen mobility data-engineering tasks with deterministic checkers for the scripts, tables, structured files, figures, and reports they produce. Sixteen configurations from six model families are evaluated in three conditions (chat-only, chat-schema, agent-with-tools) with five repetitions per model, condition, and task, yielding 3,600 scored attempts on a consumer-grade GPU. Results: A 4-billion-parameter model at 4-bit reaches 77.3%, a 9-billion-parameter model 80.0% within about 6.5 GB, and a 12-billion-parameter model from another family 81.3%, against 98.7% for the highest-scoring configuration, which solves 14 of 15 tasks in all five repetitions. Above two billion parameters the workspace loop raises pass rates by 24.0 to 65.3 points over uninformed one-shot generation, and its contribution exceeds that of the input-structure summary in eleven of fifteen tasks. Conclusion: Open-weight models that fit on one consumer GPU support a meaningful share of data-engineering work once given a workspace loop, although capability still separates usable from unusable configurations and high-stakes outputs need validation. Being mobility-specific and checker-based, the benchmark characterizes the evaluated configurations, not all data-engineering practice.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.11482v2제출 시각 미확인
- arXiv:2610.11482v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Preprint, under review. 26 pages, 5 figures, 5 tables. Dataset: https://doi.org/10.5281/zenodo.21397610