DataWeave: 탐색적 정형 데이터 분석을 위한 인간-LLM 협업 분석 시스템 배포
DataWeave: Deploying Human-LLM Analytics for Exploratory Structured Data Analysis
데이터 분석을 활용해 뉴스 가치가 있는 기사를 발굴하는 실무인 데이터 저널리즘은 트렌드, 격차, 책임 규명 서사를 밝혀내는 기자와 탐사보도 저널리스트의 역량에 점점 더 크게 의존하고 있습니다. 실제로 대규모 정형 데이터셋을 탐색하는 작업은 여전히 느리고 불안정합니다. 저널리스트는 가설이 발전하는 동안 수년에 걸친 여러 데이터셋의 수백 개 변수를 탐색하고, 데이터 코딩 규칙을 이해하며, 복잡한 분석 코드를 작성해야 합니다. 비록 대규모 언어 모델(LLM)이 '자연어로 질문하고 SQL/답변을 얻는' 도구로 자주 홍보되지만, 실제 뉴스룸 워크플로에서는 스키마 불일치 및 변화, 도메인 의미와 단위의 오독, 묵시적 가정 등 반복적인 실패가 드러납니다. 본 논문에서는 대화형 상호작용, 스키마 그라운딩(schema grounding), 분석적 계획 수립, 실행 가능한 쿼리 생성을 결합하여 정형 데이터에 대한 탐색적 분석을 지원함으로써 이러한 요구를 해결하는 시스템인 DataWeave를 제시합니다. DataWeave는 LLM을 자율적인 답변 엔진으로 취급하기보다는, 가설이 바뀜에 따라 출력을 검사하고 수정하며 유도할 수 있는 대화형 파트너로 규정합니다. 복잡한 도메인 의미와 잦은 스키마 변경이 수반되는 중대한 공공 데이터셋인 미국 교육부의 종합 고등교육 데이터 시스템(IPEDS)을 전문 저널리스트들이 본 시스템을 사용해 분석한 사례 연구를 제시합니다. 또한 실제 배포 경험과 반복적인 개선 과정이 현재의 DataWeave 아키텍처와 분석 워크플로를 어떻게 형성했는지 보고합니다. 본 연구 결과는 정형 데이터 분석에서 신뢰할 수 있는 인간-LLM 협업을 위한 설계 원칙과 배포 교훈을 도출합니다.