대규모 언어 모델(LLM)과 에이전트는 이제 코드 개발에서 널리 사용되는 도구이며, 데이터는 일반적으로 서드파티 클라우드 기반 모델로 전송된다. 개인 데이터를 사용하는 연구에서의 채택은 외부 서비스로의 데이터 전송을 일반적으로 금지하는 거버넌스 요구사항에 의해 제약받는다. 로컬에 배포 가능한 오픈 가중치 모델은 민감한 데이터가 로컬 환경을 벗어나지 않기 때문에 대안을 제공한다. 우리는 종단 인구 연구에서 가장 지속적인 병목 현상 중 하나인 데이터 준비에 대해, 오픈 가중치 LLM으로 구동되는 AI 에이전트의 효과를 평가하기 위한 오픈소스 프레임워크를 제안한다. 이 프레임워크는 다음으로 구성된다: 큐레이션된 그라운드 트루스(ground-truth) 데이터셋(영국 코호트 연구의 6회 조사(sweep) 데이터를 준비하는 클리닝 스크립트), 범주 조화(category harmonization) 및 다중 파형 병합(multi-wave merging)과 같은 작업을 포함하는 작업 정의, 그리고 LLM이 생성한 R 코드와 출력 데이터를 평가하는 자동화 루틴. 우리는 (소비자급) 배포 스펙트럼 전반에 걸쳐 LLM을 벤치마킹하여 20개의 데이터 준비 작업(102개 변수 생성)에서의 효과를 평가한다. 현재 최첨단 31-35B 매개변수 모델은 우리 벤치마크를 거의 포화시켰다('평균 작업 완료율' 최대 87.9%). 소비자급 하드웨어에서 실행되는 오픈 가중치 LLM의 성능은 거버넌스 제약이 있는 연구 환경에서 AI 지원 데이터 준비로 향하는 실행 가능한 경로의 가능성을 보여준다. 우리 프레임워크는 https://github.com/UCL-ARC/RRBench 에서 공개적으로 이용할 수 있다.
학습 데이터의 품질은 대규모 언어 모델(LLM)의 능력을 근본적으로 결정하지만, LLM, 에이전트, 데이터 중심 워크플로가 실제로 end-to-end로 학습 데이터를 얼마나 잘 준비하는지 측정하는 통합 벤치마크는 아직 존재하지 않는다. 우리는 LLM 기반 데이터 준비를 두 가지 상호 보완적인 역량으로 구성되는 것으로 본다: 원시 소스를 지도 학습 데이터로 변환하는 데이터 구성(data construction), 그리고 하류 학습 전에 후보 데이터셋의 학습 가치를 예측하는 데이터 품질 평가(data quality evaluation); 전반에 걸쳐 "품질"은 표면적인 텍스트 속성이 아니라 하류 학습 유용성(downstream training utility)을 가리킨다. 우리는 DataPrep-Bench를 제안한다. 이는 여섯 개 도메인과 여러 기본 모델에 걸쳐 공유된 하류 기반(downstream-grounded) 프로토콜 아래 두 역량을 함께 평가하는 최초의 통합 벤치마크이다. 데이터 구성의 경우, 각 방법은 동일한 원시 소스를 사용하며, 그 출력물에 Dolly-15k를 함께 적용해 기본 모델을 미세조정하는 방식으로 점수를 매긴다; 이 트랙과 함께 우리는 Data-Construction-Skill을 공개한다. 이는 스킬 가이드 에이전트로, Llama-3.1-8B Finance에서 Dolly만 사용한 기준선을 절대값 기준 거의 20점 향상시키며, 지식 추출이 밀집한 도메인에서 가장 강력한 에이전트 및 DataFlow 기반 방법과 경쟁력을 보인다. 데이터 품질 평가의 경우, 점수 함수는 공유된 후보 풀에서 하류 성능과의 Pearson 상관으로 평가된다; 우리는 Distributional Alignment Score(DAS)를 공개한다. 이는 후보 데이터셋과 도메인 프록시 간 MMD를 사용하는 분포 기반 평가자이다. DAS는 여섯 도메인 중 네 곳에서 가장 강한 교차 모델 상관을 달성하며, Math, Science, Medical에서 동시에 r > 0.70을 넘기는 유일한 지표로, 기존의 품질-, 다양성-, 휴리스틱 기반 평가자들을 능가한다. DataPrep-Bench는 LLM 기반 데이터 준비의 동등한 목표인 두 역량 모두에 대한 진전을 측정하는 통합적이고 하류 기반의 프레임워크를 제공한다.
노이즈 필터링은 객체 분할, 검출, 인식과 같은 응용에서 이미지 품질을 향상시키는 데이터 준비의 기본적인 부분이다. 문헌에는 중간값, 가우시안, 양방향 필터 사용 등 다양한 노이즈 감소 기법이 제안되어 있다. 합성곱 신경망(CNN)은 데이터로부터 복잡한 패턴과 특징을 추출하는 능력 때문에 이미지 노이즈 제거에서 인기를 얻었다. CNN은 적응성이 높아 다양한 이미지 노이즈 제거 작업에 효과적인 도구이다. CNN 기반 기법의 단점 중 하나는 적절한 학습 데이터셋과 모든 이미지의 크기 조정이 필요하다는 것이다. 이러한 모든 필터링 기법의 또 다른 주목할 만한 단점은 특정 유형의 환경 및 카메라 노이즈에만 작동한다는 것이다. 이 연구 공백을 메우기 위해, 본 논문에서는 최초로 노이즈 제거 대신 다양한 환경 및 카메라 영향에 대한 저품질 이미지를 걸러내는 접근법을 제안한다. 우리의 접근법에서는 이미지 품질 평가(image quality assessment) 지표를 사용하여 품질을 평가하고, 최적 임계값을 사용하여 저품질 이미지를 걸러낸다. 또한 심층 학습(DL) 모델을 개발하기 위해 충분한 수의 이미지가 남도록 보장한다. 실제 및 시뮬레이션 교통 및 객체 인식 데이터를 사용한 결과는 제안 접근법이 최신(state-of-the-art) 접근법과 비교하여 성능 우위를 보여준다. 제안 접근법의 평균 인식 정확도는 교통 표지판 인식 데이터셋에서 93.8%, 객체 인식 데이터셋에서 84.9%이다. 이는 자율 주행 차량과 같은 실생활 응용에서 우리 모델의 잠재력을 나타낸다.
고품질 학습 데이터는 대규모 언어 모델(LLM)에 필수적이며, 일반적으로 광범위하고 비용이 많이 드는 수동 큐레이션을 필요로 한다. 기존의 자동 데이터 준비 방법들은 사전에 정의된 파이프라인이나 사용자 지정 인간 지시에 의존하기 때문에, 다양한 데이터 분포에 대한 적응성이 제한되고 고품질 예시로부터의 원칙적인 지침이 부재하다. 본 논문에서는 원시 데이터를 고품질 데이터로 변환하는 파이프라인을 자동으로 구성하는 최초의 자기 진화(self-evolving) 데이터 준비 시스템인 DataEvolver를 소개한다. DataEvolver는 파이프라인의 실행 가능성과 효과성을 모두 보장하기 위해 다단계 메커니즘을 채택한다. 연산자 수준에서는 의존성 충돌을 해결하면서 논리적 계획을 구성하기 위해 연산자 집합을 점진적으로 확장한다. 파이프라인 수준에서는 논리적 계획을 실행 가능한 코드로 인스턴스화하고, 준비된 데이터와 고품질 예시 간의 분포 격차를 줄이는 피드백 루프를 통해 파이프라인 오케스트레이션을 반복적으로 개선한다. 7개의 벤치마크에 대한 실험 결과, DataEvolver는 데이터 품질을 크게 향상시키고 원본 데이터로 학습한 경우 대비 다운스트림 LLM 성능에서 평균 10% 향상을 달성하였으며, 이는 LLM과 데이터의 반복적 공진화(co-evolution)에 대한 새로운 가능성을 제시한다.