MLSkip: 경량 메타데이터를 통한 ML 필터용 데이터 스킵핑
MLSkip: Data Skipping for ML Filters via Lightweight Metadata
데이터베이스 벤더들이 최근 필터 predicate에서 사용할 수 있는 AI 함수를 출시했다. 이러한 함수는 종종 비용이 큰 블랙박스 ML 모델에 의존하므로 새로운 데이터 관리 과제를 드러낸다. 구체적으로, 정수 및 문자열 데이터에 대한 기존 데이터 스킵핑 기법은 새로운 필터 유형에는 적용되지 못한다. 실제로 blob storage에서 파일을 읽을 때와 같이, 조건을 만족하지 않는 row group을 가지치기할 알려진 메커니즘이 없다. 본 연구에서는 ML 필터를 위한 데이터 스킵핑 기법 연구를 시작한다. Parquet의 기본 min-max 메타데이터만으로도 가지치기를 가능하게 하기에 충분하다고 주장한다. 이를 위해 (i) 최근 제안된 ML 모델용 쿼리 언어와 (ii) 신경망 검증이라는 두 연구 계열과의 연관을 맺는다. 렐루 아키텍처에 대한 예비 결과는 TPC-H 및 TPC-DS의 테이블에서 선택도가 0.1% 미만인 필터에 대해 평균 가지치기 효과가 27.4%에 달함을 보여준다. 마지막으로 공간 조인 연구에서 영감을 받아 향상된 메타데이터 구조, 즉 검증 도구가 더 잘 활용할 수 있는 크기 제한 2D 볼록 껍질(convex hull)을 제안하며, row group 및 column pair당 최대 45바이트만 차지하면서 가지치기 효과를 38.31%로 높인다. DuckDB에서 PyTorch 대비 end-to-end 속도 향상 1.07$\times$를 관측한다.