MLE 에이전트: 대규모 추천 시스템에서의 자율 ML 엔지니어링
MLE Agents: Autonomous ML Engineering in Large-scale Recommendation Systems
한국어 초록
대규모 랭킹 및 추천 모델을 개선하는 전형적인 워크플로는 느리고 지루하다. 엔지니어가 가설을 세우고, 이를 코드 변경으로 구현하고, 모델을 학습시킨 뒤 오프라인과 온라인으로 평가하며, 그 과정에서 종종 자신의 직관과 경험에 의존한다. 자율 LLM 에이전트는 이 루프를 스스로 실행하여 속도를 높일 수 있을 것으로 기대되지만, 벤치마크나 소규모 대리 과제가 아닌 산업 규모 시스템에서 이것이 가능한지는 여전히 불분명하다. 우리는 대규모 검색 랭커에 대한 모델 변경을 제안, 구현, 학습, 평가하는 사람 참여형(human-on-the-loop) 머신러닝 엔지니어(MLE) 에이전트를 구축한다. 엔지니어는 목적함수 설계, 탐색 방향, 최종 모델 검토에 대한 통제권을 유지한다. 우리는 이 산업 환경을 어렵게 만드는 세 가지 장애물, 즉 실험당 피드백에 수 시간이 걸린다는 점, 오프라인 지표가 온라인 영향을 항상 예측하지는 않는다는 점, 초기의 성과 이후 개선이 포화된다는 점을 확인했다. 이를 병렬 학습 실행, 온라인 영향과 일치하도록 보정된 목적함수, 신중한 컨텍스트 엔지니어링으로 해결한다. 한 캠페인에서 시스템은 완료된 후보 실험 1,097건을 실행하여 325건을 채택했으며, 이는 다른 목적함수와 탐색 제약 아래 진행된 이전 캠페인의 15.6%와 비교해 29.6%의 채택률이다. 최고 모델은 대규모 A/B 테스트에서 검색량을 0.23% 증가시킨다. 몇몇 개선은 팀이 시도해 본 적 없는 아키텍처 변경으로, 더 넓은 산업계와 문헌에서 가져온 것이었으며, 이는 MLE 에이전트가 인간의 직관이 간과하는 설계 공간 영역을 탐색할 수 있음을 시사한다. 우리는 모델을 둘러싼 하네스의 설계가 중요함을 확인했다. 직관적으로는 더 강력한 기반 모델이면 충분할 것 같지만, 우리의 경험상 그 주변 루프의 설계도 똑같이 중요하다. 더 넓게 보면, 본 연구는 자율 에이전트가 산업 규모 시스템에서 실제 머신러닝 엔지니어링을 수행할 수 있음을 보여 준다.
원문 초록
The typical workflow for improving large-scale ranking and recommendation models is slow and tedious: an engineer forms a hypothesis, implements it as a code change, trains a model, and evaluates it both offline and online, often relying on their own intuition and experience along the way. Autonomous LLM agents promise to speed this up by running the loop on their own, but it is still unclear whether they can do this in industry-scale systems rather than on benchmarks or small proxy tasks. We build human-on-the-loop machine learning engineer (MLE) agents that propose, implement, train, and evaluate model changes on large-scale search rankers. Engineers retain control over objective design, search direction, and final-model review. We identify three obstacles that make this industry setting challenging: feedback takes hours per experiment, offline metrics do not always predict online impact, and improvements saturate after the early wins. We address these with parallel training runs, an objective calibrated to match online impact, and careful context engineering. In one campaign, the system ran 1,097 completed candidate experiments and accepted 325, a 29.6\% acceptance rate compared with 15.6\% in the earlier campaign under a different objective and search constraint. Its best model increases search volume by 0.23\% in an A/B test of large scale. Several improvements were architectural changes the team had never tried, drawn from the broader industry and literature, suggesting that MLE agents can explore regions of the design space that human intuition overlooks. We find that the design of the harness around the model matters: intuition suggests that a stronger underlying model is enough, but in our experience, the design of the loop around it is just as critical. More broadly, our work shows that autonomous agents can do real machine-learning engineering in industry-scale systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23910v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.