AutoLR: 산업 추천 시스템에서 연구부터 Launch Review까지의 경로 자동화
AutoLR: Automating the Path from Research to Launch Review in Industrial Recommender Systems
한국어 초록
산업용 추천 시스템을 개선하는 일은 아이디어에서 바로 배포로 이어지는 직선적 과정이 아니라, 반복적인 연구·엔지니어링 과정이다. \textbf{DASHEN(넷이즈 게임 커뮤니티 앱)}에서는 알고리즘 엔지니어가 일반적으로 연구 논문, 기술 보고서, 기존 프로덕션 실험에서 유망한 방향을 찾고, 해당 방법을 재현하거나 적응한 뒤 프로덕션 코드베이스에 구현하고, 학습과 오프라인 실험으로 결과 모델을 평가한다. 유망한 후보는 온라인 A/B 테스트로 넘어가고, 견고한 이득을 보인 것은 Launch Review—전체 트래픽 롤아웃을 위한 내부 관문—에 제출된다. 대규모 언어 모델(LLM)은 이 워크플로의 개별 단계를 돕을 수 있지만, 장기간·종종 며칠에 걸친 실험 주기 전반에 걸쳐 이를 신뢰성 있게 조율하는 하네스(harness) 없이는 전체 과정이 여전히 사람에 의존한다. 우리는 처음 \textbf{Auto Launch Review}로 구축되었다가 이후 상류로 확장되어 연구부터 런치까지의 자율 하네스가 된 \textbf{AutoLR}를 제안한다. AutoLR는 세 가지 시스템 메커니즘을 결합한다: 제안을 토론하고 적대적으로 검토하는 \textbf{다중 전문가 council}; 후보 방향에 제한된 시험 예산을 배분하고 Council 재순위를 사용하는 \textbf{결정론적 증거 가중 탐험–활용 선택기}; 외부 연구, 프로덕션 시스템 지식, 게임 커뮤니티·플레이어 특성·콘텐츠 상호작용 패턴 같은 DASHEN 특화 도메인 지식을 구성·패치·로그·실패·오프라인 결과에서 얻은 사후 증거와 결합하는 계층적 지식 시스템. LLM 에이전트는 의미론적 추론과 코드 생성을 수행하고, 결정론적 컨트롤러는 실행, 지표 추출, 가드레일, 영속 상태 전이에 대한 권한을 유지한다.
원문 초록
Improving an industrial recommender is an iterative research-and-engineering process rather than a direct path from idea to deployment. In \textbf{DASHEN, NetEase's gaming-community app}, algorithm engineers typically identify promising directions from research papers, technical reports, and prior production experiments; reproduce or adapt the underlying methods; implement them in the production codebase; and evaluate the resulting models through training and offline experiments. Promising candidates are then advanced to online A/B tests, and those demonstrating robust gains are submitted to Launch Review---the internal gate for full-traffic rollout. Large language models (LLMs) can assist with individual stages of this workflow, but the overall process remains human-dependent without a harness that can reliably coordinate them across long-running, often multi-day experimental cycles. We present \textbf{AutoLR}, initially built as \textbf{Auto Launch Review} and later extended upstream into an autonomous research-to-launch harness. AutoLR combines three system mechanisms: a \textbf{multi-expert council} that debates and adversarially reviews proposals; a \textbf{deterministic evidence-weighted exploration--exploitation selector} that allocates a limited trial budget across candidate directions and uses Council reranking; and a layered knowledge system that combines external research, production-system knowledge, and DASHEN-specific domain knowledge---such as game communities, player characteristics, and content-interaction patterns---with posterior evidence from configurations, patches, logs, failures, and offline outcomes. LLM agents perform semantic reasoning and code generation, while deterministic controllers retain authority over execution, metric extraction, guardrails, and persistent state transitions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.04871v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.