arXiv:2604.26969 cs.IR

AgenticRecTune: Multi-Agent with Self-Evolving Skillhub for Recommendation System Optimization

제출 2026-04-21

한국어 초록

현대의 대규모 추천 시스템은 일반적으로 프리랭킹(pre-ranking), 랭킹(ranking), 리랭킹(re-ranking) 단계를 포함하는 다단계 파이프라인으로 구성된다. 전통적인 추천 연구는 보통 프리랭킹 모델 구조 개선이나 랭킹 모델 학습 알고리즘 개선과 같은 특정 모델 최적화에 초점을 맞추지만, 시스템 수준 구성 최적화도 각 단계에서 최종 점수를 얻기 위해 각 모델 헤드의 출력을 통합한다는 점에서 중요한 역할을 한다. 시스템의 복잡성 때문에 구성 최적화는 매우 중요하면서도 어려운 과제이다. 모델을 조금만 수정해도 새로운 최적의 시스템 수준 구성이 필요하다. 그러나 각 실험 반복마다 상당한 튜닝 노력이 요구된다. 또한 서로 다른 단계의 모델은 각기 다른 문맥에서 동작하며 서로 다른 목표를 최적화하므로, 전문적인 도메인 지식이 필요하다. 더 나아가 최적화의 성공은 상충하는 여러 온라인 메트릭 간의 균형과 변화하는 프로덕션 개발 목표와의 정렬에 달려 있다. 이러한 과제를 해결하기 위해, 우리는 엔드투엔드 구성 최적화 워크플로를 관리하도록 설계된 Actor, Critic, Insight, Skill, Online의 다섯 개 전문 에이전트로 구성된 에이전틱 프레임워크 AgenticRecTune을 제안한다. 특히 Gemini를 포함한 대규모 언어 모델(LLM)의 고급 추론 능력을 활용해, AgenticRecTune은 최적의 구성 공간을 탐색한다. Actor 에이전트는 여러 후보를 제안하고, Critic 에이전트는 최적이 아닌 제안을 걸러낸다. 이후 Online 에이전트는 Critic 에이전트가 제안한 구성 집합을 바탕으로 A/B 테스트를 자율적으로 준비하고, 이후의 실험 결과를 수집한다. 또한 우리는 Insight 에이전트와 Skill 에이전트의 협업을 활용해 과거 결과를 요약하고, 추천 시스템의 각 작업에 내재된 메커니즘을 추출하며, 스킬을 업데이트하는 자기 진화형 Skillhub도 도입한다.

요약

대규모 추천 시스템은 일반적으로 pre-ranking, ranking, re-ranking으로 이어지는 다단계 파이프라인으로 구성되며, 각 단계의 모델 성능뿐 아니라 단계 간 출력 결합 방식과 시스템 수준 설정이 최종 품질을 좌우한다. 이러한 환경에서는 개별 모델을 개선하는 것만으로는 충분하지 않고, 모델이 변경될 때마다 새로 최적화해야 하는 시스템 구성값을 빠르게 찾는 능력이 중요해진다. AgenticRecTune은 바로 이 지점을 겨냥해, 추천 시스템 최적화를 단일 모델 튜닝이 아닌 엔드투엔드 구성 최적화 문제로 재정의한다. 저자들은 Actor, Critic, Insight, Skill, Online의 다섯 에이전트로 이루어진 다중 에이전트 프레임워크를 제안하며, 각 에이전트가 후보 생성, 비효율적 제안 필터링, 온라인 실험 준비, 결과 수집, 지식 축적이라는 서로 다른 역할을 맡도록 설계했다. 이 과정에서 Google Gemini와 같은 대규모 언어 모델(LLMs)의 추론 능력을 활용해 넓은 구성 공간을 탐색하고, 인간이 반복적으로 수행하던 수동 튜닝의 부담을 줄인다. 핵심적인 방법론적 특징은 생성과 검증, 실험과 피드백이 하나의 닫힌 고리로 연결된다는 점이다. Actor 에이전트는 다양한 구성 후보를 제안하고, Critic 에이전트는 그중 실현 가능성이 낮거나 성능이 불안정한 후보를 걸러낸다. 이후 Online 에이전트가 선별된 구성을 바탕으로 A/B 테스트를 자동으로 준비하고 실제 실험 결과를 수집함으로써, 제안된 설정이 운영 환경에서 어떤 효과를 내는지 빠르게 확인한다. 여기에 더해 Insight 에이전트와 Skill 에이전트는 과거 실험의 결과와 성공 패턴을 요약하고, 추천 시스템 과제별로 작동하는 메커니즘을 추출해 재사용 가능한 기술(skill)로 갱신한다. 이렇게 축적된 자기진화형 Skillhub는 단순한 로그 저장소가 아니라, 다음 최적화 라운드의 의사결정을 더 정교하게 만드는 지식 레이어로 기능한다. 논문은 추천 시스템의 최적화 문제를 수학적으로도 다층 합성 최적화(multi-level compositional optimization)로 정식화하여, pre-ranking, ranking, re-ranking 각각의 구성 변수가 서로 다른 문맥과 목적을 가진다는 점을 명확히 드러낸다. 특히 실제 운영 환경에서는 단일 지표가 아니라 여러 온라인 메트릭의 균형이 중요하며, 주된 성능 지표를 높이면서도 보조 지표가 일정 기준 아래로 떨어지지 않도록 관리해야 한다는 현실적 제약을 반영한다. 이러한 관점은 추천 시스템 최적화가 단순한 하이퍼파라미터 탐색을 넘어, 변화하는 제품 목표와 상충하는 지표들 사이의 균형을 찾는 복합적인 문제임을 보여준다. 결과적으로 AgenticRecTune은 시스템 레벨 설정을 자동화하고, 실험 결과를 지속적으로 학습 가능한 지식으로 바꾸며, 추천 시스템 운영 전반의 확장성과 적응성을 높이는 실용적 접근으로 제시된다. 이러한 점에서 이 연구는 대규모 추천 시스템의 성능 개선을 넘어, 복잡한 프로덕션 환경에서 스스로 진화하는 최적화 체계를 구축하려는 중요한 시도로 볼 수 있다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.