arXiv:2501.02173 cs.IR

The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit

Huixue Zhou, Hengrui Gu, Xi Liu, Kaixiong Zhou, Mingfu Liang, Yongkang Xiao, Srinivas Govindan, Piyush Chawla, Jiyan Yang, Xiangfei Meng, Huayu Li, Buyun Zhang, Liang Luo, Wen-Yen Chen, Yiping Han 외 3명

제출 2025-01-04

한국어 초록

추천 시스템에서 클릭률(CTR) 예측을 위해 대규모 언어 모델(LLM)을 배포하려면 계산 효율성과 예측 정확성 사이의 섬세한 균형이 필요합니다. 본 논문은 검색-증강 생성(RAG)과 혁신적인 멀티헤드 조기 종료 아키텍처를 결합하여 이 두 측면을 동시에 향상시키는 최적화 프레임워크를 제안합니다. 그래프 합성곱 신경망(Graph Convolutional Networks, GCNs)을 효율적인 검색 메커니즘으로 통합함으로써, 높은 모델 성능을 유지하면서 데이터 검색 시간을 크게 줄일 수 있었습니다. 또한 적용한 조기 종료 전략은 여러 헤드에 걸친 실시간 예측 신뢰도 평가를 활용해 모델 추론을 동적으로 종료할 수 있게 합니다. 이는 LLM의 응답 속도를 높일 뿐 아니라 정확도를 유지하거나 향상시켜, 실시간 애플리케이션 환경에 이상적입니다. 실험 결과, 이 아키텍처는 신뢰할 수 있는 추천 제공에 필요한 정확도를 희생하지 않으면서 계산 시간을 효과적으로 줄이며, 상용 시스템에서 효율적이고 실시간인 LLM 배포의 새로운 기준을 제시함을 보여줍니다.

원문 초록

The deployment of Large Language Models (LLMs) in recommender systems for predicting Click-Through Rates (CTR) necessitates a delicate balance between computational efficiency and predictive accuracy. This paper presents an optimization framework that combines Retrieval-Augmented Generation (RAG) with an innovative multi-head early exit architecture to concurrently enhance both aspects. By integrating Graph Convolutional Networks (GCNs) as efficient retrieval mechanisms, we are able to significantly reduce data retrieval times while maintaining high model performance. The early exit strategy employed allows for dynamic termination of model inference, utilizing real-time predictive confidence assessments across multiple heads. This not only quickens the responsiveness of LLMs but also upholds or improves their accuracy, making it ideal for real-time application scenarios. Our experiments demonstrate how this architecture effectively decreases computation time without sacrificing the accuracy needed for reliable recommendation delivery, establishing a new standard for efficient, real-time LLM deployment in commercial systems.

요약

대규모 언어 모델(LLM)을 추천 시스템의 클릭률(CTR) 예측에 적용할 때 가장 큰 과제는 높은 예측 성능과 실시간 서비스에 필요한 계산 효율을 동시에 만족시키는 일입니다. 특히 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 결합한 구조는 풍부한 문맥을 활용할 수 있는 대신, 검색 단계와 긴 추론 경로가 추가되면서 응답 지연이 커지는 문제가 두드러집니다. 이러한 배경에서 제안된 OptiRAG-Rec은 효율성과 정확도의 균형을 새롭게 조정하기 위해, 그래프 합성곱 신경망(Graph Convolutional Network, GCN)을 활용한 검색기와 다중 헤드 조기 종료(multi-head early exit) 전략을 하나의 프레임워크로 통합합니다. 이 접근의 핵심은 단순히 모델을 가볍게 만드는 데 있지 않고, 검색 품질을 높여 예측을 더 쉽게 만들고, 동시에 중간 계층에서의 신뢰도 평가를 통해 불필요한 계산을 과감히 줄이는 데 있습니다. 먼저 GCN 기반 검색기는 사용자-아이템 상호작용을 이분 그래프로 표현하고, 다층 message passing을 통해 사용자 표현을 정교하게 갱신합니다. 이렇게 얻은 임베딩을 여러 층에서 평균화한 뒤 유사 사용자 검색에 활용함으로써, 계산 비용이 큰 언어 모델 임베더를 대체하면서도 그래프 구조가 담고 있는 다중 홉 관계와 장기 선호를 효과적으로 보존합니다. 이는 RAG의 검색 병목을 완화하는 동시에, 후속 LLM 예측에 더 신뢰할 수 있는 문맥을 제공한다는 점에서 의미가 큽니다. 이어서 다중 헤드 조기 종료는 트랜스포머의 여러 중간 층에 예측 헤드를 배치하고, 각 헤드가 산출하는 확률 변화와 신뢰도를 실시간으로 점검하여 충분히 안정적이라고 판단되는 시점에서 추론을 멈추도록 설계됩니다. 다시 말해, 쉬운 샘플은 얕은 층에서 빠르게 처리하고, 어려운 샘플만 더 깊은 층으로 보내는 적응형 추론 구조를 구현한 것입니다. 이러한 설계는 추천 시스템의 실사용 환경에서 특히 중요합니다. 클릭률 예측은 단순히 정확도만 높다고 해결되지 않으며, 대기 시간이 길어지면 서비스 품질 자체가 저하되기 때문에, 추론 속도와 모델 신뢰성의 동시 확보가 필수적입니다. 이 논문은 BookCrossing, Amazon 계열, Yelp 등 실제 데이터셋에서 실험을 수행하며, GCN 검색과 조기 종료가 각각의 병목을 줄이는 동시에 서로의 효과를 강화한다는 점을 보여 줍니다. 검색 단계가 더 좋은 입력 맥락을 제공하면 조기 종료가 더 이른 시점에 안정적으로 작동할 수 있고, 그 결과 전체 시스템의 처리량은 증가하면서도 정확도는 유지되거나 오히려 개선됩니다. 결국 이 연구는 RAG 기반 LLM 추천 시스템이 직면한 효율성-정확도 상충을 구조적으로 해소할 수 있음을 제시하며, 실시간 추천 서비스에 적합한 배포 전략의 방향을 제안한다는 점에서 높은 의의를 갖습니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15921v1cs.LG공통 태그 RAG, Retrieval-augmented Generation

빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선

Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.

arXiv:2610.16008v1cs.CL공통 태그 RAG, Retrieval-augmented Generation

소수의 인간 선호도 신호를 활용한 생체의학 질의응답 평가 개선

Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals

검색-증강 생성(RAG) 시스템은 생체의학 질의응답(QA)에 점점 더 많이 활용되고 있습니다. 그러나 신뢰할 수 있는 참조 리소스의 부족과 자동 평가 지표와 인간의 판단 간의 빈번한 불일치로 인해 시스템의 효과를 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 특히 평가 결과가 인간의 판단과 약하게 상관되어 있거나 심지어 다른 결론으로 이어질 수 있는 상황에서, 개발 의사 결정을 안내하기 위해 평가 결과를 어떻게 활용해야 하는가가 실질적인 질문으로 대두됩니다. 본 연구에서는 소량의 인간 선호도 신호를 활용하여 직접 평가(direct assessment) 지표를 보정하는 방법을 탐구하며, 보정된 지표가 모든 지표를 동일하게 취급하거나 여러 데이터셋에 걸쳐 단일 최적 지표에만 의존하는 베이스라인보다 일관되게 우수한 성능을 보임을 제시합니다.

arXiv:2610.13806v1cs.LG공통 태그 Computational Efficiency, Recommendation Systems

FORTE: 산업용 추천 시스템을 위한 특징 평가 및 폐기 프로덕션 프레임워크

FORTE: A Production Framework for Feature Evaluation and Deprecation in Industrial Recommender Systems

프로덕션 추천 시스템에는 특징(feature) 생애주기의 비대칭성이 존재한다: 새로운 특징을 추가할 때는 어떤 지표에서든 성능 향상을 만들어내야 하지만, 특징을 제거할 때는 어떤 지표도 저하시키지 않아야 한다. 실제로는 특징 폐기의 우선순위를 정하기가 어려운데, 특징이 다른 특징들과 상호작용하는 경우, 그 중요도가 매일 변하는 경우, 프로덕션 모델이 변경되거나 데이터 드리프트가 발생하기 전에는 평가할 수 없는 경우, 다른 출시 건들과 A/B 테스트 공간을 두고 경쟁하는 경우, 온라인 A/B 테스트에서 회귀(regression)를 일으키는 경우, 또는 폐기를 조율해야 하는 여러 모델에서 소비되는 경우에는 해당 특징을 제거하지 못할 수 있기 때문이다. 우리는 특징을 발견, 검증, 제거하기 위한 모델에 구애받지 않는(model-agnostic) 프로덕션 프레임워크인 FORTE를 제시한다. 효율적인 교란(perturbation) 구현을 통해 매일 특징 평가가 가능하다. 상호작용을 고려하기 위해, FORTE는 그룹화된 제거(ablation)를 통해 모든 저랭크(low-rank) 특징으로부터 구성된 후보 특징 집합을 평가하며, 이 오프라인 결과는 온라인 A/B 테스트를 충분히 예측할 수 있어 폐기 작업을 자신 있게 온라인 테스트로 진행할 수 있게 한다. 계보 추적(lineage tracing)은 학습 데이터셋에서 특징을 제거함으로써 얻는 전체 절감 효과를 실현하기 위해 모든 다운스트림 소비 모델을 식별한다. 우리는 2개의 대규모 추천 시스템에서 FORTE를 검증하였으며, FORTE가 온라인 회귀를 일으키지 않는 폐기 가능한 특징 집합을 식별함을 확인하였다. 다만 효율성에 대한 영향은 모델 특성에 따라 달라진다. 검색 관련성(search-relevance) 모델에서 FORTE는 32개, 48개, 59개 특징으로 구성된 3개의 중첩된 후보 집합을 도출하였다. 온라인 가드레일은 가장 큰 처리(treatment)를 거부하였다. 48개 특징 집합이 폐기 대상으로 선정되어 해당 모델 특징의 43.3%가 제거되었다. 대규모 랭킹(ranking) 모델에서는 FORTE가 제거 후보로 8개를 식별하였다. 재학습과 A/B 테스트를 통해 회귀가 없음을 확인하였다. 이 배포로 학습 가능한 파라미터가 29.9% 감소하였고, 서빙 처리량(serving throughput)이 19.8~25.5% 향상되었으며, 연간 학습 비용이 수십만 달러 절감되었다.

arXiv:2610.02070v3cs.AI공통 태그 Retrieval, Retrieval-augmented Generation

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.