MLLM 기반 추천을 위한 구체적인 설명의 스케일링
Scaling Articulated Rationales for MLLM-based Recommendation
한국어 초록
본 논문에서는 희소하고 구체적인(articulated) 사용자 설명(rationale)을 확장 가능한 추천 신호로 변환하는 산업용 프레임워크인 SARA를 제시했습니다. SARA의 데이터 엔진은 설문 응답을 SARA-HQ로 정제하여, 지도 미세조정(SFT) 및 품질 개선 DPO(Quality-Refining DPO)를 통해 SARA-7B를 정렬(alignment)하기 위한 명시적 선호도 지도(supervision)를 제공합니다. 이러한 정렬을 통해 설명 생성 범위를 설문으로 다루어진 $86{,}564$명의 작성자에서 전체 $10$M 작성자 공간으로 확장합니다. SARA-Ranker는 생성된 긍정적 및 부정적 설명을 사용자-작성자 상호작용 모델링과 부정적 피드백 이력 모델링을 위한 피처로 변환하여 구체적인 이유를 프로덕션 랭킹과 연결합니다. 확인되지 않은 작성자에 대한 평가(evaluation) 결과, SARA-7B는 평가 대상 범용 MLLM보다 더 구체적이고 관련성 높으며 그라운딩된(grounded) 설명을 생성함을 입증했습니다. 멀티모달 피처를 갖춘 강력한 산업용 랭킹 기준선(baseline) 위에서 진행된 개별 온라인 A/B 테스트 결과, 긍정적 설명 통합은 시청 시간을 $0.99\%$ 증가시킨 반면, 부정적 설명 통합은 싫어요(Hate) 피드백을 $8.16\%$ 감소시켰습니다. 매일 진행되는 갱신(daily refresh)과 $30$일 이상의 프로덕션 배포는 이 접근 방식의 운영 실현 가능성을 더욱 잘 보여줍니다. 이러한 결과는 구체적인 설명이 행동 및 콘텐츠 신호에 유용한 보완책임을 입증하며, 희소한 인간의 설명을 산업용 추천을 개선하는 선호도 정보로 스케일링(scaling)하는 데 있어 MLLM의 실용적인 역할을 보여줍니다.
원문 초록
We presented SARA, an industrial framework that transforms sparse articulated user rationales into scalable recommendation signals. Its data engine curates questionnaire responses into SARA-HQ, providing explicit preference supervision for aligning SARA-7B through SFT and Quality-Refining DPO. This alignment extends rationale generation from $86{,}564$ questionnaire-covered authors to the full $10$M-author space. SARA-Ranker translates the generated positive and negative rationales into features for user--author interaction modeling and negative-feedback history modeling, connecting articulated reasons to production ranking. Evaluation on unseen authors demonstrates that SARA-7B generates more specific, relevant, and grounded rationales than the evaluated general-purpose MLLMs. On top of a strong industrial ranking baseline with multimodal features, separate online A/B tests show that positive-rationale integration increases watch time by $0.99\%$, while negative-rationale integration reduces Hate feedback by $8.16\%$. Daily refresh and more than $30$ days of production deployment further demonstrate the operational feasibility of the approach. These findings establish articulated rationales as a useful complement to behavioral and content signals, and demonstrate a practical role for MLLMs in scaling sparse human explanations into preference information that improves industrial recommendation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.17639v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 설명 가능 추천: YouTube Music 아티스트 발견을 위한 LLM 근거
Explainable Recommendations at Scale: LLM Rationales for YouTube Music Artist Discovery
현대 음악 스트리밍 플랫폼은 익숙한 콘텐츠를 활용하는 것과 새로운 항목의 탐험을 촉진하는 것 사이에서 지속적인 트레이드오프에 직면한다. 사용자는 종종 발견을 원하지만, 검증된 선호 아티스트 대신 낯선 아티스트를 선택하는 데 주저한다. 아직 탐색하지 않은 항목이 왜 추천되는지 설명하는 투명한 자연어 근거를 제공하면 이 장벽을 낮출 수 있다. 그러나 대규모 언어 모델(LLM)은 이러한 미묘한 설명 가능성에는 뛰어나지만, 실시간 배포는 과도한 추론 비용과 계산 오버헤드로 인해 심각한 병목에 걸린다. 본 논문에서는 지연 시간을 희생하지 않으면서 탐험을 성공적으로 확장하는 분리형 추천 아키텍처의 산업 사례 연구를 제시한다. 우리 시스템은 LLM 추론을 비동기적으로 오프라인으로 분리하여, 맞춤형 근거와 함께 미발견 아티스트에 대한 개인화 후보 풀을 사전 계산한다. 대규모 온라인 A/B 실험이 우리 설계를 검증한다. LLM 기반 추천과 이러한 설명적 근거를 결합하면 새 콘텐츠에 대한 신뢰 장벽이 크게 낮아지며, 발견 표면에서 사용자 탐험과 전반적 참여 모두에서 통계적으로 유의미한 개선을 이끈다는 것을 보여준다.
UniDataAgent: 기업 질문-보고서 자동화를 위한 온톨로지 그라운딩 에이전트
UniDataAgent: An Ontology-Grounded Agent for Enterprise Question-to-Report Automation
기업 데이터 에이전트(agent)는 단순히 질문을 쿼리로 변환하는 것을 넘어 조직 고유의 의미 체계(semantics)를 보존해야 합니다. 본 논문에서는 의미 체계 획득과 온라인 실행을 분리하여 재사용 가능한 질문-보고서 분석을 수행하는 온톨로지 그라운딩(ontology-grounded) 시스템인 ChinaUnicom DataAgent(UniDataAgent)를 소개합니다. 온톨로지 획득 및 검증(OAV) 단계에서는 전문가가 작성한 비즈니스 스킬, 제약된 생성, 질문 검증, 선별된 전문가 검토를 통해 메타데이터, 비즈니스 지식, 지원 자료로부터 버전 관리되는 기업 온톨로지를 구축합니다. 질문-보고서 실행(QRE) 단계에서는 각 질문에 대한 의미적 계약(semantic contracts)을 검색하고, 스킬과 데이터 툴을 조율하며, 결과를 검증하고 근거가 연결된 보고서를 생성합니다. 27개 기업 테이블과 대략 수천 가지 지표 유형에 걸쳐, 온톨로지 구축에는 수작업으로 약 1주일이 걸리던 작업이 불과 몇 시간밖에 걸리지 않았습니다. 보고서 생성에는 며칠의 근무일 대신 단 몇 분밖에 걸리지 않았습니다. 온톨로지 그라운딩은 실제 비즈니스 질문에 대해 95.0%의 엄격한 정확도(strict accuracy)를 달성하여 문서 기반 검색-증강 생성(RAG)의 72.5%와 대조를 보였으며, 특히 정형 및 조합형(compositional) 태스크에서 두드러졌습니다. 이 시스템은 이미 배포되어 비용 절감 효과를 창출하고 있으며 다른 기업으로 복제될 수 있는 잠재력을 지니고 있습니다.
전자상거래 검색에서 페이지 수준 레이아웃 결정을 위한 언어 모델
Language Models for Page-Level Layout Decisions in E-commerce Search
전자상거래(E-commerce) 검색 페이지는 수백만 명의 온라인 쇼핑객에게 중요한 접점입니다. 전통적인 검색 엔진은 순위가 매겨진 검색 결과 목록을 반환하는 반면, 최신 전자상거래 검색 페이지는 특정 위치에 대안적 상품 그룹을 노출하는 보조 스택(secondary stack)과 같은 추천 시스템 모듈을 점차 더 많이 통합하고 있습니다. 적절하게 도입될 경우 보조 스택은 사용자 참여도를 향상시킬 수 있지만, 최적화되지 않은 배치는 탐색 흐름을 방해하고 주요 검색 결과를 저하시킬 수 있습니다. 인터리빙(interleaving)과 같은 평가 기법이 잘 정립되어 있는 전통적인 검색 랭킹과 달리, 특정 위치와 시점에 보조 스택을 삽입하는 것과 같은 페이지 수준의 레이아웃 변경을 평가하는 것은 비용이 많이 드는 온라인 A/B 테스팅 없이는 여전히 어려운 과제입니다. 이를 해결하기 위해, 본 연구에서는 특정 위치에 보조 스택을 포함하는 것과 같은 주어진 레이아웃 결정이 사용자에게 유익한지 여부를 평가하기 위한 오프라인 방법을 연구합니다. 저자들은 직접적인 프롬프트(prompt) 기반 방식, 프롬프트에서 유도된 특징(feature) 방식, 표현(representation) 기반 방식을 비교하여 확장 가능한 평가자로서 언어 모델을 조사합니다. 실험 결과, 사용자 참여도를 예측하는 데 있어 표현 기반 접근 방식이 프롬프트 기반 평가보다 일관되게 우수한 성능을 보였으며, 이는 해당 방식이 전자상거래 검색에서 오프라인 레이아웃 평가를 위한 신뢰할 수 있는 기반을 제공함을 시사합니다.
AX는 새로운 AEO이다
AX is the New AEO
2023년에 AI 모델(model)은 학습(training) 데이터로부터 답변했고 데이터가 부족할 때 환각(hallucination)을 일으켰으며, 기업들은 이러한 지식을 심어두라는 조언을 받았습니다. 이후 모델의 학습 지식은 실시간 웹 검색에 자리를 내주었고 조언 역시 이를 따랐습니다. 즉, 답변 엔진 최적화(AEO, answer-engine optimization)는 이제 AI 엔진이 기업을 노출하고 추천할 가능성을 높이기 위해 포럼 스레드, 리스티클, 외부 인용 전반에 빵 부스러기(흔적)를 흩뿌려 두라고 기업에 권장합니다. 그러나 단순히 노출되는 것만으로는 더 이상 충분하지 않습니다. 에이전트(agent)는 결정을 내리기 전에 결과를 열고 읽으며, 구매자의 질문 하나로 인해 여러 차례의 검색과 가져오기(fetch) 단계를 거칩니다. 이 심층 탐색 단계에서 결과를 좌우하는 것은 에이전트가 기업 자체 사이트를 가져와서 읽을 수 있는지 여부, 즉 에이전트 경험(AX, agent experience)입니다. 본 논문에서는 AX가 새로운 AEO라고 주장합니다. 우리는 인지도, 기존 모델 지식, 두 가지 AEO 대리 지표를 일치시킨 1,056개의 실제 기업을 대상으로 네 개의 독립적인 하네스(harness)에 걸쳐 기업에 대한 구매자 질문으로 구성된 37,927회의 에이전트 여정을 실행한 뒤, 이들의 AX 수준에 따라 분류했습니다. 사이트 가독 여부와 관계없이 완성된 답변 중 모델의 학습 지식에서 나온 비율은 7~10%에 불과했습니다. 에이전트 친화적인(agent-ready) 기업은 자체 페이지를 기반으로 답변이 구축된 비율이 56% 대비 78%였으며 명확하게 추천되는 빈도가 1.9배 더 높았던 반면, 에이전트 친화적이지 않은 기업에 대한 그라운딩(grounding)된 답변은 에이전트에 평균 64% 더 많은 비용을 초래했습니다. 기업, 하네스, 질문을 고정했을 때 사이트를 기반으로 구축된 답변은 평균 41% 더 정확했습니다. 주요 실패 요인은 조작(fabrication)이 아닌 누락(omission)으로, 웹 기반으로 구축된 답변은 구매자가 요청한 사실을 전혀 포함하지 않을 확률이 3.7배 더 높았습니다. 4개 하네스 간의 기준선(baseline)은 크게 달랐으며 스택에 따라 명확한 추천 비율이 7배나 차이 났지만, 추천 격차는 모든 하네스에서 유지되었습니다. 에이전트 웹 시대에는 회자되는 것보다 읽힐 수 있는 것이 더 중요하며, 사이트의 AX를 개선하는 것이 기업이 활용할 수 있는 가장 강력한 수단입니다.
질의 함의 생성형 엔진 최적화
Query Implied Generative Engine Optimization
온라인에서 정보를 찾는 방식이 바뀌면서 검색 환경은 급격히 달라졌다. 전통적인 검색 엔진은 대규모 언어 모델(LLM)을 사용해 사용자 질의에 대한 자연어 응답을 생성하는 생성형 검색 엔진(GSE)으로 대체되고 있다. 콘텐츠 제작자에게 가시성은 더 이상 검색 결과 순위만으로 결정되지 않고, 생성된 응답 안에서 인용되는지 여부로 결정된다. 그러나 생성형 검색 엔진은 블랙박스이므로, 생성형 검색 환경에서 콘텐츠 가시성을 높이기 위한 기법 모음인 생성형 엔진 최적화(GEO)가 등장했다. 기존 대부분의 접근은 명시적 질의 또는 질의에서 파생된 신호에 의존하여 콘텐츠를 사용자 요구에 맞게 정렬한다. 우리는 문서로부터 사용자 의도를 직접 추론하는 질의 함의 생성형 엔진 최적화(QI-GEO)를 제안한다. 본 접근은 문서의 의도 공간을 근사하고, 잠재적 사용자 질의에 답하기 위해 빠져 있으면서도 관련 있을 수 있는 콘텐츠를 식별한다. GEO-Bench 및 Extended GEO-Bench에서의 평가는 객관·주관 지표 전반에서 개선을 보였다. QI-GEO는 객관 점수를 최대 15.9%, 주관 점수를 최대 17.6% 향상시켰으며, 인용 감소 대비 거의 두 배 많은 인용 증가를 얻었다. 이러한 결과는 명시적 질의 입력에 의존하지 않고도 문서에서 도출한 사용자 의도 근사가 가시성을 개선할 수 있음을 시사한다.
LLM 추천 리랭킹의 재현율 한계
The Recall Ceiling of LLM Recommendation Reranking
일부 LLM 기반 추천 리랭커는 정답 아이템이 평가 대상 집합에 반드시 존재하도록 보장하는 오라클 프로토콜로 평가된다. 이는 정답 아이템을 후보 목록에 주입하거나 샘플링된 네거티브와 비교하여 점수를 매기는 방식으로 이루어진다. 세 개의 주요 Amazon 데이터셋에서 이 프로토콜이 현실적인 NDCG@10을 92~95% 과대평가함을 보인다. 그 원인은 재현율 한계(recall ceiling)에 있다. 세 개 도메인의 여덟 개 데이터셋에 걸쳐, 현실적인 검색(retrieval)은 $K=100$에서 관련 아이템의 2~19%만을 포착하며, 이는 모든 폐쇄 후보(closed-candidate) 리랭커의 top-$k$ NDCG에 결정론적 상한을 부과한다. 리브-원-아웃(leave-one-out) 평가에서는 $\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_\pi|$가 성립하며, 여기서 $W_\pi$는 리랭커의 후보 윈도우이다. 현실적인 검색 조건에서는 우리의 주요 Amazon 데이터셋에서 테스트한 어떤 최적화 전략도 협업 필터링(CF) 기준선을 유의미하게 개선하지 못한다. 이러한 전략에는 프롬프트 엔지니어링, 168배 매개변수 범위에 걸친 모델 스케일링, 순차 모델, 지도 학습 기반 신경망 리랭커, LoRA 미세조정, 하이브리드 검색, 점수 인지(score-aware) 프롬프팅, LLM+CF 융합이 포함된다. 텍스트 인지(text-aware) 검색은 한 데이터셋에서 재현율을 높이지만 종단 간(end-to-end) NDCG를 개선하지는 못하며, 상위 단계의 CF 점수를 제공하면 주로 LLM이 CF의 순서를 그대로 재현하게 된다. 따라서 우리는 재현율 인지 평가 프로토콜(Recall-Aware Evaluation Protocol, RAEP)을 제안한다. 먼저 검색 재현율 구간(regime)을 분류한 뒤, 상한이 의미 있는 차별화를 허용하는 경우에 한해 리랭킹을 평가하는 것이다. 여기서 측정된 낮은 재현율 구간에서는 리랭커의 정교함을 높이는 것보다 검색을 개선하는 것이 더 중요하다. 다만 이러한 순서가 더 높은 재현율, 더 풍부한 특징, 또는 온라인 피드백을 갖춘 프로덕션 시스템에서도 반드시 성립하는 것은 아니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.