본 논문에서는 희소하고 구체적인(articulated) 사용자 설명(rationale)을 확장 가능한 추천 신호로 변환하는 산업용 프레임워크인 SARA를 제시했습니다. SARA의 데이터 엔진은 설문 응답을 SARA-HQ로 정제하여, 지도 미세조정(SFT) 및 품질 개선 DPO(Quality-Refining DPO)를 통해 SARA-7B를 정렬(alignment)하기 위한 명시적 선호도 지도(supervision)를 제공합니다. 이러한 정렬을 통해 설명 생성 범위를 설문으로 다루어진 $86{,}564$명의 작성자에서 전체 $10$M 작성자 공간으로 확장합니다. SARA-Ranker는 생성된 긍정적 및 부정적 설명을 사용자-작성자 상호작용 모델링과 부정적 피드백 이력 모델링을 위한 피처로 변환하여 구체적인 이유를 프로덕션 랭킹과 연결합니다. 확인되지 않은 작성자에 대한 평가(evaluation) 결과, SARA-7B는 평가 대상 범용 MLLM보다 더 구체적이고 관련성 높으며 그라운딩된(grounded) 설명을 생성함을 입증했습니다. 멀티모달 피처를 갖춘 강력한 산업용 랭킹 기준선(baseline) 위에서 진행된 개별 온라인 A/B 테스트 결과, 긍정적 설명 통합은 시청 시간을 $0.99\%$ 증가시킨 반면, 부정적 설명 통합은 싫어요(Hate) 피드백을 $8.16\%$ 감소시켰습니다. 매일 진행되는 갱신(daily refresh)과 $30$일 이상의 프로덕션 배포는 이 접근 방식의 운영 실현 가능성을 더욱 잘 보여줍니다. 이러한 결과는 구체적인 설명이 행동 및 콘텐츠 신호에 유용한 보완책임을 입증하며, 희소한 인간의 설명을 산업용 추천을 개선하는 선호도 정보로 스케일링(scaling)하는 데 있어 MLLM의 실용적인 역할을 보여줍니다.
고객 관계 관리(CRM) 시스템에서의 리드 랭킹은 지속적인 과제에 직면한다. 높은 오프라인 정확도를 달성하는 모델이 프로덕션에서 종종 저조한 성능을 보인다. 우리는 이러한 괴리를 야기하는 세 가지 근본적 격차를 확인한다. 오프라인-온라인 지표 불일치, 포인트와이즈-리스트와이즈 목적함수 불정렬, 시간적 분포 드리프트이다. 이러한 격차를 해결하기 위해, 모델 예측과 실제 비즈니스 결과 사이에 폐쇄형 피드백 루프를 구축하는 강화학습 프레임워크인 SalesLoop를 제안한다. 우리의 접근법은 (1) 랭킹 위치와 전환 속도로 가중된 전환 결과를 인코딩하는 성과 인식 보상, (2) Group Relative Policy Optimization을 판별형 랭킹 모델에 적응시킨 리스트와이즈 최적화 목적함수인 Discriminative GRPO를 도입한다. SalesLoop는 가장 강력한 정적 기준선 대비 NDCG@K를 +7.9\%, P@K를 +15.8\% 향상시킨다. 신에너지 차량 제조사에서 160일간 진행된 프로덕션 A/B 테스트—두 개 지역 시장에 걸쳐 1,650만 리드와 280명의 영업 전문가를 포함—는 +4.7\%($p=0.047$) 및 +8.7\%($p=0.002$)의 통계적으로 유의한 누적 리프트를 검증한다. 프로덕션에서 랭킹 백본은 Top-10\% 재현율 44.1\%를 달성하며, 전문가 기준선 대비 $2.3\times$의 전환율로 고의도 리드를 노출한다.
에어비앤비 검색 랭킹에 JourneyFormer를 배포해 길고 탐색적인 게스트 여정과 희소한 예약 라벨 문제 아래에서 게스트 이벤트 선택, ID 임베딩, 모델 아키텍처, 라벨 귀속 등 운영 설계와 학습·추론 가속 전략을 다루며 Transformer로 게스트 여정을 인코딩했다. 오프라인 랭킹 지표가 개선되었고 두 프로덕션 서피스의 온라인 A/B 테스트에서 핵심 비즈니스 지표도 유의미하게 향상되었다.
랭킹 시스템은 건강, 교육, 고용과 같이 경제적·사회적으로 상당한 영향을 미칠 수 있는 고위험 도메인의 의사결정에 영향을 미친다. 이로 인해 안전성 메커니즘의 통합이 필수적이다. 그 중 하나인 기권(abstention)은 알고리즘 의사결정 시스템이 불확실하거나 신뢰도가 낮은 결정을 인간 전문가에게 위임할 수 있도록 한다. 기권은 주로 분류(classification) 태스크의 맥락에서 탐구되어 왔으며, 다른 머신러닝 패러다임에의 적용은 아직 충분히 연구되지 않았다. 본 논문에서는 쌍별 학습-투-랭크(pairwise learning-to-rank) 태스크에서의 기권을 위한 새로운 방법을 제안한다. 우리의 접근법은 랭커의 조건부 위험(conditional risk)에 대한 임계값 설정에 기반하며, 추정된 위험이 사전 정의된 임계값을 초과할 때 시스템이 결정을 기권한다. 본 연구의 기여는 세 가지로 요약된다: 최적 기권 전략에 대한 이론적 특성화, 기권 랭킹 모델 구성을 위한 모델 비종속적(model-agnostic) 플러그인 알고리즘, 그리고 여러 데이터셋에 걸친 포괄적인 실증 평가를 통해 제안 방법의 효과를 입증한다.