iHAS: Instance-wise Hierarchical Architecture Search for Deep Learning Recommendation Models
원문 초록
Current recommender systems employ large-sized embedding tables with uniform dimensions for all features, leading to overfitting, high computational cost, and suboptimal generalizing performance. Many techniques aim to solve this issue by feature selection or embedding dimension search. However, these techniques typically select a fixed subset of features or embedding dimensions for all instances and feed all instances into one recommender model without considering heterogeneity between items or users. This paper proposes a novel instance-wise Hierarchical Architecture Search framework, iHAS, which automates neural architecture search at the instance level. Specifically, iHAS incorporates three stages: searching, clustering, and retraining. The searching stage identifies optimal instance-wise embedding dimensions across different field features via carefully designed Bernoulli gates with stochastic selection and regularizers. After obtaining these dimensions, the clustering stage divides samples into distinct groups via a deterministic selection approach of Bernoulli gates. The retraining stage then constructs different recommender models, each one designed with optimal dimensions for the corresponding group. We conduct extensive experiments to evaluate the proposed iHAS on two public benchmark datasets from a real-world recommender system. The experimental results demonstrate the effectiveness of iHAS and its outstanding transferability to widely-used deep recommendation models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FORTE: 산업용 추천 시스템을 위한 특징 평가 및 폐기 프로덕션 프레임워크
FORTE: A Production Framework for Feature Evaluation and Deprecation in Industrial Recommender Systems
프로덕션 추천 시스템에는 특징(feature) 생애주기의 비대칭성이 존재한다: 새로운 특징을 추가할 때는 어떤 지표에서든 성능 향상을 만들어내야 하지만, 특징을 제거할 때는 어떤 지표도 저하시키지 않아야 한다. 실제로는 특징 폐기의 우선순위를 정하기가 어려운데, 특징이 다른 특징들과 상호작용하는 경우, 그 중요도가 매일 변하는 경우, 프로덕션 모델이 변경되거나 데이터 드리프트가 발생하기 전에는 평가할 수 없는 경우, 다른 출시 건들과 A/B 테스트 공간을 두고 경쟁하는 경우, 온라인 A/B 테스트에서 회귀(regression)를 일으키는 경우, 또는 폐기를 조율해야 하는 여러 모델에서 소비되는 경우에는 해당 특징을 제거하지 못할 수 있기 때문이다. 우리는 특징을 발견, 검증, 제거하기 위한 모델에 구애받지 않는(model-agnostic) 프로덕션 프레임워크인 FORTE를 제시한다. 효율적인 교란(perturbation) 구현을 통해 매일 특징 평가가 가능하다. 상호작용을 고려하기 위해, FORTE는 그룹화된 제거(ablation)를 통해 모든 저랭크(low-rank) 특징으로부터 구성된 후보 특징 집합을 평가하며, 이 오프라인 결과는 온라인 A/B 테스트를 충분히 예측할 수 있어 폐기 작업을 자신 있게 온라인 테스트로 진행할 수 있게 한다. 계보 추적(lineage tracing)은 학습 데이터셋에서 특징을 제거함으로써 얻는 전체 절감 효과를 실현하기 위해 모든 다운스트림 소비 모델을 식별한다. 우리는 2개의 대규모 추천 시스템에서 FORTE를 검증하였으며, FORTE가 온라인 회귀를 일으키지 않는 폐기 가능한 특징 집합을 식별함을 확인하였다. 다만 효율성에 대한 영향은 모델 특성에 따라 달라진다. 검색 관련성(search-relevance) 모델에서 FORTE는 32개, 48개, 59개 특징으로 구성된 3개의 중첩된 후보 집합을 도출하였다. 온라인 가드레일은 가장 큰 처리(treatment)를 거부하였다. 48개 특징 집합이 폐기 대상으로 선정되어 해당 모델 특징의 43.3%가 제거되었다. 대규모 랭킹(ranking) 모델에서는 FORTE가 제거 후보로 8개를 식별하였다. 재학습과 A/B 테스트를 통해 회귀가 없음을 확인하였다. 이 배포로 학습 가능한 파라미터가 29.9% 감소하였고, 서빙 처리량(serving throughput)이 19.8~25.5% 향상되었으며, 연간 학습 비용이 수십만 달러 절감되었다.
흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형
Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)
생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.
동질성-간결성 트레이드오프에 의한 외부 클러스터링 검증
External Clustering Validation by the Homogeneity-Parsimony Trade-off
스칼라 지표는 알려진 클래스에 대해 클러스터링을 평가하는 데 자주 사용되지만, 클러스터링은 클래스 레이블에 대해 정보를 제공하면서 불필요한 분할을 피해야 한다는 근본적인 트레이드오프를 가릴 수 있다. 본 논문에서는 이러한 트레이드오프를 정량화하는 클러스터 동질성과 간결성의 정규화된 점수를 제시한다. 이 점수들은 손실 압축을 보상하지 않도록 수정된 정보 병목(information bottleneck) 원리에 기반한다. 예시와 수학적 증명을 통해, 관련 제안들과 달리 이러한 점수 정의가 클러스터 정제(refinement) 하에서 단조적으로 변하는 직관적인 성질을 갖음을 보인다. 섀넌 엔트로피(Shannon entropies)를 넘어 정보 이론적 프레임워크를 확장하여, 동질성 및 간결성 점수의 집합 매칭(set-matching) 및 쌍 기반(pair-based) 대응체를 추가로 도출한다. 이는 일반적으로 사용되는 평가 기준을 통합하며, 쌍 기반 설정에서 동질성-간결성 트레이드오프가 이진 분류기의 수신자 조작 특성(ROC, receiver operating characteristic)을 복원함을 보인다. 프레임워크의 특징 선택 및 알고리즘 비교에 대한 유용성을 시연하며, 점수를 공동으로 고려하는 것이 클러스터링 작동점(operating points)을 명확히 하고 파레토 최적(Pareto-optimal) 해법을 식별하는 방법을 보여준다.
온라인 추천을 위한 확률적 잔차 학습
Probabilistic Residual Learning for Online Recommendations
현대 추천 시스템은 일반적으로 심층 학습(DL) 모델을 기반으로 하며, 밀집 인코더(dense encoder)가 사용자와 아이템의 표현(representation)을 학습한다. 그 결과 이러한 시스템은 기반 모델의 블랙박스 특성과 계산 복잡성으로 인해 추천 성능을 체계적으로 향상시키기 어려운 경우가 많다. 이 문제를 해결하기 위해, 우리는 Probabilistic Residual Learning(PRL)을 제안한다. 이는 실제값(ground-truth)과 기본 예측(base prediction) 사이의 잔차(residual)를 모델링하여 기존 시스템의 목표 지향적 정제(refinement)를 가능하게 하는 인과적 베이지안 추천 모델이다. 구체적으로 PRL은 (1) 국소적 잔차 모델링을 위해 사용자를 확률적으로 그룹화하고, (2) 사용자 및 아이템 표현에 영향을 미치는 도메인 수준 교란 변수(domain-level confounder)를 모델링하며, (3) do-calculus를 사용하여 교란 변수에 대한 클러스터별 잔차 예측을 집계한다. 실험 결과, 플러그앤플레이(plug-and-play) 방식의 PRL이 다양한 기본 심층 학습 추천 시스템과 호환되며 성능을 향상시키는 동시에 의미 있는 사용자 클러스터를 자동으로 발견함을 보여준다.
다변량 풍력 발전단 SCADA 데이터 필터링을 위한 군집 알고리즘
Clustering algorithms for multivariate wind farm SCADA data filtering
풍력 발전단 운전 중 감시 제어 및 데이터 수집(Supervisory Control and Data Acquisition, SCADA) 시스템은 수많은 이상(anomaly), 과도현상(transient), 특정 운전 모드를 기록하여 대규모 데이터셋을 생성한다. 그러나 다양한 응용 분야에서는 정상 운전에 해당하는 측정값만 필요하므로 SCADA 데이터를 필터링해야 한다. 이를 위해 전문가가 데이터를 시각적으로 검토하여 수행하는 수동 필터링을 자동화하고 대체하기 위한 여러 방법이 제안되었다. 본 논문에서는 수동 필터링과 여러 군집 알고리즘의 필터링 정확도를 비교하고, 라벨이 없는 데이터에 적합하며 잠재적 응용 분야 전반에 걸쳐 견고한 평가(evaluation) 지표를 도입한다. 결과를 바탕으로 서로 다른 데이터셋에 모델 보정을 일반화하는 방안에 대한 권고사항을 제시하고, 각 모델의 잠재적 활용 사례를 논의한다. 모델은 기존 해상 풍력 발전단의 3개 터빈 SCADA 데이터에 여러 데이터 채널에 걸친 10분 통계치를 사용하여 적용하였다. 일반적으로 기록되는 이상 및 운전 모드 외에도, 데이터셋은 여러 현장 시험(field test)으로 인해 뚜렷하지 않은(non-evident) 이상치(outlier)가 다수 존재한다. 전반적으로 결과는 특징 선택과 평가 지표 설계 모두에서 출력 곡선(power curve)을 넘어 분석을 확장하는 것의 중요성을 강조한다. 대부분의 경우 군집 기반 방법은 뚜렷한 이상치와 미묘한 이상치를 모두 검출할 수 있으며, 수동 필터링보다 높은 정확도를 달성한다. 그러나 정확도와 보존되는 데이터의 양은 모델에 따라 상당히 달라지며, 수동 필터링에 비해 줄어들긴 하지만 전문가의 개입은 여전히 필요하다.
효율적인 래퍼 기반 특징 선택을 통한 풍력·태양광 발전 예측 개선: 실증 연구
Improving Wind and Solar Power Prediction with Efficient Wrapper-based Feature Selection: An Empirical Study
전 세계 에너지 수요 증가와 기후 변화 및 그 영향에 대한 인식 확대에 따라, 재생 에너지가 전 세계 에너지 믹스에서 차지하는 비중은 계속 증가하고 있다. 기존 발전 방식과 달리, 재생 에너지원의 출력은 환경 조건에 대한 의존성 때문에 일관되게 제어할 수 없다. 따라서 현재 및 미래 에너지 생산을 신뢰성 있게 예측하는 것이 필수적이다. 본 논문에서는 실제 재생 에너지 예측 과제에 대한 두 가지 구조화된 문헌 검토의 결과를 보고한다: 풍력 터빈 출력 곡선 모델링과 광전(photovoltaic) 발전 예측. 전자에 대해서는 우리가 직접 포괄적인 문헌 검토를 수행하였고, 후자에 대해서는 기존 설문 조사를 바탕으로 자주 선택되는 입력 특징에 관한 핵심 발견 사항을 종합한다. 두 영역 모두에서, 우리의 분석은 이용 가능한 모니터링 및 환경 변수가 많음에도 불구하고 특징 선택을 위한 방법이 제한적이거나 체계적이지 않다는 것을 보여준다. 이 간극을 해소하기 위해, 우리는 재생 에너지 예측 파이프라인에서 자동적이고 효율적이며 신뢰할 수 있는 특징 선택을 위한 새로운 모델 불가지(model-agnostic) 클러스터링 기반 래퍼 방법인 클러스터 기반 순차 특징 선택(Cluster-based Sequential Feature Selection, CSFS)을 제안한다. 재현성과 재사용을 지원하기 위해 GitHub에 CSFS의 오픈소스 구현을 제공한다. 우리는 두 사용 사례에서 제안한 방법을 실증적으로 평가하고, 래퍼 기반 순차 특징 선택(SFS), 필터 기반 방법, Random Forest의 내장형(embedded) 특징 중요도와 같은 기존 특징 선택 기법과 비교한다. 결과는 래퍼 기반 방법이 전반적으로 더 우수한 성능의 특징 선택을 제공함을 보여준다. CSFS는 SFS와 유사한 예측 성능을 달성하면서 계산 비용을 평균 21% 감소시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.