콜드 스타트 추천을 위한 암시적 피드백 디노이징
Denoising Implicit Feedback for Cold-start Recommendation
한국어 초록
암시적 피드백(implicit feedback)은 접근성과 범용성으로 인해 추천 시스템에서 널리 사용되지만, 일반적으로 노이즈가 포함된 샘플(예: 클릭베이트, 위치 바이어스)을 나타냅니다. 한편, 새로운 아이템의 지속적인 유입으로 인해 추천 시스템은 필연적으로 아이템 콜드 스타트(cold-start) 문제에 직면합니다. 우리는 콜드 아이템이 앞서 언급한 요인들로 인해 노이즈 샘플에 더 취약하다는 점을 확인했으며, 연구자들은 종종 콜드 아이템에 대한 암시적 피드백의 노이즈 제거(denoising) 중요성을 간과한다는 것을 발견했습니다. 기존 노이즈 제거 연구들은 일반적으로 높은 손실(loss) 값과 같은 휴리스틱 패턴을 기반으로 노이즈 샘플을 식별하고, 샘플 선택 또는 가중치 재조정을 통해 노이즈를 완화합니다. 그러나 이러한 방법들은 적응성이 제한적이며 콜드 스타트 시나리오에서는 효과적이지 않습니다. 콜드 스타트 추천을 위한 암시적 피드백 노이즈 제거를 달성하기 위해, 우리는 DIF라는 모델에 독립적인(model-agnostic) 노이즈 제거 방법을 제안합니다. 첫째, 콘텐츠에 대한 사용자 선호도는 안정적으로 유지되므로, 이를 통해 콘텐츠가 유사한 웜 아이템(warm items)을 사용하여 사용자가 콜드 아이템에 관심이 있는지를 나타내는 의사 라벨(pseudo-labels)을 추론할 수 있습니다. 또한, 의사 라벨의 정확도를 높이기 위해 콜드 아이템과 웜 아이템 간의 콘텐츠 유사도를 기반으로 의사 라벨의 신뢰도를 모델링한 다음, 각 샘플에 대해 여러 의사 라벨을 집계합니다. 마지막으로, 샘플의 상대 엔트로피와 아이템의 콜드 스타트 상태를 고려하여 노이즈 샘플 라벨의 불확실성을 명시적으로 추정하며, 이는 샘플 수준에서 노이즈 라벨을 수정하기 위해 의사 라벨의 역할을 적응적으로 조절합니다. DIF의 우수성은 이론적 근거와 실제 데이터셋에 대한 광범위한 실험을 통해 뒷받침됩니다. 이 방법은 10억 사용자 규모의 숏폼 비디오 애플리케이션인 콰이쇼우(Kuaishou)에 배포되었으며, 콜드 스타트 시나리오에서 다양한 상업적 지표를 유의미하게 개선했습니다.
원문 초록
Implicit feedback is widely used in recommender systems due to its accessibility and generality, yet it usually presents noisy samples (e.g., clickbait, position bias). Meanwhile, recommenders inevitably face the item cold-start problem due to the continuous influx of new items. We identify that cold items are more prone to noisy samples due to the aforementioned factors, and researchers often overlook the significance of denoising implicit feedback for cold items. Previous denoising studies usually identify noisy samples based on heuristic patterns, such as higher loss values, and mitigate noise through sample selection or re-weighting. However, these methods have limited adaptability and are ineffective in cold-start scenarios. To achieve denoising implicit feedback for cold-start recommendation, we propose a model-agnostic denoising method called DIF. First, user preferences for content remain stable, which allows us to infer pseudo-labels indicating whether a user is interested in a cold item through content-similar warm items. Furthermore, to improve pseudo-label accuracy, we model the confidence of pseudo-labels based on the content similarity between the cold item and warm items, and then aggregate multiple pseudo-labels for each sample. Finally, we explicitly estimate the uncertainty of the noisy sample label by considering its relative entropy and the cold-start status of the item, which adaptively guides the role of pseudo-labels to correct the noisy labels at the sample level. DIF's superiority is supported by both theoretical justification and extensive experiments on real-world datasets. The method has been deployed on a billion-user scale short video application Kuaishou and has significantly improved various commercial metrics within cold-start scenarios.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19658v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PinEqualizer: Pinterest의 전체 퍼널 콘텐츠 탐색 및 디바이어싱 시스템
PinEqualizer: Full Funnel Content Exploration and Debiasing System at Pinterest
본 논문에서는 산업 규모의 검색 및 추천 시스템에서 콘텐츠 콜드 스타트(cold-start) 문제를 해결하기 위한 새로운 솔루션을 제안한다. 기존 접근법과 비교하여 다음과 같은 새로운 기여를 이뤘다. 1) 본 솔루션은 전체 다단계 퍼널에 걸쳐 적용되며 검색 및 추천 서피스 모두에 잘 일반화된다. 2) 본 솔루션은 기존 콘텐츠를 선호하는 바이어스를 줄여 콘텐츠 유형 전반에 걸친 더 정확한 모델 예측을 가능하게 하고, 대량의 명시적 콘텐츠 탐색과 관련된 단기적 트레이드오프를 완화한다. 3) 본 솔루션은 단기 실험을 빠르게 수행하면서 장기적 영향을 검증할 수 있는 확장 가능한 측정 프레임워크로 평가되었다. 지난 2년간 Pinterest에서 이 새로운 시스템을 반복적으로 구축·배포했으며, 신규 콘텐츠 탐색, 전반적인 사용자 참여, 콘텐츠 생태계 건강성에서 유의미한 개선을 관측했다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성
Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
구조적·의미적 일관성을 유지하는 시뮬-투-리얼 변환을 위한 웨이블릿 위상 확산
Wavelet Phase Diffusion for Structurally and Semantically Consistent Sim-to-Real Translation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.