arXiv:2303.00243

GUESR: A Global Unsupervised Data-Enhancement with Bucket-Cluster Sampling for Sequential Recommendation

Yongqiang Han, Likang Wu, Hao Wang, Guifeng Wang, Mengdi Zhang, Zhi Li, Defu Lian, Enhong Chen

제출 2023-03-01

원문 초록

Sequential Recommendation is a widely studied paradigm for learning users' dynamic interests from historical interactions for predicting the next potential item. Although lots of research work has achieved remarkable progress, they are still plagued by the common issues: data sparsity of limited supervised signals and data noise of accidentally clicking. To this end, several works have attempted to address these issues, which ignored the complex association of items across several sequences. Along this line, with the aim of learning representative item embedding to alleviate this dilemma, we propose GUESR, from the view of graph contrastive learning. Specifically, we first construct the Global Item Relationship Graph (GIRG) from all interaction sequences and present the Bucket-Cluster Sampling (BCS) method to conduct the sub-graphs. Then, graph contrastive learning on this reduced graph is developed to enhance item representations with complex associations from the global view. We subsequently extend the CapsNet module with the elaborately introduced target-attention mechanism to derive users' dynamic preferences. Extensive experimental results have demonstrated our proposed GUESR could not only achieve significant improvements but also could be regarded as a general enhancement strategy to improve the performance in combination with other sequential recommendation methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11168v1cs.CV공통 태그 Contrastive Learning, Sequential Recommendation

SISA-Rec: A Semantically Integrated Sequential Recommender with Contrastive Alignment

추천 시스템은 방대한 선택지 중에서 사용자에게 관련 아이템을 추천하는 역할을 한다. 트랜스포머(transformer) 기반 순차 추천에 관한 현재 연구들은 상호작용 로그에서 사용자 선호도를 학습하지만, 대부분 아이템 식별자에 초점을 맞추고 아이템의 의미론적 정보를 충분히 활용하지 않는다. 이러한 한계는 과거 상호작용 데이터가 부족한 희소(sparse) 및 콜드 스타트(cold-start) 환경에서 주요한 도전 과제가 된다. 이 문제를 해결하기 위해, 우리는 의미론적 맥락을 순차 모델링에 직접 임베딩하는 트랜스포머 기반 프레임워크인 SISA-Rec(Semantically Integrated Sequential Recommendation)을 제안한다. 우리의 접근 방식은 게이트 융합 모듈(gated fusion module)을 통해 아이템 ID 임베딩과 BERT 기반 텍스트 임베딩을 결합하고, 셀프 어텐션(self-attention) 메커니즘에 의미론적 유사도를 주입하며, 어텐션 기반 집계 모듈을 활용하여 포괄적인 사용자 표현을 구성한다. 마지막으로, 베이지안 개인화 랭킹(Bayesian Personalized Ranking, BPR)과 대조적 정렬 손실을 결합한 결합 학습 목표가 행동 공간과 의미 공간을 정렬한다. 실험은 99.93%의 희소성을 가진 Amazon Beauty와 Amazon Toys & Games 두 고희소성 데이터셋에서 수행되었다. 결과는 SISA-Rec이 모든 평가 지표에서 최신 기준선 모델을 능가함을 보여준다. BERT4Rec \cite{petrov2022systematic}과 비교하여, SISA-Rec은 Amazon Beauty에서 HR@10을 16.6%, NDCG@10을 10.3% 향상시키고, Amazon Toys & Games에서 HR@10을 23.1%, NDCG@10을 17.9% 향상시킨다. 콜드 스타트 분석은 제안된 모델이 상호작용 이력이 제한된 사용자에게서 가장 큰 성능 향상을 달성함을 추가로 보여준다. 이는 사용자 행동 데이터가 부족할 때 의미론적 정보의 가치를 잘 보여준다. 전반적으로, 결과는 의미론적 정보를 어텐션 메커니즘에 통합하는 것이 더 정확하고 신뢰할 수 있는 추천으로 이어진다는 것을 입증한다.

arXiv:2607.04311v3cs.CV공통 태그 Contrastive Learning

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2607.05268v5cs.CV공통 태그 Contrastive Learning

기하 구조가 실제로 작동하는가? 쌍곡 비전-언어 모델의 위계에 대한 작동점 감사

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

쌍곡 비전-언어 모델은 추상성을 기하학적으로 인코딩하도록 설계되어 있다. 일반적인 개념은 원점 근처에, 구체적인 개념은 더 먼 곳에 놓이며, 함의 원뿔(entailment cone)은 방향성 있는 순서를 나타낸다. 본 연구는 학습된 MERU, HyCoCLIP, PHyCLIP 모델이 이러한 메커니즘을 실제로 사용하는지 묻는다. 공개된 일곱 개의 체크포인트와 이에 대응하는 처음부터 학습한 개입 모델을 감사한다. 감사한 수렴 체크포인트는 모두 무차원 반경 $u=\sqrt{c}\rho$에서 거의 유클리드적인 상태에 머문다. 이미지 측에서 관측된 최댓값은 $0.37$로, 국소 계량 왜곡이 $10\%$에 이르는 $u\approx0.84$에 크게 못 미친다. 곡률 하한을 해제하면 곡률과 노름은 변하지만 이 영역은 바뀌지 않으며, 하위 과제 성능 변화는 일관되지 않고 대체로 미미하다. 학습된 함의 원뿔은 포화되었거나 거의 포화되어 있어, 낮은 위반율은 학습된 순서가 아니라 지나치게 넓은 원뿔에서 비롯될 수 있다. 사전 등록된 의미 순회는 가지 내부의 약한 순서는 검출하지만 전체 위계를 읽어 내는 작동 가능한 판독은 검출하지 못한다. 셔플 대조 검정은 공개된 체크포인트에서 쌍별 고유의 반경 순서를 검출하지 못하며, 대응하는 세 개의 ViT-B 시드 전체에서 일관된 양성 결과도 없다. 이 비검출은 민감도에 의해 제한된다. 이 진단은 셔플 대조 초과분이 약 13.5 pp일 때에야 검정력 $80\%$에 도달하는 반면, 공개 모델 중 가장 큰 격차는 약 5 pp이다. 우리는 이를 낮은 곡률 지름길로 추적한다. 곡률을 낮추면 순서를 학습하지 않고도 함의 원뿔이 넓어져 위반이 억제된다. 조사한 궤적에서 그래디언트 분해는 붕괴 중 곡률을 낮추는 지배적 압력이 함의 항임을 보여 준다. 그러나 함의를 제거해도 곡률은 수축하므로 이 지름길이 유일한 원인은 아니다. 우리의 진단 아래에서 감사한 정식화들은 작동하는 반경 기반 또는 원뿔 기반 위계를 입증하지 못한다. 우리는 이 감사를 향후 위계 주장을 평가하기 위한 다섯 개 수치의 기하 보고서로 정리한다.

arXiv:2606.29164v2cs.LG공통 태그 Contrastive Learning

잠재 추론에 부족한 것은 신호가 아니라 불변성이다: 강건한 추론을 위한 부분공간 제약 정제

Latent Reasoning Does Not Lack Signal, It Lacks Invariance: Subspace-Constrained Refinement for Robust Reasoning

잠재 추론 모델은 임베딩 공간에서 다단계 추론을 수행하여 사고 사슬 추론의 토큰 오버헤드를 줄인다. 최근의 무학습 정제 방법들은 더 강한 참조 체크포인트와 더 약한 참조 체크포인트로부터 얻은 대조 신호를 사용해 잠재 궤적을 조향한다. 우리는 이러한 방법에서 취약성의 세 가지 원천, 즉 하이퍼파라미터 민감성, 참조 쌍 의존성, 입력 민감성을 규명한다. 우리는 보정을 안정적인 정제 부분공간에 제약하고 그 크기를 적응적으로 제어하는 무학습 프레임워크 궤적 불변 잠재 정제(Trajectory-Invariant Latent Refinement, TILR)를 제안한다. 첫째, 보정 집합 전반에 걸친 강-약 참조 차이로부터 스펙트럼적으로 집중된 부분공간을 추출하고, 대조 업데이트를 그 위로 사영하여 불안정한 변동을 걸러 낸다. 둘째, 적응형 게이트는 각 업데이트의 크기를 학습된 부분공간과의 정렬 정도에 따라 조절하여, 신뢰할 수 없는 보정을 억제하고 정렬이 낮을 때는 수정되지 않은 백본을 복원한다. 6개의 추론 벤치마크에서 TILR은 경쟁력 있는 정확도를 유지하면서 입력 교란과 참조 선택에 대한 강건성을 향상시킨다. Coconut 백본에서 TILR은 의미상 동등한 바꿔 쓰기에 대한 답변 일치도를 11.4% 높이고, 기존 정제 기준선 대비 잠재 궤적 분산을 약 30% 줄인다. 이러한 결과는 불변 부분공간이 재학습이나 역전파 없이 신뢰할 수 있는 잠재 정제를 위한 실용적 기반임을 뒷받침한다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

arXiv:2607.03068v2cs.CV공통 태그 Contrastive Learning

PixCon: 기반 모델 반지도 분할을 위한 클린-포지티브 대조 학습

PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation

단순한 레이블 픽셀 대조 분기가 강력한 사전학습 인코더를 사용하는 준지도 분할을 개선할 수 있는가? 우리는 UniMatch V2의 DINOv2-Base 구현에 클래스별 메모리 뱅크를 추가한 PixCon으로 이 질문을 연구한다. 이 뱅크는 학생 모델의 예측이 레이블과 일치하는 위치에서만 정답 레이블이 있는 특징을 저장한다. 다중 양성 대조 손실은 이러한 특징을 사용하여 공유 인코더-디코더를 학습시키며, 헤드와 뱅크는 추론 시 폐기된다. 이는 신뢰도 임계값과 학습된 순위 부여를 제거함으로써 기존의 레이블 픽셀 뱅크를 단순화한다. 183개 레이블을 사용한 Pascal VOC에서 PixCon은 짝지어진 세 시드 모두에서 각각 0.20, 0.64, 1.83 mIoU 포인트를 향상시켜 평균을 87.01에서 87.90으로 높인다. 92개 레이블에서는 평균 향상이 0.40 포인트이며, Cityscapes와 ADE20K에서 단일 시드 차이는 -0.08에서 +0.14 포인트 범위이다. 예측 레이블 대조 대조군이 Pascal에서 거의 동일한 정확도에 도달하므로, 이러한 결과는 추가된 분기 자체를 뒷받침할 뿐 정확성 필터에 따른 정확도 이득을 뒷받침하지는 않는다. 정확한 기울기 분해는 잘못 레이블된 양성의 개수와 유사도로 가중된 영향력을 구별한다. 별도의 교사 모델 진단에서는 유지된 픽셀의 오류율이 Pascal에서 1.8%, ADE20K에서 10.6%로 나타난다. 이러한 진단은 학습 중인 뱅크를 측정하거나 최종 정확도를 예측하지는 않는다. PixCon은 측정된 실행에서 반복당 시간을 15.3-19.7% 증가시키며 추론 연산은 추가하지 않는다. 우리는 짝지어진 시드, 학습 비용, 그리고 증거의 한계를 보고한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.