Breaking the Filter Bubble: A Semantic Pareto-DQN Framework for Multi-Objective Recommendation
원문 초록
Recommender systems often induce filter bubbles and semantic homogenization by monolithically optimizing for immediate user engagement. Standard single-objective models, including traditional Deep Q-Networks, are ill-equipped to navigate the trade-offs between platform retention and critical societal values like information diversity and provider fairness. To address these limitations, we introduce a multi-objective reinforcement learning framework that formalizes recommendation as a semantic multi-objective Markov decision process. By integrating high-fidelity semantic embeddings with a Pareto-DQN agent, our architecture treats engagement, diversity, and fairness as distinct, non-aggregable reward signals, avoiding the pitfalls of static reward scalarization. Empirical evaluations on the MovieLens small dataset shows that our hypervolume based action selection disrupts the feedback loops responsible for semantic collapse. By sustaining high state-trajectory variance, the Pareto-DQN effectively maps the Pareto frontier, achieving gains in auxiliary societal objectives with only marginal impacts on engagement. This work provides a path toward intrinsically aligned, responsible recommender systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24042v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PinEqualizer: Pinterest의 전체 퍼널 콘텐츠 탐색 및 디바이어싱 시스템
PinEqualizer: Full Funnel Content Exploration and Debiasing System at Pinterest
본 논문에서는 산업 규모의 검색 및 추천 시스템에서 콘텐츠 콜드 스타트(cold-start) 문제를 해결하기 위한 새로운 솔루션을 제안한다. 기존 접근법과 비교하여 다음과 같은 새로운 기여를 이뤘다. 1) 본 솔루션은 전체 다단계 퍼널에 걸쳐 적용되며 검색 및 추천 서피스 모두에 잘 일반화된다. 2) 본 솔루션은 기존 콘텐츠를 선호하는 바이어스를 줄여 콘텐츠 유형 전반에 걸친 더 정확한 모델 예측을 가능하게 하고, 대량의 명시적 콘텐츠 탐색과 관련된 단기적 트레이드오프를 완화한다. 3) 본 솔루션은 단기 실험을 빠르게 수행하면서 장기적 영향을 검증할 수 있는 확장 가능한 측정 프레임워크로 평가되었다. 지난 2년간 Pinterest에서 이 새로운 시스템을 반복적으로 구축·배포했으며, 신규 콘텐츠 탐색, 전반적인 사용자 참여, 콘텐츠 생태계 건강성에서 유의미한 개선을 관측했다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
5G 및 차세대 네트워크에서의 에너지 절감: 양자 강화학습 접근법
Energy Saving in 5G and Beyond Networks: A Quantum Reinforcement Learning Approach
에너지 절감은 5G 및 차세대(Beyond 5G) 네트워크에서 중요한 과제가 되었습니다. 연결된 기기의 급격한 증가는 전반적인 네트워크 에너지 수요를 증가시켜 운영 비용을 감당하기 어려운 수준으로 끌어올렸습니다. 기지국(BS)은 무선 접속망(RAN) 전체 에너지의 약 60-70%를 소비하며 에너지 사용량의 가장 큰 비중을 차지합니다. 따라서 이 문제를 해결하기 위해 본 논문에서는 사용자 단말(UE)의 동적 동작을 고려하면서 기지국의 에너지 사용량을 최적화합니다. 심층 강화학습(DRL)은 사용자 밀도가 낮을 때 기지국 전원을 자동으로 켜고 끄거나, 전송 전력을 조절하여 에너지 효율과 서비스 품질(QoS)의 균형을 맞추는 등 효과적인 에너지 절감 정책을 결정하기 위한 자연스러운 후보입니다. 그러나 과중한 학습(training) 부담과 밀집된 5G 환경에서 상태 및 행동 공간의 기하급수적인 증가는 탐험(exploration)을 점점 더 어렵게 만듭니다. 이러한 한계를 극복하기 위해, 본 논문에서는 매개변수화된 양자 회로를 통해 중첩과 얽힘을 포함한 양자 원리를 활용하여 기존 심층 신경망에 의존하는 DRL보다 훨씬 빠른 수렴(convergence)을 가능하게 하는 새로운 양자 강화학습(QRL) 알고리즘을 소개합니다. 광범위한 시뮬레이션을 통해 제안된 QRL이 단말의 이동성이 매우 높고 기지국 안테나와의 연결이 빈번하게 전환되는 상황에서도 QoS를 유지하면서 에너지 소비를 대폭 줄일 수 있음을 입증합니다. 또한, QRL은 수렴 속도와 학습 복잡도 측면 모두에서 DRL 및 Q-러닝(Q-Learning)을 일관되게 능가합니다.
일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인
The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale
본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.
FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트
FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems
다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.
양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습
Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.