Lifting the Veil: Unlocking the Power of Depth in Q-learning
원문 초록
With the help of massive data and rich computational resources, deep Q-learning has been widely used in operations research and management science and has contributed to great success in numerous applications, including recommender systems, supply chains, games, and robotic manipulation. However, the success of deep Q-learning lacks solid theoretical verification and interpretability. The aim of this paper is to theoretically verify the power of depth in deep Q-learning. Within the framework of statistical learning theory, we rigorously prove that deep Q-learning outperforms its traditional version by demonstrating its good generalization error bound. Our results reveal that the main reason for the success of deep Q-learning is the excellent performance of deep neural networks (deep nets) in capturing the special properties of rewards namely, spatial sparseness and piecewise constancy, rather than their large capacities. In this paper, we make fundamental contributions to the field of reinforcement learning by answering to the following three questions: Why does deep Q-learning perform so well? When does deep Q-learning perform better than traditional Q-learning? How many samples are required to achieve a specific prediction accuracy for deep Q-learning? Our theoretical assertions are verified by applying deep Q-learning in the well-known beer game in supply chain management and a simulated recommender system.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.
일반 함수 근사 하에서의 최적·효율적 문맥적 조합 세미-밴딧
Optimal and Efficient Contextual Combinatorial Semi-bandits with General Function Approximation
본 논문은 맥락적 조합 세미밴딧(CCSB) 문제를 연구한다. 이 문제에서 학습자는 매 라운드마다 맥락을 관측하고, 기본 팔들의 부분집합으로 이루어진 조합 행동을 선택하며, 선택된 각 팔의 보상을 받는다. 목표는 시간에 따른 누적 보상을 최대화하는 것이다. 기존의 많은 연구가 선형 보상 함수 근사를 갖는 CCSB 문제에 초점을 맞춘 반면, 일반 보상 함수 근사를 갖는 CCSB 문제에 대한 효율적인 알고리즘 설계는 제한적이다. 본 연구에서는 학습자가 참 보상 함수를 포함하는 보상 함수 클래스 $\mathcal{F}$에 접근할 수 있는 실현 가능(realizable) 설정을 연구하고 $\mathrm{SquareCB{.}Comb}$ 알고리즘을 제안한다. $\mathrm{SquareCB{.}Comb}$가 $O(\sqrt{m A T \log |\mathcal{F}|})$의 미니맥스 최적 후회 한계를 달성함을 증명한다. 여기서 $A$는 팔의 수, $m$은 조합 행동에 포함되는 팔의 최대 개수, $T$는 시간 지평이다. 또한 맥락이 주어졌을 때 모든 팔의 보상을 효율적으로 예측할 수 있는 온라인 회귀 오라클이 있고, 조합 행동 집합이 효율적인 선형 최적화 또는 팔에 대한 임의의 목표 주변 확률이 주어졌을 때의 효율적인 샘플링 중 하나를 허용하면 $\mathrm{SquareCB{.}Comb}$는 계산적으로 효율적이다. 웹페이지 추천과 맥락적 최단 경로 문제에서 알고리즘의 효과를 실험적으로 검증한다.
LLM 응답의 자동 감성 점수에서 나타나는 질의 언어 민감도
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
자동 점수는 대규모 언어 모델이 프롬프트, 제공자, 언어에 걸쳐 브랜드를 어떻게 서술하는지 요약하는 데 자주 사용된다. 이러한 점수는 답변이 다르기 때문에, 점수 측정 도구가 텍스트나 언어에 따라 다르게 작동하기 때문에, 또는 두 가지 이유 모두로 인해 달라질 수 있다. 우리는 저장된 브랜드 레이블 20개, 질의 언어 8개, 제공자 별칭 3개, 프롬프트 식별자 15개를 교차한 설계에서 얻은 12,933개의 응답으로 이 측정 문제를 검토한다. 결과 변수는 다국어 감성 분류기의 부호 있는 승리 클래스 신뢰도이며, 중립이 승리한 경우는 0으로, 긍정과 부정이 승리한 경우에는 부호 있는 신뢰도로 코딩한다. 전체 응답에 적합한 교차 선형 혼합 모형은 적합된 분산의 26.49%를 질의 언어에, 1.46%를 브랜드에 배정한다. 영어를 제외하고 다시 적합한 탐색적 분석에서는 언어에 5.07%, 브랜드에 2.23%가 배정된다. 이 백분율들은 분모가 서로 다르다. 전체 적합 분산은 65.08% 감소하고, 브랜드 분산의 절대량은 46.65% 감소한다. 영어에서는 1,620개의 답변 중 591개가 부정 분류기 점수를 받은 반면, 나머지 일곱 개 언어에서는 11,313개의 답변 중 77개가 부정 점수를 받았다. 이 결과는 원래의 분산 분해가 영어 포함 여부에 매우 민감함을 보여준다. 다만 영어가 인과적 효과를 가진다는 점을 식별하지 못하며, 영어 답변이 브랜드에 대해 더 부정적이라는 점을 입증하지도 않는다. 이 분류기는 트윗 감성에 맞춰 학습되었고, 별도의 대상 브랜드 조건을 입력받지 않으며, 문서화된 감성 미세조정 세트에 포함된 연구 언어는 영어뿐이다. 따라서 자동 점수의 차이는 실질적인 결론을 내리기 전에 답변과 측정 도구 양쪽의 속성으로서 점검되어야 한다.
시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.
FORTE: 산업용 추천 시스템을 위한 특징 평가 및 폐기 프로덕션 프레임워크
FORTE: A Production Framework for Feature Evaluation and Deprecation in Industrial Recommender Systems
프로덕션 추천 시스템에는 특징(feature) 생애주기의 비대칭성이 존재한다: 새로운 특징을 추가할 때는 어떤 지표에서든 성능 향상을 만들어내야 하지만, 특징을 제거할 때는 어떤 지표도 저하시키지 않아야 한다. 실제로는 특징 폐기의 우선순위를 정하기가 어려운데, 특징이 다른 특징들과 상호작용하는 경우, 그 중요도가 매일 변하는 경우, 프로덕션 모델이 변경되거나 데이터 드리프트가 발생하기 전에는 평가할 수 없는 경우, 다른 출시 건들과 A/B 테스트 공간을 두고 경쟁하는 경우, 온라인 A/B 테스트에서 회귀(regression)를 일으키는 경우, 또는 폐기를 조율해야 하는 여러 모델에서 소비되는 경우에는 해당 특징을 제거하지 못할 수 있기 때문이다. 우리는 특징을 발견, 검증, 제거하기 위한 모델에 구애받지 않는(model-agnostic) 프로덕션 프레임워크인 FORTE를 제시한다. 효율적인 교란(perturbation) 구현을 통해 매일 특징 평가가 가능하다. 상호작용을 고려하기 위해, FORTE는 그룹화된 제거(ablation)를 통해 모든 저랭크(low-rank) 특징으로부터 구성된 후보 특징 집합을 평가하며, 이 오프라인 결과는 온라인 A/B 테스트를 충분히 예측할 수 있어 폐기 작업을 자신 있게 온라인 테스트로 진행할 수 있게 한다. 계보 추적(lineage tracing)은 학습 데이터셋에서 특징을 제거함으로써 얻는 전체 절감 효과를 실현하기 위해 모든 다운스트림 소비 모델을 식별한다. 우리는 2개의 대규모 추천 시스템에서 FORTE를 검증하였으며, FORTE가 온라인 회귀를 일으키지 않는 폐기 가능한 특징 집합을 식별함을 확인하였다. 다만 효율성에 대한 영향은 모델 특성에 따라 달라진다. 검색 관련성(search-relevance) 모델에서 FORTE는 32개, 48개, 59개 특징으로 구성된 3개의 중첩된 후보 집합을 도출하였다. 온라인 가드레일은 가장 큰 처리(treatment)를 거부하였다. 48개 특징 집합이 폐기 대상으로 선정되어 해당 모델 특징의 43.3%가 제거되었다. 대규모 랭킹(ranking) 모델에서는 FORTE가 제거 후보로 8개를 식별하였다. 재학습과 A/B 테스트를 통해 회귀가 없음을 확인하였다. 이 배포로 학습 가능한 파라미터가 29.9% 감소하였고, 서빙 처리량(serving throughput)이 19.8~25.5% 향상되었으며, 연간 학습 비용이 수십만 달러 절감되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.