Contextual Bandits for adapting to changing User preferences over time
원문 초록
Contextual bandits provide an effective way to model the dynamic data problem in ML by leveraging online (incremental) learning to continuously adjust the predictions based on changing environment. We explore details on contextual bandits, an extension to the traditional reinforcement learning (RL) problem and build a novel algorithm to solve this problem using an array of action-based learners. We apply this approach to model an article recommendation system using an array of stochastic gradient descent (SGD) learners to make predictions on rewards based on actions taken. We then extend the approach to a publicly available MovieLens dataset and explore the findings. First, we make available a simplified simulated dataset showing varying user preferences over time and how this can be evaluated with static and dynamic learning algorithms. This dataset made available as part of this research is intentionally simulated with limited number of features and can be used to evaluate different problem-solving strategies. We will build a classifier using static dataset and evaluate its performance on this dataset. We show limitations of static learner due to fixed context at a point of time and how changing that context brings down the accuracy. Next we develop a novel algorithm for solving the contextual bandit problem. Similar to the linear bandits, this algorithm maps the reward as a function of context vector but uses an array of learners to capture variation between actions/arms. We develop a bandit algorithm using an array of stochastic gradient descent (SGD) learners, with separate learner per arm. Finally, we will apply this contextual bandit algorithm to predicting movie ratings over time by different users from the standard Movie Lens dataset and demonstrate the results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
오분류 리덕션을 통한 비정상 선형 밴딧의 동적 후회
Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions
많은 온라인 의사결정 문제는 라운드별 실행 가능한 행동과 변화하는 보상 모델을 모두 수반한다. 적격 광고 노출, 실행 가능한 가격, 이용 가능한 치료법은 시간에 따라 바뀔 수 있고, 사용자 선호, 수요 곡선, 환자 반응은 진화할 수 있다. 이러한 응용에 동기를 받아 본 논문은 라운드별 실행 가능 의사결정 집합을 갖는 비정상 선형 밴딧을 연구한다. 핵심 기여는 비정상 선형 밴딧의 파라미터 드리프트를 맥락적 선형 밴딧의 모델 오지정과 연결하면서 라운드별 의사결정 기준을 보존하는 블록 단위 환원이다. 이 연결을 통해 오지정 적응형 학습을 활용하여 일반적인 시간 가변 의사결정 집합에 대한 동적 후회 보장을 얻을 수 있다. 경로 길이 예산 $P_T$가 알려진 경우, 비적응적 파라미터 경로 하에서 일반 컴팩트하고 적응적이며 비예측적인 의사결정 집합에 대해, 그리고 비적응적 환경 하에서 $K$-암 맥락적 선형 밴딧에 대해 이러한 보장을 확립한다. 일반 시간 가변 의사결정 집합에서 본 논문의 경계는 $T$와 $P_T$에 대한 의존성을 기존 LinUCB 기반 접근법에서 가능한 $\widetilde O(T^{3/4}P_T^{1/4})$ 보장에서 $\widetilde O(T^{2/3}P_T^{1/3})$로 개선하며, 이는 로그 인자를 제외하고 비정상 하한의 의존성과 일치한다.
트랜스포머에서 희소 어텐션 패턴의 점진적 학습
Incremental Learning of Sparse Attention Patterns in Transformers
트랜스포머는 특정 위치로부터 정보를 복사하는 희소 어텐션 패턴을 통해 과거의 여러 위치에서 얻은 정보를 통합한다. 본 연구는 다음 토큰이 통계적 중요도가 서로 다른 여러 과거 위치 그룹에 의존하는 고차 마르코프 연쇄 설정에서 이러한 패턴이 학습 중에 어떻게 형성되는지를 연구한다. 학습은 이산적인 단계들로 진행되며, 각 단계는 그다음으로 중요한 그룹에 대한 희소 어텐션 패턴의 출현으로 특징지어진다. 역학은 처음에는 모든 어텐션 헤드가 지배적인 패턴에 집중하는 경쟁적 양상을 보이지만, 이후에는 서로 다른 헤드가 서로 다른 패턴에 특화되는 협력적 양상으로 바뀐다. 다루기 쉬운 대리 모델에서는 역학이 텐서 분해 문제의 역학으로 환원되어, 단계별 수렴을 증명할 수 있다. 실험적으로 완료되는 단계의 수는 학습 데이터셋 크기에 따라 달라지며, 이는 조기 종료를 통한 일종의 암묵적 복잡도 제어를 시사한다. 종합하면, 본 연구는 명시적인 커리큘럼 없이 구조화된 어텐션 패턴과 헤드 특화가 어떻게 나타나는지에 대한 이론적 설명을 제시한다.
Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크
Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents
구간 시간 지각(interval timing)은 인간 인지의 중요한 측면으로 여겨진다. 인공 에이전트가 인간과 함께 기능하는 경우가 늘어나면서 이들의 구간 시간 지각 능력을 연구할 필요가 있다. 그러나 이 분야의 연구는 아직 제한적이고 산재해 있다. 본 논문은 강화학습(RL) 에이전트의 구간 시간 지각 능력을 체계적으로 연구할 수 있는 RL 벤치마크 환경 Chronocooked를 제시한다. 이 제품군은 심리학 문헌에서 착안한 구간 시간 지각 과제를 포함하는 요리 시나리오로 구성된다. 각 과제에는 RL 에이전트의 구간 시간 지각의 여러 측면, 즉 과제 성능, 인간과 유사한 시간 지각, 확장성을 연구하기 위한 평가 지표가 함께 제공된다. 비순환 모델(CNN), 순환 모델(LSTM), 생물학적으로 영감을 받은 순환 모델(CTRNN)을 사용한 기준선을 보고한다. CNN 모델은 기본적인 시간 지각 과제를 수행하는 능력이 제한적이었다. 반면 충분한 메모리를 갖춘 두 순환 모델은 시간 지각 과제를 성공적으로 수행했고, 고정 간격(FI) 과제에서 시간적 통제를 보였으며, 시간 이분(Temporal Bisection) 과제에서 인간과 유사한 심리측정 곡선을 정성적으로 재현했다. 그러나 인간과 유사한 시간 지각 행동에 대한 정량적 증거는 발견되지 않았다. 인공 에이전트의 구간 시간 지각에 대한 체계적인 연구는 인간-로봇 상호작용(HRI)과 같은 분야에서 과제 성능을 개선하기 위한 보완적 관점을 제공할 수 있으며, 시간 지각에 관한 더 넓은 연구에도 기여할 수 있다.
AI 기반 분석에서의 인간 감독 배분
Allocating Human Oversight in AI-Enabled Analytics
인공지능은 많은 분석 과제에 저비용 예측을 제공하지만, 그 신뢰성과 추가적인 사람 레이블의 가치는 과제마다 다르다. 본 연구는 과제 수준의 불확실성이 알려져 있지 않고 각 획득한 레이블이 추정과 이후의 할당 모두에 정보를 제공하는 상황에서, 공유된 사람 검증 예산을 어떻게 할당할 것인지를 연구한다. 난이도가 알려진 경우, 기준 방법은 과제의 중요도와 레이블 비용을 반영하는 비용 조정 Neyman 규칙을 따른다. 본 연구의 Tuned Rectification-Difficulty 프레임워크 내에서, 짝지어진 사람 레이블과 예측으로부터 조정된 예측 기반 추론(tuned prediction-powered inference)의 보정 계수와 그에 따른 난이도를 함께 학습하는 상한 신뢰 구간(upper-confidence-bound) 정책을 개발하고, 신뢰 반경 정책에 대한 할당 후회(allocation-regret) 보장을 증명한다. 합성 실험과 68개 과제 및 2,000명 이상의 응답자로 구성된 실제 디지털 트윈 설문에서, 본 방법은 할당 목적함수에 대해 오라클과의 격차 대부분을 좁힌다. 또한 균등 할당과 동일한 추정 오차를 각각 최대 22.7%, 4.5% 더 적은 사람 레이블로 달성한다. 동일한 할당 구조는 스칼라 잔차 분산을 스칼라화된 샌드위치 공분산으로 대체함으로써 스칼라 평균을 넘어 회귀 및 선택/컨조인트 추정을 포함한 벡터값 의사결정 모델로 확장된다. AI의 가치는 모델 정확도뿐 아니라 사람의 감독이 가장 필요한 곳에 이를 집중시키는 운영 정책에도 달려 있다.
용량 제약이 있는 지연 피드백 온라인 볼록 최적화
Capacity-Constrained Online Convex Optimization with Delayed Feedback
지연된 피드백을 갖는 온라인 학습은 일반적으로 학습자가 피드백이 도착할 때까지 보류 중인 모든 라운드를 추적할 수 있다고 가정한다. 실제로는 추적 자원이 유한하며, 추적할 수 없는 라운드의 피드백은 영구적으로 손실된다. 본 논문에서는 어느 시점에서든 최대 $C$개의 보류 라운드만 추적할 수 있는 엄격한 용량 제약 아래의 지연 온라인 볼록 최적화(OCO)를 연구한다. 지연 정보를 모형화하기 위해 선행 연구의 선견(clairvoyant) 가정을 정교화한 준선견(semi-clairvoyant) 모델을 도입한다. 이는 예측 시점에 지연을 알아야 한다고 요구하는 대신, 제약 없는 고전적 지연 설정과 마찬가지로 학습자가 지연 만료를 온라인으로 관측하도록 한다. 우리의 접근은 어느 라운드를 추적할지 무작위로 정하고 그 결과 관측값에 중요도 가중치를 부여하는 스케줄러를 사용하여, 새로운 ``지연 및 가중'' OCO 문제로 환원하는 방식으로 진행된다. 기본 문제에 대해 Delayed-Weighted FTRL과 그 밴딧 유사 알고리즘을 제안하고 분석하며, 두 설정 모두에서 가중치가 지연된 피드백과 어떻게 상호작용하는지 특성화하는 후회 한계를 얻는다. 이 한계를 스케줄러와 결합하면 볼록 및 강볼록 손실, 1차 및 밴딧 피드백 모두에 대해 용량 제약 OCO의 후회 보장을 얻는다. 1차 피드백에서는 용량 $C = \Omega(\log T)$이면 로그 인자를 제외하고 표준 지연 OCO 비율을 회복하기에 충분하다. 밴딧 피드백에서는 표준 지연 BCO 비율이 $(1 + \sigma_{\text{max}}/C)$ 인자로 조절되며, 여기서 $\sigma_{\text{max}}$는 미해결 관측의 최대 개수이다. 이로써 $C < \sigma_{\text{max}}$일 때에도 후회 한계가 점진적으로 나빠진다. 분석을 수치 실험으로 보완한다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.