A Risk-Averse Framework for Non-Stationary Stochastic Multi-Armed Bandits
원문 초록
In a typical stochastic multi-armed bandit problem, the objective is often to maximize the expected sum of rewards over some time horizon $T$. While the choice of a strategy that accomplishes that is optimal with no additional information, it is no longer the case when provided additional environment-specific knowledge. In particular, in areas of high volatility like healthcare or finance, a naive reward maximization approach often does not accurately capture the complexity of the learning problem and results in unreliable solutions. To tackle problems of this nature, we propose a framework of adaptive risk-aware strategies that operate in non-stationary environments. Our framework incorporates various risk measures prevalent in the literature to map multiple families of multi-armed bandit algorithms into a risk-sensitive setting. In addition, we equip the resulting algorithms with the Restarted Bayesian Online Change-Point Detection (R-BOCPD) algorithm and impose a (tunable) forced exploration strategy to detect local (per-arm) switches. We provide finite-time theoretical guarantees and an asymptotic regret bound of order $\tilde O(\sqrt{K_T T})$ up to time horizon $T$ with $K_T$ the total number of change-points. In practice, our framework compares favorably to the state-of-the-art in both synthetic and real-world environments and manages to perform efficiently with respect to both risk-sensitivity and non-stationarity.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
WATCH: 가중 컨포멀 마팅게일을 통한 AI 배포 적응형 모니터링
WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales
고위험(high-stakes) 환경에서 인공지능(AI)/기계학습(ML) 시스템을 책임 있게 배포하려면, 시스템 신뢰성에 대한 입증뿐 아니라 배포 후(post-deployment) 지속적인 모니터링을 통해 비안전(unsafe) 행동을 신속히 탐지하고 대응하는 것이 요구된다고 볼 수 있다. 비모수 순차 검定(nonparametric sequential testing)—특히 컨포멀 테스트 마팅게일(conformal test martingales, CTM)과 anytime-valid 추론—은 이러한 모니터링 과제에 유망한 도구를 제공한다. 그러나 기존 접근법은 제한된 가설 클래스나 「알람 기준」(alarm criteria)(예: 특정 교환성(exchangeability) 또는 IID 가정을 위반하는 데이터 분포 변화(data shift)의 탐지)만을 모니터링하도록 제한되거나, 분포 변화에 대한 온라인 적응(online adaptation)을 허용하지 않거나, 성능 저하나 알람의 원인을 진단하지 못한다. 본 논문에서는 컨포멀 테스트 마팅게일의 가중 일반화(WCTM, weighted conformal test martingales)를 제안하여 이러한 한계를 해결하며, WCTM은 거짓 알람(false-alarm)을 제어하면서 데이터 분포의 예기치 않은 변화점(changepoint)에 대한 온라인 모니터링의 이론적 토대를 제공한다. 실용적 응용을 위해, 경미한 공변량 이동(한계 입력 분포상의 covariate shift)에 온라인으로 적응하고, 유해한 분포 변화를 신속히 탐지하며, 그 유해한 변화를 개념 이동(조건부 레이블 분포상의 concept shift) 또는 쉽게 적응하기 어려운 극단적(지원 밖, out-of-support) 공변량 이동으로 진단하는 구체적인 WCTM 알고리즘을 제안한다. 실세계 데이터셋에서 최신(state-of-the-art) 기준선(baseline) 대비 향상된 성능을 입증한다.
스트리밍 슬라이스 최적 수송
Streaming Sliced Optimal Transport
슬라이스 최적 수송(SOT), 즉 슬라이스 Wasserstein(SW) 거리는 통계적·계산적 확장성(scalability)으로 널리 알려져 있다. 본 연구에서는 샘플 스트림으로부터 SW를 추정하는 최초의 방법인 스트리밍 슬라이스 Wasserstein(Stream-SW)을 제안하여 계산적 확장성을 더욱 향상시킨다. Stream-SW를 정의하기 위해, 먼저 일차원 Wasserstein 거리(1DW)의 스트리밍 추정량을 도입한다. 1DW는 비교하는 분포들의 분위 함수(quantile function) 간 절대 차이의 적분으로 주어지는 폐형(closed-form) 표현을 갖기 때문에, 샘플 스트림에 대한 분위 근사 기법을 활용하여 스트리밍 1DW 추정량을 정의한다. 모든 투영(projection)에 스트리밍 1DW를 적용함으로써 Stream-SW를 얻는다. Stream-SW의 핵심 장점은 근사 오차에 대한 이론적 보장을 제공하면서도 메모리 복잡도가 낮다는 점이다. 스트리밍 샘플로부터 가우시안 분포 및 가우시안 혼합분포를 비교할 때, Stream-SW가 무작위 부분 샘플링(random subsampling)보다 더 정확한 SW 근사를 더 낮은 메모리 소비로 달성함을 보인다. 또한 포인트 클라우드 분류, 포인트 클라우드 그래디언트 흐름, 스트리밍 변화점 탐지(change point detection) 실험을 수행하여 제안한 Stream-SW의 우수한 성능을 추가로 입증한다.
TreeLoRA: 계층적 그래디언트 유사도 트리 기반 층별 LoRA를 활용한 효율적 지속 학습
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
많은 실세계 응용에서는 데이터를 스트리밍 환경에서 수집하며, 학습 태스크가 순차적으로 등장한다. 이는 모델을 온라인으로 갱신하는 지속 학습(CL)을 필요로 하며, 새로운 태스크에 적응하면서 과거 지식을 보존하여 치명적 망각을 방지한다. 최근 대규모 사전학습 모델(LPM)의 성장과 함께, 상당한 계산 요구와 증가하는 매개변수 규모로 인해 CL에서 효율성이 점점 더 중요해졌다. 본 논문에서는 TreeLoRA(K-D Tree of Low-Rank Adapters)를 제안한다. 이는 계층적 그래디언트 유사도를 활용하여 층별 어댑터를 구성하고, 특히 LPM을 위한 효율적인 CL을 가능하게 하는 새로운 접근법이다. 태스크 유사도 추정의 계산 부담을 줄이기 위해, 밴딧(bandit) 기법을 사용하여 하한 신뢰 구간(lower confidence bounds)에 기반한 알고리즘을 개발하고 태스크 구조를 효율적으로 탐색한다. 또한 희소 그래디언트 업데이트를 사용하여 매개변수 최적화를 촉진하고, 이 접근법을 LPM에 더 적합하게 만든다. 접근법의 근거를 정당화하는 이론적 분석을 제공하며, 비전 트랜스포머(ViT)와 대규모 언어 모델(LLM) 모두에 대한 실험을 통해 비전 및 자연어 처리(NLP) 태스크를 포함한 다양한 도메인에서 본 접근법의 효과와 효율성을 입증한다.
Narrative Shift Detection: A Hybrid Approach of Dynamic Topic Models and Large Language Models
Adaptive Action Duration with Contextual Bandits for Deep Reinforcement Learning in Dynamic Environments
From Theory to Practice with RAVEN-UCB: Addressing Non-Stationarity in Multi-Armed Bandits through Variance Adaptation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.