Constrained Pure Exploration Multi-Armed Bandits with a Fixed Budget
원문 초록
We consider a constrained, pure exploration, stochastic multi-armed bandit formulation under a fixed budget. Each arm is associated with an unknown, possibly multi-dimensional distribution and is described by multiple attributes that are a function of this distribution. The aim is to optimize a particular attribute subject to user-defined constraints on the other attributes. This framework models applications such as financial portfolio optimization, where it is natural to perform risk-constrained maximization of mean return. We assume that the attributes can be estimated using samples from the arms' distributions and that these estimators satisfy suitable concentration inequalities. We propose an algorithm called \textsc{Constrained-SR} based on the Successive Rejects framework, which recommends an optimal arm and flags the instance as being feasible or infeasible. A key feature of this algorithm is that it is designed on the basis of an information theoretic lower bound for two-armed instances. We characterize an instance-dependent upper bound on the probability of error under \textsc{Constrained-SR}, that decays exponentially with respect to the budget. We further show that the associated decay rate is nearly optimal relative to an information theoretic lower bound in certain special cases.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TreeLoRA: 계층적 그래디언트 유사도 트리 기반 층별 LoRA를 활용한 효율적 지속 학습
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
많은 실세계 응용에서는 데이터를 스트리밍 환경에서 수집하며, 학습 태스크가 순차적으로 등장한다. 이는 모델을 온라인으로 갱신하는 지속 학습(CL)을 필요로 하며, 새로운 태스크에 적응하면서 과거 지식을 보존하여 치명적 망각을 방지한다. 최근 대규모 사전학습 모델(LPM)의 성장과 함께, 상당한 계산 요구와 증가하는 매개변수 규모로 인해 CL에서 효율성이 점점 더 중요해졌다. 본 논문에서는 TreeLoRA(K-D Tree of Low-Rank Adapters)를 제안한다. 이는 계층적 그래디언트 유사도를 활용하여 층별 어댑터를 구성하고, 특히 LPM을 위한 효율적인 CL을 가능하게 하는 새로운 접근법이다. 태스크 유사도 추정의 계산 부담을 줄이기 위해, 밴딧(bandit) 기법을 사용하여 하한 신뢰 구간(lower confidence bounds)에 기반한 알고리즘을 개발하고 태스크 구조를 효율적으로 탐색한다. 또한 희소 그래디언트 업데이트를 사용하여 매개변수 최적화를 촉진하고, 이 접근법을 LPM에 더 적합하게 만든다. 접근법의 근거를 정당화하는 이론적 분석을 제공하며, 비전 트랜스포머(ViT)와 대규모 언어 모델(LLM) 모두에 대한 실험을 통해 비전 및 자연어 처리(NLP) 태스크를 포함한 다양한 도메인에서 본 접근법의 효과와 효율성을 입증한다.
대규모 언어 모델에서 진실의 트릴레마
The Trilemma of Truth in Large Language Models
일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.
Attributes Shape the Embedding Space of Face Recognition Models
Ref-Long: Benchmarking the Long-context Referencing Capability of Long-context Language Models
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
MambaFusion: Height-Fidelity Dense Global Fusion for Multi-modal 3D Object Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.