arXiv:2006.10940

Open Problem: Model Selection for Contextual Bandits

Dylan J. Foster, Akshay Krishnamurthy, Haipeng Luo

제출 2020-06-19

원문 초록

In statistical learning, algorithms for model selection allow the learner to adapt to the complexity of the best hypothesis class in a sequence. We ask whether similar guarantees are possible for contextual bandit learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10848v1cs.LG공통 태그 Model Selection, Multi-Armed Bandits

LLM을 위한 상각(Amortized) 오프-정책 평가

Amortized Off-Policy Evaluation for LLMs

정확한 평가는 어떤 LLM을 배포할지 선택하는 데 핵심적이지만, 실시간 트래픽에서 후보 모델을 테스트하면 검증되지 않은 모델에 실제 사용자가 노출된다. 따라서 팀들은 이미 배포된 모델이 생성한 데이터를 바탕으로 후보 모델을 오프라인에서 평가한다. 이것이 오프-정책 평가(OPE)이며, 여기에는 두 가지 분포 변화(distribution shift)가 발생한다: 모델이 사후 학습(post-training)에서 업데이트됨에 따라 그 응답이 로그에 기록된 응답과 달라지는 정책 변화(policy shift), 그리고 비즈니스 요구사항에 따라 모델을 평가하는 보상(reward) 정의가 바뀌는 보상 변화(reward shift)이다. 고전적인 OPE 방법들은 과제(task)별로 정의되며 새로운 로그 데이터셋이나 보상 정의마다 처음부터 다시 적합(fitting)해야 하기 때문에 이러한 지속적 배포(continual-deployment) 환경에는 적합하지 않다. 이를 해결하기 위해 우리는 맥락적 밴딧(contextual-bandit) 과제들의 분포에 걸쳐 OPE를 상각(amortize)하는 사전 데이터 적합 네트워크(prior-data fitted network)인 PFN-OPE를 제안한다. 우리는 여러 보상 함수로 점수가 매겨진 LLM 응답 풀(pool)로부터 구성된 과제들에 대해 이 네트워크를 한 번 사전학습(pretrain)하며, 이 과제들에서는 두 가지 분포 변화가 모두 발생한다. 테스트 시점에는 과제별 적합 없이 단일 순전파(forward pass)만으로 로그 데이터셋과 프롬프트(prompt)당 하나의 샘플링된 타깃 응답을 값 추정치로 매핑한다. Qwen, Llama, Gemma 정책을 사용한 HelpSteer2 및 UltraFeedback에서, PFN-OPE는 보상이 변화하는(reward-shifted) 환경에서 테스트된 모든 구성에 걸쳐 최상의 베이스라인보다 2.0배에서 9.3배 낮은 오차를 달성한다.

arXiv:2610.03296v1cs.AI공통 태그 Model Selection, Multi-Armed Bandits

JOVE: 자원 인지형 LLM 태스크 그래프를 위한 공동 실행 및 검증

JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs

복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.

arXiv:2607.24162v2cs.AI공통 태그 Model Selection, Multi-Armed Bandits

Agent-UCT: 비용 인식 에이전트 워크플로 최적화를 위한 트리에 적용된 상한 신뢰 경계

Agent-UCT: Upper Confidence Bounds Applied to Trees for Agentic Workflow Optimization with Cost-Awareness

검색-증강 생성(RAG) 파이프라인과 같은 에이전트 워크플로의 최적화는 엄격한 평가 예산 하에서 이산적 구성 요소 선택의 조합 공간을 탐색해야 한다. 기존 접근법—휴리스틱 탐색, 블랙박스 최적화, 표준 트리 탐색 방법—은 이러한 워크플로의 구성적 구조를 명시적으로 활용하지 않아 중복 계산과 비효율적인 예산 배분을 초래한다. 우리는 Agent-UCT(Agent-based Cost-Aware Upper Confidence Bounds Applied to Trees)를 제안한다. 이는 이분 접두 문맥 재사용 그래프에서 유도된 재사용 인식 정규화 항으로 UCT를 확장한 트리 탐색 알고리즘이다. Agent-UCT는 이전에 구체화된 구성 접두 문맥을 활용하는 분기를 선호하도록 선택을 편향시켜, 효과적인 탐험을 유지하면서 중복 실행을 줄인다. 우리의 프레임워크 RAGSpace는 LongRAG, LightRAG, Self-RAG의 이질적 RAG 구성 요소를 5차원 구성 공간으로 통합하여 체계적인 프레임워크 간 재조합을 가능하게 한다. WTB(Workflow Test Bench)는 결정적 재생, 콘텐츠 주소 지정 캐싱, 트랜잭션 일관성을 제공하여 중간 상태가 한 번 구체화되어 탐색 전반에 재사용되도록 보장한다. HotpotQA와 UltraDomain에서의 실험은 Agent-UCT가 평가된 고정 프레임워크 프리셋 중에서 가장 높은 표본 외 성능을 갖는 구성을 식별함을 보여준다. 전체 풀 평가에서 이분 접두 문맥 재사용은 접두 공유 없음 비용 상한 대비 논리적 탐색 비용을 73.6% 줄인다. 전체 풀 평가와 비교하여, 샘플링 기반 평가는 추가로 wall-clock 기준 4.2배 속도 향상을 달성한다. Agent-UCT, RAGSpace, WTB는 함께 비용 인식적이고 재현 가능하며 구성적으로 효율적인 에이전트 워크플로 최적화를 위한 통합 프레임워크를 제공한다.

arXiv:2607.11720v1cs.LG공통 태그 Model Selection, Multi-Armed Bandits

능동적 오프라인-온라인 강화학습

Active Offline-to-Online Reinforcement Learning

배경: 오프라인 강화학습(RL)은 대규모의 사전 수집된 데이터셋으로부터 효과적인 정책을 학습하고, 이후 제한된 온라인 상호작용을 통해 성능을 개선할 수 있게 한다. 이러한 오프라인-온라인 강화학습(O2O-RL) 패러다임은 상호작용 비용이 높거나 잠재적으로 위험한 비정상(nonstationary) 도메인에서 특히 유망하다. 표준 O2O-RL 파이프라인은 여러 후보 정책을 오프라인으로 학습하고, 오프-정책(off-policy) 또는 온라인 평가를 통해 이를 평가한 뒤, 추정 가치가 가장 높은 정책을 배포하여 미세조정(fine-tuning)한다. 그러나 오프라인 사전학습과 마찬가지로, 미세조정 성능은 알고리즘과 하이퍼파라미터 선택에 매우 민감하여 단일 정책으로 확정하는 것은 위험을 수반한다. 목적: 본 연구는 O2O-RL 환경에서 제한된 상호작용 예산 내에 미세조정을 위한 능동적 정책 선택 문제를 다룬다. 이는 해당 문제를 다룬 최초의 연구이다. 방법: 온라인 상호작용을 정책 평가에 할당하는 것(고성능 정책 식별에 기여)과 미세조정에 할당하는 것(정책 성능 향상에 기여) 사이의 근본적인 트레이드오프를 규명하여 문제를 정식화한다. 이후 온라인 평가를 통해 획득한 관측값에 피팅된 국소 선형 성능 예측(locally linear performance forecasts)으로부터 도출된 미래 성능의 상한 신뢰 구간(upper-confidence bounds)에 기반하여 미세조정할 정책을 능동적으로 선택함으로써 이 트레이드오프를 균형 있게 조정하는 방법을 제안한다. 결과: 다양한 실험에 걸쳐 제안된 방법은 기존 O2O-RL 베이스라인을 일관되게 능가한다. 결론: 정책을 능동적으로 선택하고 미세조정하는 방식은 단일 정책으로 확정하거나 예산을 모든 정책에 균등하게 배분하는 방식보다 제한된 온라인 상호작용 예산을 더 효과적으로 활용한다. 또한 본 프레임워크는 온라인 상호작용이 비용이 높거나 위험한 실제 시스템에서의 실용적 배포를 향해 오프라인 강화학습을 진전시킨다.

arXiv:2607.09015v1cs.LG공통 태그 Model Selection, Multi-Armed Bandits

LLM 라우팅을 위한 대리 보상 기반 상관관계 인식 문맥적 밴딧

Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing

우리는 기계 학습 모델이 생성하는 대리 보상(surrogate reward) 신호에 접근 가능하고 상관된 암(arm)을 갖는 문맥적 밴딧(contextual bandit) 문제를 연구하며, 대규모 언어 모델(LLM) 라우팅과 같은 응용에서 동기를 얻었다. 밴딧 피드백에만 의존하고 암 간 조건부 독립성을 가정하는 고전적 문맥적 밴딧과 달리, 우리의 설정은 문맥 의존적인 암 간 상관관계와 잡음이 있거나 잘못 명세될 수 있는 보조 보상 정보를 허용한다. 우리는 두 가지 상보적 설계를 통해 이러한 대리 보상을 활용하는 알고리즘을 제안한다. 결합 보상 혼합(coupled reward-mixing) 방식은 대리 신호가 신뢰할 수 있을 때 학습을 가속화하기 위해 실제 보상과 대리 보상을 통합하며, 분리 예측 혼합(decoupled prediction-mixing) 방식은 밴딧 피드백과 대리 보상에 대한 별도의 추정기를 유지하고 그 예측을 적응적으로 결합한다. 이러한 분리는 대리 보상의 잘못된 명세에 대한 견고성을 제공하여 최악의 경우 보상만 사용하는 밴딧 방법에 필적하는 후회(regret) 보장을 회복하면서, 대리 예측이 충분히 유익한 경우 개선된 후회를 달성한다. 우리는 두 방식에 대한 이론적 후회 분석을 제공하고, 다양한 정확도 대 비용 트레이드오프 하에서 LLM 라우팅 벤치마크를 대상으로 평가한다. 결과는 표준 문맥적 밴딧 기준선 및 강력한 정적 라우팅 방법과 비교하여 향상된 샘플 효율성과 일관되게 더 나은 정확도-비용 트레이드오프를 보여준다.

arXiv:2606.21929v1cs.LG공통 태그 Model Selection, Multi-Armed Bandits

선호 지향 다목적 밴딧 기반 선택적 앙상블

Selective Ensemble Based on Preference-Directed Multi-Objective Bandits

현대 기계학습 시스템에서의 선택적 앙상블은 제한된 평가 예산 하에서 유망한 모델 후보를 고르는 것을 요구하며, 하류 작업은 종종 정확도, 견고성, 추론과 같은 역량에 대해 부분적인 선호만을 명시한다. 이 설정은 부분적으로 명시된 선형 선호 하의 순차적 의사결정 문제를 자연스럽게 야기한다. 이를 허용 가능한 트레이드오프가 다면체 선호 원뿔로 표현되는 선호 지향 다목적 밴딧(PDMOB)으로 형식화한다. 이 형식화를 바탕으로 표준 파레토 최적성과 단일 가중치 스칼라화를 특수한 경우로 환원하는 Pareto $C$-최적성을 도입한다. 이어서 탐험을 안내하기 위해 방향성 신뢰 구간을 유지하는 선호 지향 상한 신뢰 경계(PrefUCB) 알고리즘을 제안한다. 지표 기반 및 간극 가중 후회를 모두 분석하고, 두 기준 모두에 대해 인스턴스 의존적 로그 경계를 수립하며, 고전적 특수 경우에서 수평선 $T$에 대한 최적 로그 의존성을 회복한다. 대규모 사전학습 모델 선택적 앙상블 작업과 기관 투자 의무 하의 온라인 자산 배분 실험을 통해 방법의 효과를 검증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.