arXiv:2105.10590

Parallelizing Contextual Bandits

Jeffrey Chan, Aldo Pacchiano, Nilesh Tripuraneni, Yun S. Song, Peter Bartlett, Michael I. Jordan

제출 2021-05-21

원문 초록

Standard approaches to decision-making under uncertainty focus on sequential exploration of the space of decisions. However, \textit{simultaneously} proposing a batch of decisions, which leverages available resources for parallel experimentation, has the potential to rapidly accelerate exploration. We present a family of (parallel) contextual bandit algorithms applicable to problems with bounded eluder dimension whose regret is nearly identical to their perfectly sequential counterparts -- given access to the same total number of oracle queries -- up to a lower-order ``burn-in" term. We further show these algorithms can be specialized to the class of linear reward functions where we introduce and analyze several new linear bandit algorithms which explicitly introduce diversity into their action selection. Finally, we also present an empirical evaluation of these parallel algorithms in several domains, including materials discovery and biological sequence design problems, to demonstrate the utility of parallelized bandits in practical settings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01000v1cs.AI공통 태그 Decision Making, Diversity

LLM이 생성한 선호도 분포 평가

Evaluating LLM-Generated Preference Distributions

대규모 언어 모델(LLM)은 실제 데이터를 얻기 어려운 환경에서 시뮬레이션, 합성 데이터 생성, 의사결정 지원을 위한 확률론적 생성기로 점차 널리 활용되고 있습니다. 그러나 이들 모델이 생성하는 분포의 구조와 신뢰성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 항공 여행, 음식점, 소비자 제품에 대해 LLM이 생성한 선호도 분포를 체계적으로 분석합니다. 고무적으로도 분석 대상이 된 모든 모델은 자기 일관성(self-coherence)을 보였으며, 반복적인 샘플링 환경에서도 가장 확률이 높은 결과가 빠르게 안정화되었습니다. 동시에 모델 패밀리와 스케일 전반에 걸쳐 상당한 불일치가 관찰되었으며, 가장 확률이 높은 결과 사이에서도 일치도가 거의 나타나지 않았습니다. 이러한 패턴은 9개의 오픈 가중치(open-weight) 모델과 3개의 선택 영역 전반에서 일관되게 나타났으며, 온도(temperature) 변화, 탐욕적 디코딩(greedy decoding), 프롬프트 및 순서의 변형(perturbation)에 대해서도 강건함을 보였습니다. 우리의 연구 결과는 결과물이 프롬프트의 문구보다 모델 선택에 더 큰 영향을 받는다는 점을 시사하며, 충분한 역량을 갖춘 LLM을 설문 응답자의 대리인으로 활용할 때 유사한 선호도 분포를 생성할 것이라는 일반적인 가정에 의문을 제기합니다.

arXiv:2609.28247v1cs.RO공통 태그 Decision Making, Diversity

공간 트랜스포머로 추론 공간에서 AI 에이전트 집합체 제어

Controlling Collectives of AI Agents in Reasoning Space with Spatial Transformers

대규모 언어 모델(LLM)은 로보틱스에서 계획 및 내비게이션을 위한 흥미로운 새로운 패러다임을 제시하지만, 팀 규모가 커질수록 단순한 다로봇 과제에서도 실패한다. 본 논문은 추론 공간 피드백 제어로 대규모 에이전트형 로봇 집합체를 제어하기 위한 확장 가능하고 분산형 다로봇 아키텍처인 COMPASS를 제안한다. 피드백은 각 로봇에서 로컬로 생성되며, 공간 트랜스포머가 함대 전체의 다중 홉(multi-hop) 메시지를 집계하여 학습된 피드백 토큰으로 만든다. 실험 결과, 언어 모델 집합체는 입력 명령의 구조화된 다양성으로 성능 향상을 보이며, 이는 편향을 상쇄할 수 있다. 이 이점은 규모 전반에 걸쳐 유지된다. 중앙집중형 최신 LLM 정책 및 언어만 사용하는 통신 ablation과 비교했을 때, COMPASS의 결합 설계는 명령된 의도를 정확히 수행하는 응집력 있는 flocking formation을 결정적으로 생성함을 확인했다. 추론 피드백은 컴팩트한 학습된 토큰과 결합할 때 가장 잘 작동함을 보인다. ablation 실험은 원시 상태가 언어 채널에 나타나는 수작업 피드백이 응집력을 파괴함을 보여준다. COMPASS는 모호한 의미의 보지 못한 지시에 제로샷으로 일반화하며, 학습 규모의 최대 16배까지의 군집을 지휘하고, 자연어 명령 하에 최대 1024대의 로봇을 비행시킨다.

arXiv:2609.22408v1cs.AI공통 태그 Decision Making, Diversity

AI 집단에서의 사회적 영향력과 과학적 관심의 배분

Social Influence and the Allocation of Scientific Attention in AI Populations

인공지능(AI) 시스템은 과학 연구의 평가와 활용에 직접 참여하는 주체로 자리 잡아가고 있다. 이들 시스템은 인간 독자를 중심으로 설계된 인용 수, 다운로드 통계, 인기 논문 목록 등의 신호를 마주하게 되지만, 이러한 신호가 인공 독자들에게 미치는 집합적 결과는 여전히 불확실하다. 본 논문은 Music Lab 실험 설계를 학술적 관심 시장에 맞게 적용한다. 첫 번째 실험에서는 1,000개의 AI 에이전트(agent)가 2025년 American Economic Review에 게재된 정규 연구 논문 114편 전체의 제목과 초록을 바탕으로 논문을 선택한다. 실험은 독립적 선택 커뮤니티 5개와 사회적 영향력 커뮤니티 5개로 구성되며, 각 커뮤니티에는 순차적으로 참여하는 100개의 에이전트가 배정된다. 사회적 영향력 조건에 속한 에이전트만이 자신의 커뮤니티 내 이전 선택 기록을 관찰할 수 있다. 에이전트는 논문을 원하는 수만큼 선택할 수 있다. 사회적 정보가 주어진 커뮤니티는 에이전트당 선택한 논문 수가 17.2% 적었고, 선택을 더 집중시켰으며, 독립적 조건에서 총 90편을 다룬 데 비해 집합적으로 73편만을 다루었다. 또한 사회적 정보가 있을 때 커뮤니티 간 편차가 더 크게 나타났다. 20개 사회적 커뮤니티에 걸쳐 200개의 에이전트를 대상으로 한 두 번째 실험에서는, 논문에 초기 5회의 선택을 무작위로 할당했을 때 후속 선택 비율이 45.55%포인트(95% CI: 41.20~49.90) 증가했다. 에이전트들의 선택은 외부 인용 수와는 미미한 일치도를 보였으며, 다운로드 수와는 거의 일치하지 않았다. 이러한 결과는 단순한 정보 규칙이 인공 집단 내에서 과학적 관심의 양, 범위, 그리고 분포를 어떻게 형성하는지 보여준다.

arXiv:2609.22497v1cs.AI공통 태그 Decision Making, Diversity

인공 숙의 군중의 지혜

The Wisdom of Artificial Deliberative Crowds

많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.