현대의 순차적 모니터링 문제는 여러 지표를 다루는 경우가 많으며, 이때 우리는 여러 데이터 스트림을 동시에 모니터링하고 충분한 증거가 확보되면 조치를 취할 수 있습니다. 신뢰 시퀀스(Confidence Sequence, CS)는 이러한 연속적 모니터링을 위한 자연스러운 도구입니다. 그러나 유계 벡터 평균의 경우, 기존의 다변량 CS는 긴밀하지만(tight) 계산적으로 다루기 어렵거나(intractable), 계산은 빠르지만 보수적입니다. 이를 해결하기 위해 본 논문에서는 1차원 베팅 기반 CS를 고차원으로 확장하는 세 가지 방법인 가중치 적용 본페로니 영역, 동등한 최대 자산 형태, 포트폴리오 영역을 연구합니다. 포트폴리오 방식은 특히 고차원에서 일반적으로 훨씬 더 긴밀하지만, 경계 및 부피와 같은 특성을 닫힌 형태(closed form)로 구할 수 없습니다. 이처럼 더 긴밀한 구조를 실질적으로 활용할 수 있도록, 통계적 타당성을 유지하면서 포트폴리오 영역을 다루기 쉽게 외접 근사하는 경계 상자(bounding box), $\ell_p$-타원체, 그리고 이들의 교집합을 제안합니다. 우리는 모든 구조 간의 집합 관계를 증명하고, 이러한 근사법이 (i) 다루기 힘든 포트폴리오에 근접한 영역을 달성하고, (ii) 기존의 계산 가능한 다변량 CS를 크게 능가하며, (iii) 다중 지표 A/B 테스팅 및 모델 비교와 같은 실용적인 사용 사례를 가능하게 함을 실증적으로 보여줍니다.
온라인 통제 실험은 온라인 플랫폼에서 가설 검정의 황금 표준이다. 보편적으로 사용됨에도 불구하고 실행 비용이 매우 높으며, 분산 문제가 처치 효과(treatment effect) 평가의 통계적 검정력을 저해한다. 표준 분산 감소 기법은 모델 기반 통제 변량(control variates)을 활용해 결과 노이즈를 줄이지만, 경쟁 정책 간 잠재적 구조적 관계에는 무관하다. 본 연구에서는 표준 A/B 테스트 프로토콜의 중요한 비효율을 확인한다: 처치 정책과 대조 정책이 동일한 행동(action)에 동의할 때, 그 결과는 처치 효과에 관한 신호 없이 노이즈만 기여하여—불필요하게 신뢰 구간을 팽창시킨다. 우리는 이러한 정책 겹침(policy overlap)을 활용해 실험을 가속화하는 새로운 실험 프로토콜을 제안한다. 핵심 통찰은 무작위 처치 배정 메커니즘을 메타-정책(meta-policy)으로 구성하고, $Δ$-Off-Policy Estimation 방법을 활용해 평균 처치 효과에 대한 편향 없는(unbiased) 추정치를 얻는 것이다. 우리는 해석적으로 본 접근법이 일반적인 경우 표준 A/B 테스트 관행을 복원함을 증명하며, 그 분산은 원시 결과 분산이 아니라 정책 간 발산(divergence)에 비례함을 보인다. 따라서 정책이 공통 지지(common support)를 가질 때 표준 평균 차(Difference-in-Means) 추정량을 지배(d dominate)하며, 겹침 영역이 0이 아닌 잔차 분산(residual variance)을 기여할 때 개선은 엄격(strict)하다. 실증 결과는 이러한 이론적 통찰을 뒷받침하며—추천 시스템, 정보 검색(information retrieval) 파이프라인, 대규모 언어 모델 인터페이스의 실세계 평가에 상당한 영향을 미칠 가능성을 보여준다.
온라인 실험에서의 A/B 테스트는 여러 후보를 동시에 테스트할 때 통계적 검정력 문제에 직면하며, 적응형 실험 설계(AED)만으로는 특히 다수의 지표(예: 수익, 안전성)와 이질적 분산이 존재하는 경우 평균 처리 효과(average treatment effect)와 같은 실험 통계량 추론에 한계가 있다. 본 논문은 두 단계 구조를 갖는 고정 예산 다중 지표 AED 프레임워크를 제안한다: 최적 처리를 식별하기 위한 적응형 탐험(exploration) 단계와, 처리의 품질을 검증하고 통계량을 추론하기 위한 A/B 테스트 기반의 검증(validation) 단계. 우리는 SHRVar를 제안하는데, 이는 순차적 이분법(SH)을 새로운 상대 분산 기반 샘플링과 보상(reward) z값에 기반한 제거 전략으로 일반화한 방법이다. SHRVar는 지수적으로 감소하는 증명 가능한 오류 확률을 달성하며, 여기서 지수 H3는 각각 동질적 및 이질적 분산에 대한 SH와 SHVar의 복잡도 측도를 일반화한다. 수치 실험을 통해 그 성능과 견고성을 입증한다.
A/B 테스트의 표본 평균 추정기(AVG estimator)가 공유 오프라인 데이터에서 비롯된 양의 상관관계(positive correlation)를 활용하지 못해 오히려 오프라인 평가보다 알고리즘 선택 오류율이 높아질 수 있음을 밝히고, 가상의 중간 알고리즘(M)을 도입해 단계적으로 성능 차이를 추정함으로써 양의 상관관계를 의도적으로 유도하는 MID(Middle-In-Difference) 추정기를 제안한다. 실제 영상 추천 로그 데이터 실험에서 MID는 기존 방법과 동일한 선택 오류율을 달성하면서도 A/B 테스트 데이터를 절반만 사용해 데이터 효율성을 두 배로 개선했다.
A/B 테스트는 대규모 온라인 실험에서 데이터 기반 의사결정의 표준이 되었으며, 기능 출시, 가격 최적화 및 사용자 경험 향상에 중요한 지침을 제공합니다. 통계적 민감도를 최대화하기 위해 많은 기술 기업들은 사전 실험 데이터를 활용한 대조 실험(CUPED)을 일상적으로 채택하고 있으며, 이는 평균 처치 효과(ATE) 추정의 불편성을 유지하면서 상당한 분산 감소를 달성하는 기법입니다. 널리 채택되고 있음에도 불구하고, CUPED의 몇 가지 중요한 방법론적 및 실용적 세부 사항은 여전히 충분히 탐구되지 않았습니다. 본 논문은 CUPED 적용과 관련하여 자주 접하지만 간과되어 온 다섯 가지 질문을 체계적으로 다룹니다. 첫째, 최적의 조정 명세를 식별하기 위해 다양한 CUPED 후(post-CUPED) 추정량에 대한 비교 분석을 제공합니다. 둘째, 회귀 기반 조정의 타당성을 평가하고 해당 프레임워크에 맞춤화된 강건한 분산 추정 방법을 제시합니다. 마지막으로, 다중 처리군(multi-arm) 실험 및 2단계 표본 설계를 포함하여 복잡하지만 흔한 시나리오까지 조사를 확장합니다. 연구 결과에 따르면 이러한 설정에서 표준 분산 추정량에 단순 의존할 경우 심각하게 오도된 추론으로 이어질 수 있습니다. 엄격한 이론적 통찰과 광범위한 실험적 검증을 제공함으로써, 본 연구는 CUPED에 대한 개념적 이해를 심화시킵니다. 특히, 권장되는 방법론들은 바이트댄스(ByteDance)의 실험 플랫폼에 성공적으로 배포 및 통합되었습니다.
LLM 기반 에이전트가 OPE 구현 코드를 자율적으로 수정·실행하며 반복 최적화하는 벤치마크 GrowthHacker를 제안하고, Open Bandit Pipeline과 Scope-RL 평가에서 two_agent는 98.1~100% 성공률과 78% 긍정적 결과율로 가장 높은 신뢰성을, CrewAI는 평균 37.9% 개선으로 최고 성능을 보였다.
조직과 연구자들은 더 빠르고 낮은 비용으로 실험을 수행하기 위해 A/B 테스트에서 인간 참여자 대신 대규모 언어 모델(LLM)을 사용하는 데 점점 더 많은 관심을 보이고 있습니다. 우리는 LLM 결과를 통해 추정된 처리 효과가 관심 대상 인간 모집단에서 측정했을 효과를 언제 복원하는지 연구합니다. LLM과 인간 결과 간의 분포 동등성은 모든 표준 추정량을 유효하게 만들겠지만 비현실적입니다. 따라서 우리는 대리 종료점(surrogate endpoint) 이론을 LLM에 적용한 통계적 프레임워크를 개발합니다. 이 프레임워크는 LLM 결과를 인간 결과로 보정(calibration)하면 분포 동등성보다 합쳐서 더 약한 대리성(surrogacy) 및 비교 가능성 조건 하에서 평균 처리 효과를 식별함을 보여줍니다. 이러한 조건이 충족되지 않을 때, 관심 효과는 부분적으로만 식별되며, 우리는 과거 실험에서 대리성을 반증할 수 있는 진단법과 제한된 중복(limited overlap)으로 인한 최악의 바이어스(bias)에 대한 상한을 제공합니다. 또한 우리는 LLM에 내재된 확률성(stochasticity)이 바이어스와 분산을 모두 도입하지만, 대리 변수로 여러 추출(draws)의 평균을 사용하면 이를 완화할 수 있음을 보여줍니다. 우리는 시뮬레이션과 Upworthy 헤드라인에 대한 A/B 테스트 적용을 통해 방법과 이론을 설명합니다. 우리 연구의 핵심 시사점은 대리 변수로서의 LLM 결과의 타당성은 과거 처리에 대해서만 반증될 수 있고 새로운 처리에 대해서는 결코 검증될 수 없다는 것이므로, 인간 실험은 새로운 개입에 대해 여전히 필수적이라는 것입니다. 우리는 설계 변수로서의 LLM 선택, 프롬프팅(prompting), 온도(temperature)의 역할과 검증을 위한 인간 실험의 규모를 결정하는 방법에 대해 논의합니다.