arXiv:1003.3967

Adaptive Submodularity: Theory and Applications in Active Learning and Stochastic Optimization

Daniel Golovin, Andreas Krause

제출 2010-03-21

원문 초록

Solving stochastic optimization problems under partial observability, where one needs to adaptively make decisions with uncertain outcomes, is a fundamental but notoriously difficult challenge. In this paper, we introduce the concept of adaptive submodularity, generalizing submodular set functions to adaptive policies. We prove that if a problem satisfies this property, a simple adaptive greedy algorithm is guaranteed to be competitive with the optimal policy. In addition to providing performance guarantees for both stochastic maximization and coverage, adaptive submodularity can be exploited to drastically speed up the greedy algorithm by using lazy evaluations. We illustrate the usefulness of the concept by giving several examples of adaptive submodular objectives arising in diverse applications including sensor placement, viral marketing and active learning. Proving adaptive submodularity for these problems allows us to recover existing results in these applications as special cases, improve approximation guarantees and handle natural generalizations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03761v1cs.LG공통 태그 Stochastic Optimization, Active Learning

SAVER: 저선량 컴퓨터 단층촬영을 위한 확률적 적응형 분산 기반 탐험 및 재구성

SAVER: Stochastic Adaptive Variance-Driven Exploration and Reconstruction for Low-Dose Computed Tomography

컴퓨터 단층촬영(CT)은 임상 진단에 필수적이지만, 이미지 품질을 저하시키지 않으면서 방사선량을 최소화하는 것은 여전히 중요한 과제이다. 기존의 저선량 프로토콜은 개별 환자 장기의 내재적 구조적 복잡성과 무관하게, 고정된 균일 각도 샘플링에 의존하는 경우가 많다. 본 논문은 획득된 데이터의 통계적 분산에 기반하여 투영 각도를 실시간으로 선택하는 적응형 데이터 획득 프레임워크인 「확률적 적응형 분산 기반 탐험 및 재구성」(SAVER)을 제안한다. 모의 담금질(simulated annealing)을 적용한 소프트맥스 기반 확률적 스케줄링 방식을 활용하여, SAVER는 필요한 탐험을 유지하면서 높은 구조적 정보를 가진 방향을 우선시한다. 8가지 다양한 팬텀을 대상으로 한 수치 실험에서 SAVER는 특히 구조적 이방성이 높은 객체에 대해 기존의 무작위 샘플링보다 일관되게 높은 재구성 충실도를 달성함을 보였다. 또한 제안된 방법은 상당한 측정 노이즈 하에서도 강건한 성능을 나타낸다. 방사선량을 가장 정보량이 높은 투영에 동적으로 재할당함으로써, SAVER는 단위 방사선량당 진단 품질을 극대화하기 위한 수학적으로 근거 있는 접근 방식을 제공하며, 샘플 의존적이고 데이터 기반의 CT 획득으로의 전환을 이끈다.

arXiv:2608.23986v4math.OC공통 태그 Stochastic Optimization

지능의 그림자 가격: LLM 추론에서의 품질 저하와 재시도 피드백

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

대규모 언어 모델 제공자는 연산 자원이 제약되어 있으며, 혼잡에 대한 일반적인 대응은 서비스를 저하시키는 것이다. 즉, 질의를 더 작은 모델로 라우팅하거나, 추론 예산을 줄이거나, 컨텍스트 윈도를 단축한다. 만족스럽지 못한 답을 받은 사용자는 재시도하여 시스템이 바쁜 동안 부하를 늘리거나, 이탈하여 잠재적으로 고객 이탈로 이어진다. 우리는 추론 서비스를 서비스 품질이 제공자의 의사결정인 제어 문제로 모델링한다. 재시도를 서비스율에 포함한 2국면 유체 근사는 닫힌 형태의 궤적과 교차 시간을 제공하므로, 품질 등급에 대한 동적 계획법에 시뮬레이션이 필요하지 않다. 우리는 더 약한 등급이 작업당 에너지는 덜 쓰지만 작업당 용량은 더 쓰는 영역을 규명하고, 유체 모델에서 그러한 등급으로의 반응적 스로틀링이 큐가 해소되지 못하게 할 수 있음을 보인다. 이질적인 고객이 있는 경우 이 문제는 재시도로 부풀려진 용량 계수를 갖는 수송 문제가 되며, 최적 라우팅은 $c\mu$ 유형의 지수를 따르고, 용량 제약의 쌍대는 클래스와 시간별로 질의 하나를 더 처리하는 한계 비용을 제공한다. 우리는 공개 벤치마크 데이터로 보정한 다섯 가지 사례에서 이 방법을 예시한다.

arXiv:2610.13590v2math.OC공통 태그 Stochastic Optimization

강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한

Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets

최근 결과들[arXiv:2602.04378, arXiv:2602.22608]은 강볼록 집합 위의 최적화에 대한 하한을 각각 특정 Frank-Wolfe 갱신과 제한 없는 결정론적 1차 선형 최소화 오라클(LMO) 방법에 대해 확립하였다. 어느 쪽도 제한 없는 무작위화 방법에 대한 하한은 확립하지 못한다. 우리는 최종 출력이 모든 인스턴스와 시드에서 실현 가능해야 한다는 조건 하에, 강볼록 집합 위의 무작위화 1차 LMO 방법에 대해 오라클 호출 $T$회 후 $\Omega(L\operatorname{diam}(S)^2/T^2)$ 분포적 하한을 증명함으로써 이 간극을 메운다. 우리의 구성은 [arXiv:2602.22608]의 족을 재사용하지만, 증명은 적응적 질의 이후 숨겨진 순열의 조건부 분포를 규명하고 최적화기 분산을 제어하는 조합적 통계량의 기대 감소량에 대한 상계를 제시한다. 또한 동일한 오차 임계값이 적어도 $3/4$의 확률로 성립하며 정지 시간 꼬리 한계를 도출함을 보인다. 우리의 구성은 [arXiv:2602.22608]과 동일한 곡률-지름 결합을 사용한다. 상계 [arXiv:1406.1305]와의 비교는 이 결합을 반드시 고려해야 한다. 별도로, 규정된 느린 정확 직선 탐색 Frank-Wolfe 궤적이 충분히 작은 초기화 오차를 국소적으로 증폭할 수 있음을 보이며, 이는 반복당 대략 1비트의 추가 초기화 정확도에 해당한다. 또한 특정한 최종 느린 포락선을 만족하는 초기화는 평면 측도가 0임을 보인다.

arXiv:2606.28109v3cs.NE공통 태그 Stochastic Optimization

MMAO: 연속 및 이산 최적화를 위한 내인성 자원 할당 기반 대사적 다중 에이전트 옵티마이저

MMAO: A Metabolic Multi-Agent Optimizer with Endogenous Resource Allocation for Continuous and Discrete Optimization

전통적인 메타휴리스틱은 흔히 고정된 개체군 크기, 수동으로 선택한 탐색 스케일, 외부에 부착된 파라미터 제어 모듈에 의존한다. 본 논문은 개별-공공 대사 자원 순환으로부터 적응이 내생적으로 도출되는 교차 도메인 최적화 프레임워크인 대사 다중 에이전트 최적화기(MMAO)를 제시한다. 각 에이전트는 내부 에너지, 연속적인 역할 상태, 이동 또는 구조 기억, 국소 탐색 이력을 지니며, 개체군은 공동 자원 풀을 공유한다. 적합도 향상은 강건한 진행 스케일과 최근 성공 통계를 통해 정규화된 대사 이득으로 변환되고, 동일한 폐루프가 감지 강도, 탐색 진폭, 역할 변동, 분기, 가지치기, 재생성, 엘리트 재투자를 조절한다. 연속 환경에서 MMAO는 에너지로 조절되는 대칭 영차 탐침과 역할 보간 이동을 사용한다. 이산 환경에서는 동일한 제어 법칙이 구조적 감지, 국소 경로 개선, 유도된 섭동, 에너지 가중 간선 재사용을 통해 구현된다. 본 논문은 구현에 충실한 정식화와 CEC2017 부분집합(10D/30D, 20개 시드) 및 5개의 TSPLIB 인스턴스(이산 실행 총 100회)에 대한 재현 가능한 실험 연구를 결합한다. 현재의 증거는 MMAO를 보편적으로 우월한 최적화기로서가 아니라, 주로 파라미터 부담이 적고 자기 보정하는 최적화 프레임워크로서 뒷받침하며, 그 주된 검증된 독창성은 이질적인 탐색 행동 전반에 걸친 대사적으로 내생적인 자원 할당에 있다.

arXiv:2606.31584v3cs.NE공통 태그 Stochastic Optimization

공정 예산 연속 및 이산 벤치마크에서 MMAO의 대규모 실증 평가

A Large-Scale Empirical Evaluation of MMAO Under Fair-Budget Continuous and Discrete Benchmarks

본 논문은 프레임워크 자체를 다시 소개하는 대신, 더 엄격한 경험적 프로토콜 하에서 대사 다중 에이전트 최적화기(MMAO)를 평가한다. 연구는 MMAO의 폐루프 자원 할당 원리가 더 광범위하고 더 표준적이며 예산이 더 명시적으로 통제된 연속 및 이산 벤치마크에서도 신뢰성을 유지하는지를 묻는다. 완료된 주요 행렬은 각각 20개 시드를 갖는 10D와 30D의 CEC2017 함수 8개와 각각 20개 시드를 갖는 TSPLIB 인스턴스 5개를 다루며, PSO-lite, ES-lite, 반복 탐욕 2-opt 경로 기준선을 포함한 더 강력한 재현 가능 기준선과 함께 평가한다. 여기에 공동 예산, 성공률, 역할 진화, 개체군 교체에 대한 궤적 수준 진단을 추가하고, 이산 증거를 경로 문제 너머로 확장하기 위해 보조적인 OR-Library 다중 배낭 문제 일부도 더한다. 이 프로토콜 하에서 MMAO는 연속 영역과 TSPLIB 영역 모두에서 외부 기준선 집합을 뚜렷하게 능가하며, 제거 변형들은 외부 기준선보다 전체 방법에 훨씬 더 가깝게 유지된다. 결과는 시험한 영역 전반에서 내생적 자원 재분배를 뒷받침하지만, 더 정밀한 메커니즘 분리와 더 폭넓은 대회 수준 비교는 열린 과제로 남는다.

arXiv:2607.00846v3cs.NE공통 태그 Stochastic Optimization

MMAO-Dyn: 동적 최적화를 위한 대사 다중 에이전트 최적화기

MMAO-Dyn: A Metabolic Multi-Agent Optimizer for Dynamic Optimization

본 논문은 대사 다중 에이전트 최적화기(MMAO)를 핵심 대사 제어 루프를 외부 적응 모듈로 대체하지 않고도 동적 최적화 기법으로 신뢰성 있게 유도할 수 있는지를 연구한다. 제안하는 MMAO-Dyn은 개별 에너지, 공동 예산, 역할 변동, 성공 피드백, 생애주기 교체를, 환경 변화가 이전에 유용했던 국소 구조를 반복적으로 무효화하는 비정상 환경에 대응시킨다. 이동된 sphere, 이동된 Ackley, 이동된 Rastrigin 지형을 $10D$, $20D$, $30D$에서 다루고, 두 가지 변화 강도와 시나리오당 12개의 시드를 갖는 18개 시나리오의 합성 동적 연속 벤치마크 행렬에서 MMAO-Dyn을 평가한다. 비교 계층에는 동적 유도를 적용하지 않은 일반 MMAO 변형, 동적 랜덤 탐색, 동적 PSO-lite, 동적 DE-lite, 그리고 세 가지 내생적 제거 변형이 포함된다. 전체 216회 실행 행렬에서 MMAO-Dyn은 평균 오프라인 오차 $28.07$을 달성하여 Generic-MMAO($29.36$), Dynamic-PSO-lite($34.65$), Dynamic-DE-lite($67.09$), Dynamic-RandomSearch($111.37$)를 앞선다. 이득은 sphere와 Rastrigin 계열의 종합 강건성과 일반 백본 대비 변화 후 10단계 회복에서 가장 뚜렷한 반면, Dynamic-PSO-lite와의 시드 정렬 비교는 승패 횟수에서 여전히 불리하며 NoMemoryRefresh 제거 변형은 전체 방법과 매우 가깝게 유지된다. 결과는 대사 순환을 동적 최적화로 확장하는 것을, 특히 회복 지향적 자원 재분배를 통해 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.