Bandits for Learning to Explain from Explanations
원문 초록
We introduce Explearn, an online algorithm that learns to jointly output predictions and explanations for those predictions. Explearn leverages Gaussian Processes (GP)-based contextual bandits. This brings two key benefits. First, GPs naturally capture different kinds of explanations and enable the system designer to control how explanations generalize across the space by virtue of choosing a suitable kernel. Second, Explearn builds on recent results in contextual bandits which guarantee convergence with high probability. Our initial experiments hint at the promise of the approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
커널 밴딧(Kernel Bandits)에 대한 일반적인 $\widetildeΩ(\sqrt{Tγ_T})$ 하한
A General $\widetildeΩ(\sqrt{T γ_T})$ Lower Bound for Kernel Bandits
커널 밴딧(kernel bandit) 문제는 주어진 재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS)에서 유계 노름(bounded norm)을 갖는 미지의 함수를 잡음이 있는 피드백(noisy feedback)을 통해 순차적으로 최적화하는 문제이다. 커널 밴딧의 후회(regret) 분석에서 중심이 되는 양은 최대 정보 획득량(maximum information gain) $γ_T$이다. 특히, 기존에 알려진 가장 좋은 상한(upper bound)은 로그 항(log factor)을 제외하면 $\sqrt{Tγ_T}$로 스케일링되며, 제곱 지수(squared exponential) 커널과 마테른(Matérn) 커널과 같은 특정 커널에 대해서는 이와 거의 일치하는 하한(lower bound)이 도출되어 왔다. 그러나 일반적인 커널에 대한 하한은 부족하여, 어느 정도의 일반성에서 상한이 근사 최적(near-optimal)인지가 불분명하다. 본 논문에서는 콤팩트 정의역(compact domain) 상의 비상수 연속 커널(non-constant continuous kernel)에 대해 일반적인 $Ω(\sqrt{Tγ_T/\log T})$ 미니맥스 후회 하한을 수립하여, 매우 일반적인 의미에서 (로그 항 범위 내에서의) 근사 최적성을 입증한다. 우리는 이 하한에 나타나는 로그 항이 일반적으로는 피할 수 없음을 보이지만, 특정 조건 하에서는 이를 제거할 수 있음을 보인다. 특히 우리의 결과는 $ν\in (0,2)$인 마테른-$ν$(Matérn-$ν$) 커널, $γ\in (0,2)$인 $γ$-지수(γ-exponential) 커널, 그리고 특정 조각별 다항식(piecewise-polynomial) 커널에 대해 미니맥스 최적 스케일링이 (상수 인자 범위 내에서) 정확히 $Θ(\sqrt{Tγ_T})$임을 함의한다.
시변 함수의 무후회 가우시안 프로세스 최적화
No-Regret Gaussian Process Optimization of Time-Varying Functions
노이즈가 있는 평가로부터 블랙박스 함수를 순차적으로 최적화하는 문제는 널리 연구되어 왔으며, GP-UCB와 같은 가우시안 프로세스 밴딧 알고리즘은 정상(stationary) 환경에서 무후회(no-regret)를 보장한다. 그러나 시변 목적 함수의 경우, 강하고 종종 비현실적인 가정이 부과되지 않는 한 순수 밴딧 피드백 하에서 무후회는 달성 불가능하다. 우리는 목적 함수가 거의 확실하게 유계된 RKHS 노름을 가지는 빈도주의(frequentist) 환경에서 시변 보상을 최적화하는 새로운 방법을 제안한다. 시간적 변화는 불확실성 주입(uncertainty injection)을 통해 포착되며, 이를 통해 과거 관측값을 현재 시간 단계에 적응시키는 이분산(heteroscedastic) 가우시안 프로세스 회귀가 가능해진다. 엄격한 밴딧 환경에서 일반적으로 무후회를 달성할 수 없으므로, 우리는 이전에 관측된 점에 대한 추가 쿼리를 허용하도록 후자를 완화한다. 희소 추론(sparse inference)과 불확실성 주입이 후회에 미치는 영향을 기반으로, 우리는 반복당 소멸하는 수의 추가 쿼리로 무후회를 달성하는 온라인 알고리즘인 W-SparQ-GP-UCB를 제안한다. 이 접근법의 이론적 한계를 평가하기 위해, 우리는 무후회에 필요한 추가 쿼리 수의 하한을 확립하여 우리 방법의 효율성을 증명한다. 마지막으로, 함수의 시간적 체제(temporal regime)와 달성 가능한 후회율을 연결하는 포괄적인 분석과 함께, 각 체제에서 필요한 추가 쿼리 수의 상한 및 하한을 제시한다.
BVS: 세밀한 지각을 위한 멀티모달 대규모 언어 모델 기반 베이지안 시각 탐색
BVS: Bayesian Visual Search with Multimodal Large Language Model for Fine-grained Perception
멀티모달 대규모 언어 모델(MLLM)은 인상적인 범용 능력을 보여주지만, 초고해상도(UHR) 이미지에서의 세밀한 지각, 특히 복잡한 장면 속 작은 객체 인식에는 어려움을 겪는다. 기존 방법들은 딜레마에 직면해 있다: 비효율적인 사전 정보 없는 스캐닝에 의존하거나, 초기 모델 편향을 수정하는 사후 보정이 부재한 정적 사전 정보 기반 휴리스틱에 의존한다. 이를 해결하기 위해, 우리는 지각을 연속적인 공간-스케일 다양체(manifold)에 대한 전역 최적화 문제로 정식화하는 프레임워크인 BVS(Bayesian Visual Search)를 제안한다. 구체적으로, BVS는 사전 안내와 사후 보정을 연결한다: MLLM의 조기 중단 어텐션 롤아웃을 활용하여 추론 인식 사전 정보를 구성하는 한편, 스케일 인식 비정상 커널과 GP-UCB를 적용하여 반복적인 지역 관찰을 통해 사전 정보의 노이즈를 동적으로 수정하고 누락된 정보를 복원한다. 우리는 준선형 후회 한계(sub-linear regret bounds)를 통해 이론적 보장을 제공하며, 광범위한 실험을 통해 BVS가 정확도와 효율성 간의 우수한 균형으로 최신 기준선을 크게 능가함을 입증한다.
Balancing Expressivity and Learnability in Quantum Kernel Bandit Optimization
농업에서의 비선형 모델 기반 순차 의사결정
Non-Linear Model-Based Sequential Decision-Making in Agriculture
농업 의사결정은 이중의 과제에 직면해 있다. 글로벌 식량 안보를 충족하기 위해 높은 수확량을 유지하면서, 비료 손실과 제초제, 살충제, 살균제 등 기타 농화학제 사용을 포함한 투입물 사용의 환경적 영향을 줄여야 한다. 질소 투입은 이 긴장의 핵심이다. 작물 성장에 필수적이지만 온실가스 배출, 영양분 유출, 그리고 증가하는 생산 비용의 주요 원인이기도 하다. 이러한 상호 연계된 압력을 해결하려면 통계적으로 엄밀하고, 경제적으로 지속 가능하며, 실무자에게 해석 가능한 적응형 의사결정 지원 도구가 필요하다. 우리는 불확실성 하에서의 적응형 비료 관리를 위한 프레임워크로 비선형 모델 기반 밴딧 알고리즘을 개발한다. 고전적인 기계론적 수확-반응 모델에 기반하여, 우리 접근법은 알고리즘의 탐험-활용 전략을 최대 수확량과 영양 효율과 같은 해석 가능한 생물학적 과정에 직접 연결한다. 이러한 그라운딩(grounding)은 실무자에게 권장 사항을 투명하게 하면서 비용 효과적이고 지속 가능한 투입물 사용을 지원한다. 방법론적으로, 우리는 올바르게 명시된(well-specified) 비선형 경우에 대한 regret과 표본 복잡도(sample complexity) 결과를 확립하고, 명시 오류(misspecification) 하에서의 견고성을 검토하며, 이익 지향 시뮬레이션과 미국 중서부의 공개 다지점 옥수수 질소 실험을 대상으로 한 오프라인 리플레이 사례 연구를 통해 제안 방법을 평가한다. 결과는 생물학적으로 의미 있는 기계론적 구조를 통합하면 증거가 축적될수록 더 빠른 학습과 더 높은 이익을 가능하게 하며, 유연한 비모수 기준선이 통합(pooled) 및 이질적(heterogeneous) 설정에서 경쟁력 있는 대안을 제공함을 보여준다. 우리의 발견은 해석 가능하고 불확실성을 인식하는 순차 의사결정 규칙이 경제적으로 지속 가능한 비료 권장을 지원하고 보다 효율적인 농업 투입물 사용에 기여할 수 있는 방식을 보여준다.
잠재적 연료 반응성 추정을 통한 다중 연료 압축 착화(CI) 엔진의 연소 위상 제어를 위한 학습 기반 의사결정
Learning-Based Decision Making for Combustion Phasing Control in Multi-Fuel CI Engines with Latent Fuel Reactivity Estimation
다중 연료 압축 착화 엔진은 연료 유연성을 제공하지만, 세탄가(CN)로 표현되는 불확실하고 시변하는 연료 반응성을 도입하여 사이클 간 연소 위상 제어를 복잡하게 만듭니다. 본 연구는 잠재적 CN 변동 하에서 CA50 제어를 부분적으로 관측 가능한 순차적 의사결정 문제로 공식화하고, LinUCB, 히스토리 증강 컨텍스트 밴딧, 관측값 전용 DDPG, 순환 DDPG, 제안된 GRU 기반 강화학습(RL) 프레임워크를 포함하여 시간적 및 표현적 용량이 증가하는 컨트롤러를 체계적으로 평가합니다. 실험적 다중 연료 엔진 데이터로 학습된 가우시안 프로세스 대리 모델은 제어 가능하고 재현 가능한 평가 환경을 제공합니다. 결과에 따르면 근시적이고 고정 히스토리를 가진 밴딧 방법은 CN 변동 하에서 성능이 저하되고, 관측값 전용 RL은 잠재 상태 에일리어싱(aliasing)으로 인해 문제가 발생하며, CN이 빠르게 변할 때 일반적인 순환 구조만으로는 충분하지 않습니다. 제안된 프레임워크는 연소 이력에서 연료 반응성의 압축된 GRU 기반 표현을 학습하고, 오라클 CN 대신 이 추정된 신호를 기반으로 액터와 크리틱을 조건화합니다. 배포 시 사용 가능한 동일한 불완전한 연료 반응성 정보로 정책을 학습함으로써, 컨트롤러는 기존 온라인 추정 후 제어 파이프라인의 학습-배포 불일치를 방지합니다. 미지의 CN 궤적에 걸쳐, 정책은 학습 설정점에서 평균 절대 추적 오차 0.25° CA 미만으로 안정적인 CA50 제어를 달성하면서, 부드럽고 물리적으로 일관된 SOI 및 글로우 플러그 전력 구동을 생성합니다. 이러한 결과는 잠재적이고 지속적으로 변화하는 연료 동역학 하에서의 연소 제어는 독립적인 추정이나 일반적인 순환 구조 그 이상이 필요함을 보여줍니다. 연료 반응성 추론을 제어 정책 학습과 정렬함으로써, 제안된 프레임워크는 배포 중 사용 가능한 동일한 추정 상태를 사용하여 반응성 인지 의사결정을 가능하게 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.