arXiv:2102.04214

Counterfactual Contextual Multi-Armed Bandit: a Real-World Application to Diagnose Apple Diseases

Gabriele Sottocornola, Fabio Stella, Markus Zanker

제출 2021-02-08

원문 초록

Post-harvest diseases of apple are one of the major issues in the economical sector of apple production, causing severe economical losses to producers. Thus, we developed DSSApple, a picture-based decision support system able to help users in the diagnosis of apple diseases. Specifically, this paper addresses the problem of sequentially optimizing for the best diagnosis, leveraging past interactions with the system and their contextual information (i.e. the evidence provided by the users). The problem of learning an online model while optimizing for its outcome is commonly addressed in the literature through a stochastic active learning paradigm - i.e. Contextual Multi-Armed Bandit (CMAB). This methodology interactively updates the decision model considering the success of each past interaction with respect to the context provided in each round. However, this information is very often partial and inadequate to handle such complex decision making problems. On the other hand, human decisions implicitly include unobserved factors (referred in the literature as unobserved confounders) that significantly contribute to the human's final decision. In this paper, we take advantage of the information embedded in the observed human decisions to marginalize confounding factors and improve the capability of the CMAB model to identify the correct diagnosis. Specifically, we propose a Counterfactual Contextual Multi-Armed Bandit, a model based on the causal concept of counterfactual. The proposed model is validated with offline experiments based on data collected through a large user study on the application. The results prove that our model is able to outperform both traditional CMAB algorithms and observed user decisions, in real-world tasks of predicting the correct apple disease.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10615v1stat.ML공통 태그 Decision Making, Active Learning

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2610.10808v1cs.LG공통 태그 Decision Making, Active Learning

3채널 점수 충돌에서의 통제된 정보 획득과 판단 보류

Controlled Acquisition and Abstention in Three-Channel Score Conflicts

오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.

arXiv:2609.27690v3cs.CL공통 태그 Decision Making, counterfactual

합성 연구 검증에서의 중대한 행동과 표상적 공정성

Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research

산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.

arXiv:2610.00282v1cs.AI공통 태그 Decision Making, Active Learning

양보할 시점 파악하기: 텍스트 기반 체화된 에이전트에서 사용자 수정에 대한 근거 기반 중재

Knowing When to Yield: Grounded Arbitration of User Corrections in Text-Based Embodied Agents

사람의 수정이 틀렸을 가능성이 있을 때 체화된 에이전트(embodied agent)는 어떻게 대응해야 하는가? 본 연구에서는 근거 기반 수정 중재(grounded correction arbitration)를 수락, 거부, 환경 조사, 그리고 화자에게 재질문하는 것 사이의 선택으로 공식화한다. GAVA는 관측 범위 제한 증거, 유효 탐침(legal probes), 1단계 기대 손실(one-step expected-loss) 규칙을 통해 이러한 인터페이스를 구현한다. 텍스트 전용 ALFWorld에서 162개 체크포인트를 통해 참과 거짓이 쌍을 이루는 972개의 개입이 생성된다. 완전한 국소 조사를 수행할 경우 GAVA와 상시 검증(always verify) 방식 모두 100%의 수정 정확도를 달성하여, 비교 우위보다는 증거 계약(evidence contract)을 확립함을 보여준다. 동일 에피소드 실행에서 GAVA는 상시 검증 방식 대비 상호작용 비용을 절감하지만, 완벽한 화자 조건에서는 비용 임계값과 대등한 수준을 보인다. 학습(training) 전용 탐색적 객체 위치 사전확률(prior)은 균등(uniform) GAVA 대비 340개의 미확인 시나리오에서 상호작용 및 선언된 결합 비용을 각각 0.490과 0.420 낮춘다. 정책, 비용, 베이스라인, 다중성 계획을 동결(freezing)한 후, 308개 시나리오를 다루는 중복되지 않는 77개의 기학습 체크포인트에서도 이득이 재현되어 각각 0.595와 0.517을 기록했으며, 두 95% 체크포인트-부트스트랩 신뢰구간 모두 0을 배제한다. 또한 결합 비용은 동일 사전확률 고정 정책 대비 향상되는 반면, 일치 보정된 무정보가치(calibrated no-VOI) 비교는 결론을 내리지 못한 채로 유지된다. 시맨틱 GAVA는 각 집단에서 4건의 사실적 오류를 범하여 98.8% 및 98.7%의 정확도에 해당하며, 모든 방법이 모든 과제를 완수한다. 결과는 선언된 비용 하에서 의미론적 사전확률을 활용한 선택적 정보 수집을 뒷받침하지만, 명확화 질의 대비 환경적 정보 가치(value of information)의 일반적인 우위를 입증하지는 않는다. 본 연구는 정규화된 주장, 완전한 기호적 관측, 통제된 화자를 사용하며, 인간 참가자, 시각적 입력, 물리적 로봇은 평가하지 않는다.

arXiv:2610.01048v1cs.AI공통 태그 Decision Making, counterfactual

복잡계 알고리즘 설계를 위한 환경으로서의 네트워크 월드 모델

Network World Models as Environments for Algorithm Design on Complex Systems

환경(environment)을 시뮬레이션하고 행동에 따라 환경이 어떻게 변화하는지 예측하는 월드 모델(world model)은 로보틱스와 같은 현실 세계 응용 분야에서 점점 더 많이 활용되고 있습니다. 복잡계 또한 행동의 효과가 즉각적으로 나타나지 않기 때문에 동일한 도구를 필요로 합니다. 캠페인을 위해 시드 노드를 설정하거나 전염병에 대비해 노드를 면역화하는 것은 그 자체만으로는 거의 변화를 일으키지 않으며, 중요한 것은 이후 단계들에 걸쳐 펼쳐지는 결과입니다. 특정 태스크에서 기대 성능을 극대화하도록 이러한 행동을 선택하는 알고리즘을 설계하는 것은 본질적으로 반복적인 과정이며, 모든 후보 알고리즘은 자신이 도출하는 결과에 따라 점수가 매겨져야 합니다. 이러한 결과를 얻는 작업은 시뮬레이션에 의존해 왔으나, 다수의 샘플링된 궤적(trajectory)에 걸쳐 후보들을 평가할 때 그 비용이 병목 현상을 유발합니다. 본 논문에서는 시간에 따른 개입 하에서 네트워크의 확산 역학을 학습하고, 각 행동을 네트워크에 적용하며, 그에 따른 결과를 예측하는 행동 조건부 네트워크 월드 모델을 제안합니다. 이 모델은 코딩 에이전트(agent)가 전체 롤아웃(rollout) 피드백, 행동 수준의 기여도(credit), 대안적 개입에 대한 반사실적 탐침(counterfactual probe)을 활용하여 실행 가능한 알고리즘을 설계하고 개선하는 알고리즘 설계 루프 내에서 고속 평가기 역할을 수행합니다. 8개의 네트워크 태스크와 5개의 확산 모델에 걸쳐, 설계된 알고리즘은 141개 설정 중 138개에서 보고된 가장 강력한 기준선(baseline)과 대등하거나 이를 능가하는 동시에 몬테카를로(Monte Carlo) 시뮬레이션 대비 최대 14.5배 빠른 롤아웃을 가능하게 합니다. 코드는 논문 채택 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.