arXiv:2205.13832

Counterfactual Analysis in Dynamic Latent State Models

Martin Haugh, Raghav Singal

제출 2022-05-27

원문 초록

We provide an optimization-based framework to perform counterfactual analysis in a dynamic model with hidden states. Our framework is grounded in the ``abduction, action, and prediction'' approach to answer counterfactual queries and handles two key challenges where (1) the states are hidden and (2) the model is dynamic. Recognizing the lack of knowledge on the underlying causal mechanism and the possibility of infinitely many such mechanisms, we optimize over this space and compute upper and lower bounds on the counterfactual quantity of interest. Our work brings together ideas from causality, state-space models, simulation, and optimization, and we apply it on a breast cancer case study. To the best of our knowledge, we are the first to compute lower and upper bounds on a counterfactual query in a dynamic latent-state model.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22012v1cs.LG공통 태그 counterfactual, Off-policy evaluation

문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.

arXiv:2607.15067v1cs.LG공통 태그 counterfactual, Off-policy evaluation

문맥적 밴딧에서 오프-정책 평가를 위한 커널 가중 중요도 샘플링

Kernel weighted importance sampling for off-policy evaluation in contextual bandits

본 논문은 문맥적 밴딧에 대해 오프라인 데이터만을 사용하여 오프-정책 평가를 수행하기 위한 새로운 추정량을 제안한다. 제안된 추정량인 Kernel-WIS는 점근적으로 일치함이 보여졌으며, 특히 행동 정책 오지정(behaviour policy miss-specification)을 포함한 복잡한 조건에서 강력한 기준선(바닐라 가중 중요도 샘플링 포함)보다 실험적으로 우수한 성능을 보였다. Kernel-WIS의 이점은 바닐라 가중 중요도 샘플링의 유계성(bounded property)과 바닐라 중요도 샘플링의 선형성(linearity)을 결합하는 데서 나온다.

arXiv:2606.17515v1stat.ME공통 태그 counterfactual, Off-policy evaluation

언제든 유효한 최적 정책 식별

Anytime-valid Optimal Policy Identification

우리는 기록된 문맥형 밴딧 데이터로부터 최적 정책을 식별하기 위한 언제든 유효한 프레임워크를 개발합니다. 많은 응용 설정에서 분석가는 후보 정책 클래스 $Π$ 내에서 최적 정책을 선택하고자 하지만, 데이터는 분석가가 제어할 수 없는 외부적으로 결정된 로깅 정책에 의해 생성됩니다. 분석가는 또한 증거를 지속적으로 모니터링하고, 미리 고정된 표본 크기에 얽매이는 대신 최적 정책이 명확해지는 시점에 중단하기를 원할 수 있습니다. 본 논문은 시간에 대해 높은 확률로 균일하게 참 최적 정책 집합을 유지하는 시간 인덱스 집합 $S_t$를 구성하여 이러한 문제를 해결합니다. 결과적인 절차를 통해 분석가는 정책 가치를 모니터링하고, 명백히 비최적인 정책을 제거하며, 추론(inference)을 무효화하지 않으면서 데이터 의존적인 시점에 중단할 수 있습니다. 최적 정책이 유일한 경우, 우리는 그 식별을 위한 정지 시간을 정의하고, $Δ_{\min}$을 최상의 정책 가치와 차선의 정책 가치 사이의 격차라고 할 때 $O\!\left(\frac{\log |Π|+\log\log(1/Δ_{\min})}{Δ_{\min}^2}\right)$의 비율로 스케일링되는 표본 복잡도 상한을 도출합니다. 시뮬레이션 결과, 언제든 유효한 접근 방식이 고정-$N$ 설계에 비해 상당한 표본 절약 효과를 낼 수 있음이 입증되었습니다. 온라인상의 잘못된 정보를 줄이기 위한 대규모 적응형 실험에 대한 적용 사례는 최적 정책에 대한 증거가 축적됨에 따라 본 방법이 동적인 관점을 어떻게 제공하는지 보여줍니다.

arXiv:2606.07308v1cs.AI공통 태그 counterfactual, Off-policy evaluation

국소적 공개를 통한 전략적 에이전트의 오프-정책 평가

Off-Policy Evaluation with Strategic Agents via Local Disclosure

우리는 의사결정 대상(또는 에이전트)이 의사결정자의 정책에 대응하여 공변량(covariate)을 전략적으로 수정하는 전략적 행동 하에서 오프-정책 평가(OPE)를 연구한다. 이러한 행동은 정책 의존적 공변량 이동(covariate shift)을 유발하여, 공변량이 정책에 대해 외생적(exogenous)이라는 기존 방법들의 표준 가정을 깨뜨린다. 관련 연구는 반복적 상호작용이나 에이전트의 반응 행동에 대한 완전한 지식과 같은 강한 가정을 부과함으로써 이 과제를 다루며, 이는 OPE에 대한 적용 가능성을 실질적으로 제한한다. 대조적으로, 우리는 의사결정자가 에이전트의 반응 행동에 대해 부분적인 지식만을 갖는 일회성(one-shot) OPE 설정을 고려한다. 우리의 핵심 통찰은, 사후 설명(post-hoc explanation)을 통해 국소적 정보를 공개하면 적응(adaptation) 이전의 에이전트의 전략 전(pre-strategic) 공변량이 드러나 전략적 행동으로 인한 정보 손실을 완화할 수 있다는 것이다. 이 구조를 활용하여, 우리는 에이전트의 반응에 대한 통계 모델을 추정하고 정책 가치(policy value)에 대한 이중 강건(doubly robust) 추정량을 구성한다. 에이전트의 비용 민감도(cost sensitivity)가 조건부 로그-정규 분포(conditional log-normal distribution)를 따른다고 가정함으로써, 제안한 추정량의 일관성(consistency)을 확립하고 실증적으로 접근법을 검증한다. 더 넓게 보면, 우리의 결과는 상호작용 설계(interaction design)가 에이전트의 전략적 반응에 내재된 숨겨진 구조를 드러냄으로써 정보 비대칭(information asymmetry)을 완화할 수 있음을 보여준다.

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.