Sophisticated Inference
원문 초록
Active inference offers a first principle account of sentient behaviour, from which special and important cases can be derived, e.g., reinforcement learning, active learning, Bayes optimal inference, Bayes optimal design, etc. Active inference resolves the exploitation-exploration dilemma in relation to prior preferences, by placing information gain on the same footing as reward or value. In brief, active inference replaces value functions with functionals of (Bayesian) beliefs, in the form of an expected (variational) free energy. In this paper, we consider a sophisticated kind of active inference, using a recursive form of expected free energy. Sophistication describes the degree to which an agent has beliefs about beliefs. We consider agents with beliefs about the counterfactual consequences of action for states of affairs and beliefs about those latent states. In other words, we move from simply considering beliefs about 'what would happen if I did that' to 'what would I believe about what would happen if I did that'. The recursive form of the free energy functional effectively implements a deep tree search over actions and outcomes in the future. Crucially, this search is over sequences of belief states, as opposed to states per se. We illustrate the competence of this scheme, using numerical simulations of deep decision problems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
OnlineWM: 효과적인 월드 모델링을 위한 인과관계 인지 능동 온라인 학습
OnlineWM: Causality-Aware Active Online Learning for Effective World Modeling
생성형 월드 모델(Generative world models)은 행동을 조건으로 하여 미래 상태를 예측하는 것을 목표로 하며, 여기서 행동 제어 가능성(action controllability)은 신뢰할 수 있는 역학 모델링을 위한 기본 요소입니다. 최근 시뮬레이터가 생성한 데이터를 활용하여 이러한 역량을 향상하려는 시도들이 이루어지고 있으나, 기존 학습(training) 파이프라인은 두 가지 근본적인 한계에 직면해 있습니다. 첫째, 정적인 오프라인 데이터 수집은 학습 세트와 모델(model)의 진화하는 오류 패턴 간의 분포 불일치를 유발하여 역학 예측이 여전히 신뢰할 수 없는 중요한 롱테일(long-tail) 시나리오를 해결하지 못합니다. 둘째, 관측 불일치를 최소화하는 표준 목적 함수는 종종 모델이 기저의 행동-효과 인과관계를 포착하는 대신 허위 상관관계(spurious correlations)를 악용하도록 유도합니다. 이러한 한계를 해결하기 위해, 능동적인 시뮬레이터 상호작용과 인과관계 인지 최적화를 통해 월드 모델링을 지속적으로 개선하는 온라인 학습 프레임워크인 OnlineWM을 제안합니다. OnlineWM은 두 가지 핵심 혁신을 도입합니다: (1) 능동 온라인 학습(Active Online Learning): 고정된 데이터셋을 사용하는 대신, OnlineWM은 모델의 현재 예측 취약점을 목표로 하는 새로운 상호작용 시퀀스를 시뮬레이터에 적응적으로 질의하여 효용성이 높은 데이터 수집을 보장합니다. (2) 인과관계 인지 미세조정(Causality-Aware Fine-Tuning): 동일한 상태에서 서로 다른 행동의 결과를 대조하는 반사실적 학습(counterfactual learning) 전략을 제안하여, 모델이 상태 전이를 주변 환경 변화가 아닌 특정 행동의 결과로 귀인하도록 강제함으로써 예측을 신뢰할 수 있는 인과 메커니즘에 그라운딩(grounding)합니다. 능동적 데이터 수집과 인과적 최적화를 통합함으로써, OnlineWM은 모델이 다양한 시나리오에 대해 강건하고 인과적 귀인에서 정밀함을 모두 보장하는 폐루프 개선 프로세스를 확립합니다. 광범위한 실험을 통해 OnlineWM이 행동 제어 가능성을 크게 향상시키고 보지 못한 도메인으로도 효과적으로 일반화됨을 입증합니다.
개인화된 인과적 교정: 인간 참여형 접근법
Personalized Causal Recourse: A Human-In-The-Loop Approach
알고리즘 교정(algorithmic recourse)은 잠재적으로 고위험 상황에서 불리한 머신러닝 의사결정에 영향을 받은 사용자에게 맞춤형 권고를 제공하는 과제를 다룬다. 교정에 대한 기존 접근법은 흔히 최근접 반사실적(counterfactual) 설명에 의존하거나 사용자의 인과 구조에 대한 사전 지식을 가정함으로써, 개별 맥락과 특징(feature) 간 상호작용을 간과하는 개입을 야기한다. 이러한 한계를 극복하기 위해, 우리는 교정 권고를 생성하기 전에 베이지안 추론(Bayesian inference)을 통한 대화형 쿼리로 사용자의 구조적 인과 모델(structural causal model)을 반복적으로 근사하는 인간 참여형(human-in-the-loop) 프레임워크를 연구한다. 이 프레임워크는 인간의 피드백을 활용하여 인과 효과의 식별을 개선함으로써, 각 사용자의 실제 인과 의존성에 부합하는 타당하고 비용 효율적인 개인화된 교정을 가능하게 한다. 개념 증명으로서, 우리는 시뮬레이션된 인간 응답을 통해 이 프레임워크를 평가한다. 선형 및 비선형 인과 모델에 걸친 시뮬레이션은 유망한 결과를 보여주지만, 복잡한 비선형 구조를 포착하는 데 어려움이 남아 있어 정확한 근사와 강건한 노이즈 분포 모델링의 중요성을 강조한다.
고차원 물리 시스템에서의 자율적 과학 발견을 위한 소크라테스식 에이전트
Socratic agents for autonomous scientific discovery in high-dimensional physical systems
과학 발견의 자동화는 변곡점에 도달했다. AI 시스템이 이제 장비를 조작하고, 매개변수를 최적화하며, 가설을 생성하지만, 대부분은 절차적이다: 인간 설계자가 고정한 워크플로를 실행할 뿐이다. 진정한 자율 과학은 인식론적 자율성(epistemic autonomy)을 요구한다—증거에 반응하여 물리적 설명을 구성하고, 도전하며, 수정할 수 있는 능력을 말한다. 여기서 우리는 폐루프 실험에 소크라테스식 산파술(Socratic midwifery)을 내재화한 다중 에이전트 AI 과학자 AHOIS를 소개한다. 물리-비평 에이전트는 인과적 질문, 제약 검사, 반례 생성, 반증 기준 수립을 통해 가설을 심문한다. 우리는 복잡한 파동 변환, 간접 검출, 환경 드리프트, 다중 모드 획득을 갖춘 고차원 시스템인 실제 다중 모드 광섬유(multimode-fibre) 광학 플랫폼에서 AHOIS를 평가한다. 사전 인코딩 방식, 분류기, speckle 모델 없이, 이 시스템은 무작위 간섭 인코딩 가설을 자율적으로 제안하고 검증했으며, 작업 적응형 희소 측정 전략을 발견하고, 서로 다른 실패 모드(인코딩 불안정성, 형광 오염, 검출기 노이즈)를 진단했으며, 발표된 이미징 프로토콜을 비원본 구성에서 실행 가능한 워크플로로 변환했다. 발견된 인코딩은 16×16 측정에서 유효 순위(effective rank) 56.9를, MNIST에서 76.97%, Fashion-MNIST에서 83.17%의 분류 정확도를 달성했다. ablation 결과, 소크라테스식 심문이 물리적 일관성, 가설 완전성, 불확실성 보정, 실험 계획의 타당성을 향상시킴을 보여준다. 이러한 결과는 워크플로 자동화에서 복잡한 물리 환경에서 증거에 기반한 자기 수정형 자율 발견으로 나아가는 경로를 제시한다.
Building a Scalable and Interpretable Bayesian Deep Learning Framework for Quality Control of Free Form Surfaces
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.