arXiv:2606.22813v1 cs.AI

물리 AI 에이전트의 테스트 타임 스케일링 법칙으로서의 능동 추론

Active Inference as the Test-Time Scaling Law for Physical AI Agents

Omar Hashash, Christo Kurisummoottil Thomas, Walid Saad, Merouane Debbah, Karl Friston, Adeel Razi

제출 2026-06-22

한국어 초록

본 논문에서는 물리 인공지능(AI) 에이전트를 위한 새로운 테스트 타임 스케일링 법칙을 제안한다. 이 스케일링 법칙은 물리 AI 에이전트가 자신의 세계 모델(world model)로 추론하여 테스트 타임에 예상치 못한 시나리오에서 일반화할 수 있게 한다. 도출된 스케일링 법칙은 능동 추론(active inference)의 제1원리에 기반하며, 이는 에이전트에게 실제 세계에서 생존한다는 일반적 목표를 부여하고, 구체적인 과제 목표는 이 아래에 포괄된다. 능동 추론은 에이전트가 학습 분포 밖의 예상치 못한 상황을 마주할 때 발생하는 예측 오류를 해결하는 추론을 제공함으로써 이를 달성하며, 비정상(non-stationary) 환경에서의 일반화를 가능하게 한다. 제안된 스케일링 법칙은 테스트 타임에 이러한 추론으로 에이전트의 정책(policy)을 동적으로 갱신함으로써 이를 포착한다. 이 정책 갱신은 소프트 베이지안 추론 과정으로 모델링되며, 허용 가능한 정책 하에서 기대 예측 오류를 줄이는 추론을 가능도(likelihood)로 사용하여 정책에 대한 믿음(belief)을 갱신한다. 결과적 사후 정책은 생물학적 해석을 허용하며, 테스트 타임에 뇌의 기저핵(basal ganglia)과 전전두엽 피질(prefrontal cortex)을 동원하는 스케일링 메커니즘을 복원한다. 해석적으로 다루기 어려운 이 문제를 풀기 위해, 자유 에너지(free energy) 상계를 최소화하는 변분 추론(variational inference) 해법을 개발한다. 이 해법은 테스트 타임에 해결된 새로운 사례를 정책과 세계 모델 모두에서 강화함으로써 학습을 넘어선 학습을 가능하게 하도록 확장된다. 모델 크기와 학습 데이터에 의해 제한되는 기존 스케일링 법칙과 달리, 도출된 해법은 물리 AI 에이전트의 연속적인 실세계 경험에 따라 스케일링된다. 자율 주행 과제에 대한 시뮬레이션 결과는 제안된 해법이 모델-프리 Q-학습 및 모델-기반 베이지안 강화학습을 능가하며, 예상치 못한 시나리오에 대한 강건한 일반화를 달성하면서 추론 효율을 36% 이상 개선함을 보여준다.

원문 초록

In this paper, a novel test-time scaling law for physical artificial intelligence (AI) agents is introduced. This scaling law enables physical AI agents to reason with their world models to generalize in unforeseen scenarios at test time. The derived scaling law is grounded in the first principle of active inference, which equips agents with the general objective to survive in the real world, under which their specific task objectives are subsumed. Active inference achieves this by providing the reasoning to resolve prediction errors that arise when the agent encounters unforeseen situations outside its training distribution, enabling generalization in non-stationary environments. The proposed scaling law captures this by dynamically updating the agent's policy with this reasoning at test time. This policy update is modeled as a soft Bayesian inference process in which beliefs about the policy are updated using the reasoning that reduces expected prediction errors under allowable policies as a likelihood. The resulting posterior policy admits a biological interpretation, recovering the scaling mechanism that engages the brain's basal ganglia and prefrontal cortex at test time. To solve this analytically intractable problem, a variational inference solution minimizing free energy bounds is developed. This solution extends to enable learning beyond training by reinforcing new instances, resolved at test time, in both the policy and world model. Unlike existing scaling laws constrained by model size and training data, the derived solution scales with the continuous real-world experience of a physical AI agent. Simulation results on an autonomous driving task demonstrate that the proposed solution outperforms model-free Q-learning and model-based Bayesian reinforcement learning, achieving robust generalization to unforeseen scenarios while improving inference efficiency by over 36%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.22813v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02330v1cs.AI공통 태그 Decision Making, Bayesian Inference, Reinforcement Learning

행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정

Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.

arXiv:2610.15948v1cs.AI공통 태그 Decision Making, Bayesian Inference

비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법

Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment

능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.

arXiv:2610.13603v1cs.LG공통 태그 Decision Making, Bayesian Inference

소규모 인지 코어로 대규모 인간 행동을 설명하다

A small cognitive core explains human behavior at scale

심리학은 인지에 관한 많은 원리를 제시해 왔습니다. 그러나 각 원리는 개별적으로 개발되어, 이들을 결합했을 때의 설명력은 알려지지 않은 채로 남아 있었습니다. 우리는 기존에 확립된 소수의 원리들을 하나의 모델로 통합했으며, 이를 COntextual Retrieval and Encoding(CORE)이라고 명명했습니다. CORE는 예측 오차가 기록되는 일화 기억(episodic memory)의 계층 구조로 구성되며, 이 기억의 인코딩(encoding), 검색(retrieval), 망각은 맥락(context)에 의존합니다. 137개 실험에서 수집된 7,036,442개의 선택 데이터에 공동으로 적합(fit)된 이 모델은 블랙박스 모델보다 인간의 선택을 더 잘 예측하며, 시뮬레이션 시 보고된 행동 효과의 75%를 재현합니다. 또한, 모델의 잠재 변수들은 베이즈 학습(Bayesian learning)과 사건 분할(event segmentation)의 전형적인 특징을 보여줍니다. 종합하면, 이러한 발견은 소규모의 인지 코어가 인간 행동의 상당 부분을 설명한다는 점을 시사합니다. 나아가 전체 실험 기록을 기반으로 계산 모델(computational model)을 구축함으로써, 심리학을 개별 부분의 합 이상으로 발전시킬 수 있는 길을 열어줍니다.

arXiv:2610.11038v1math.ST공통 태그 Decision Making, Bayesian Inference

의사결정 충분 사후 분포 근사

Decision-Sufficient Posterior Approximation

우리는 사후 분포 근사가 특정한 하위(downstream) 의사결정 문제를 보존하도록 요구할 때 발생하는 결과를 조사한다. 목표 사후 분포 $P$와 손실은 행동(action)에 대한 리그렛(regret) 기하 구조를 결정하고, 기준선 근사 $Q_0$는 행동 변화를 유도하는 데 필요한 전방(forward) Kullback-Leibler 정보량을 결정하며, 제한된 근사 가족 $\mathcal{Q}$는 그러한 변화 중 어떤 것이 가능한지를 결정한다. 베이즈 행동(Bayes-action) 섬유(fiber)에 대해 KL 발산을 수축시키면, 의사결정 적절성(decision adequacy)과 의사결정 실패(decision failure)까지의 정확한 거리를, 결정 경계의 양쪽에 도달하는 최소 정보량의 사후 분포 변형(deformation)과 함께 얻을 수 있다. 정규(regular) 유한 차원 문제에서 목표 및 기준선 구성은 2차(quadratic) 국소 극한을 가지며, 이는 목표 리그렛 헤시안 $G$와 기준선 정보 메트릭 $J_I$이다. 이들의 일반화 고유값 문제(generalized eigenproblem) $Gv = γJ_Iv$는 단위 정보 비용당 리그렛 결과에 따라 국소 의사결정 방향들을 정렬하며, 허용 오차(tolerance)에 의존하는 유효 차원(effective dimension)을 유도한다. 제한된 근사 가족의 경우, 탄젠트 이미지(tangent image)는 의사결정 범위(decision coverage)와 정보 효율성(information efficiency)을 구분한다: 어떤 가족은 중요한 의사결정 방향을 놓칠 수 있고, 또는 도달 가능한 방향을 과도한 피셔(Fisher) 비용으로만 실현할 수도 있다. 이 프레임워크는 사후 분포 근사 가족을 비교하고 설계하기 위한 의사결정 상대적(decision-relative) 기준을 제공한다.

arXiv:2609.38005v2cs.AI공통 태그 Decision Making, Bayesian Inference

대규모 언어 모델의 확률적 추론 진단 및 개선

Diagnosing and Improving Probabilistic Reasoning in Large Language Models

대규모 언어 모델(LLM)은 명시적인 의사결정 비용이 수반되는 상황에서 가용한 증거로부터 확률적으로 추론해야 하는 의사결정 보조 도구로 점차 제안되고 있습니다. 본 연구에서는 LLM의 의사결정 손실(decision loss)을 두 가지 요소, 즉 제공된 증거로부터 정확한 신념(belief)을 형성하는 것과 해당 신념을 제공된 효용 함수를 최적화하는 행동으로 변환하는 것으로 분해하는 의사결정론적 프레임워크를 제안합니다. 정답(ground truth)이 알려진 합성 벤치마크를 활용하여, 이러한 분해 기법을 적용해 프론티어 모델 및 오픈소스 모델의 확률적 추론을 분석합니다. 나아가 신념, 의사결정 또는 둘 모두를 목표로 하는 강화학습(RL) 개입이 세 가지 도메인에 걸쳐 이러한 구성 요소들을 개선하는지, 개선 사항이 구성 요소 및 유도 형식(elicitation format) 간에 전이되는지, 그리고 신념 형성의 개선 없이도 의사결정 성능이 향상될 수 있는지를 평가합니다. 그 결과, 확률적 추론의 한 가지 요소를 목표로 할 경우 의사결정 손실이 재분배되어 목표 대상은 개선되지만 다른 요소로 반드시 전이되지는 않는다는 점을 발견했습니다. 또한 신념 형성과 의사결정을 공동으로 목표로 삼으면 두 요소 모두 개선되지만, 이는 학습(training)과 평가 간의 형식이 일치하는지에 달려 있음을 확인했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.