arXiv:2610.11038v1 math.ST

의사결정 충분 사후 분포 근사

Decision-Sufficient Posterior Approximation

Sean Plummer

제출 2026-10-08

저자 비고

arXiv Comments

45 pages, 1 figure

한국어 초록

우리는 사후 분포 근사가 특정한 하위(downstream) 의사결정 문제를 보존하도록 요구할 때 발생하는 결과를 조사한다. 목표 사후 분포 $P$와 손실은 행동(action)에 대한 리그렛(regret) 기하 구조를 결정하고, 기준선 근사 $Q_0$는 행동 변화를 유도하는 데 필요한 전방(forward) Kullback-Leibler 정보량을 결정하며, 제한된 근사 가족 $\mathcal{Q}$는 그러한 변화 중 어떤 것이 가능한지를 결정한다. 베이즈 행동(Bayes-action) 섬유(fiber)에 대해 KL 발산을 수축시키면, 의사결정 적절성(decision adequacy)과 의사결정 실패(decision failure)까지의 정확한 거리를, 결정 경계의 양쪽에 도달하는 최소 정보량의 사후 분포 변형(deformation)과 함께 얻을 수 있다. 정규(regular) 유한 차원 문제에서 목표 및 기준선 구성은 2차(quadratic) 국소 극한을 가지며, 이는 목표 리그렛 헤시안 $G$와 기준선 정보 메트릭 $J_I$이다. 이들의 일반화 고유값 문제(generalized eigenproblem) $Gv = γJ_Iv$는 단위 정보 비용당 리그렛 결과에 따라 국소 의사결정 방향들을 정렬하며, 허용 오차(tolerance)에 의존하는 유효 차원(effective dimension)을 유도한다. 제한된 근사 가족의 경우, 탄젠트 이미지(tangent image)는 의사결정 범위(decision coverage)와 정보 효율성(information efficiency)을 구분한다: 어떤 가족은 중요한 의사결정 방향을 놓칠 수 있고, 또는 도달 가능한 방향을 과도한 피셔(Fisher) 비용으로만 실현할 수도 있다. 이 프레임워크는 사후 분포 근사 가족을 비교하고 설계하기 위한 의사결정 상대적(decision-relative) 기준을 제공한다.

원문 초록

We investigate the consequences of requiring a posterior approximation to preserve a specified downstream decision problem. A target posterior $P$ and loss determine a regret geometry on actions, a baseline approximation $Q_0$ determines the forward-Kullback-Leibler information required to induce action changes, and a restricted approximation family $\mathcal{Q}$ determines which such changes are available. Contracting KL divergence over Bayes-action fibers gives exact distances to decision adequacy and decision failure together with the least-informative posterior deformations that reach either side of the decision boundary. In regular finite-dimensional problems, the target and baseline constructions have quadratic local limits: a target regret Hessian $G$ and a baseline information metric $J_I$ . Their generalized eigenproblem $Gv = γJ_Iv$ orders local decision directions by regret consequence per unit information cost and induces a tolerance-dependent effective dimension. For restricted approximation families, the tangent image separates decision coverage from information efficiency: a family may miss consequential decision directions, or it may realize reachable directions only at excess Fisher cost. The resulting framework provides decision-relative criteria for comparing and designing posterior approximation families.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11038v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15948v1cs.AI공통 태그 Decision Making, Bayesian Inference

비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법

Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment

능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.

arXiv:2610.15993v1cs.AI공통 태그 Decision Making, Model Selection

핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃

Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing

본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.

arXiv:2610.13603v1cs.LG공통 태그 Decision Making, Bayesian Inference

소규모 인지 코어로 대규모 인간 행동을 설명하다

A small cognitive core explains human behavior at scale

심리학은 인지에 관한 많은 원리를 제시해 왔습니다. 그러나 각 원리는 개별적으로 개발되어, 이들을 결합했을 때의 설명력은 알려지지 않은 채로 남아 있었습니다. 우리는 기존에 확립된 소수의 원리들을 하나의 모델로 통합했으며, 이를 COntextual Retrieval and Encoding(CORE)이라고 명명했습니다. CORE는 예측 오차가 기록되는 일화 기억(episodic memory)의 계층 구조로 구성되며, 이 기억의 인코딩(encoding), 검색(retrieval), 망각은 맥락(context)에 의존합니다. 137개 실험에서 수집된 7,036,442개의 선택 데이터에 공동으로 적합(fit)된 이 모델은 블랙박스 모델보다 인간의 선택을 더 잘 예측하며, 시뮬레이션 시 보고된 행동 효과의 75%를 재현합니다. 또한, 모델의 잠재 변수들은 베이즈 학습(Bayesian learning)과 사건 분할(event segmentation)의 전형적인 특징을 보여줍니다. 종합하면, 이러한 발견은 소규모의 인지 코어가 인간 행동의 상당 부분을 설명한다는 점을 시사합니다. 나아가 전체 실험 기록을 기반으로 계산 모델(computational model)을 구축함으로써, 심리학을 개별 부분의 합 이상으로 발전시킬 수 있는 길을 열어줍니다.

arXiv:2610.13656v1stat.ML공통 태그 Bayesian Inference, Variational Inference

비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론

Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields

잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.

arXiv:2609.38005v2cs.AI공통 태그 Decision Making, Bayesian Inference

대규모 언어 모델의 확률적 추론 진단 및 개선

Diagnosing and Improving Probabilistic Reasoning in Large Language Models

대규모 언어 모델(LLM)은 명시적인 의사결정 비용이 수반되는 상황에서 가용한 증거로부터 확률적으로 추론해야 하는 의사결정 보조 도구로 점차 제안되고 있습니다. 본 연구에서는 LLM의 의사결정 손실(decision loss)을 두 가지 요소, 즉 제공된 증거로부터 정확한 신념(belief)을 형성하는 것과 해당 신념을 제공된 효용 함수를 최적화하는 행동으로 변환하는 것으로 분해하는 의사결정론적 프레임워크를 제안합니다. 정답(ground truth)이 알려진 합성 벤치마크를 활용하여, 이러한 분해 기법을 적용해 프론티어 모델 및 오픈소스 모델의 확률적 추론을 분석합니다. 나아가 신념, 의사결정 또는 둘 모두를 목표로 하는 강화학습(RL) 개입이 세 가지 도메인에 걸쳐 이러한 구성 요소들을 개선하는지, 개선 사항이 구성 요소 및 유도 형식(elicitation format) 간에 전이되는지, 그리고 신념 형성의 개선 없이도 의사결정 성능이 향상될 수 있는지를 평가합니다. 그 결과, 확률적 추론의 한 가지 요소를 목표로 할 경우 의사결정 손실이 재분배되어 목표 대상은 개선되지만 다른 요소로 반드시 전이되지는 않는다는 점을 발견했습니다. 또한 신념 형성과 의사결정을 공동으로 목표로 삼으면 두 요소 모두 개선되지만, 이는 학습(training)과 평가 간의 형식이 일치하는지에 달려 있음을 확인했습니다.

arXiv:2610.02487v1cs.LG공통 태그 Decision Making, Model Selection

임계값 인지 컨포멀 라우팅

Threshold-Aware Conformal Routing

고충실도 시뮬레이션은 과학 및 공학 설계에 필수적이지만 반복 실행 비용이 많이 들 수 있습니다. 학습된 대리 모델(surrogate)은 더 빠른 대안을 제공하지만, 상대적으로 높은 오차로 인해 다운스트림 의사결정이 바뀔 수 있습니다. 이러한 정확도와 속도 간의 절충으로 인해 대리 모델을 사용할 수 있는지, 아니면 완전한 시뮬레이터가 여전히 필요한지를 결정해야 하는 문제가 발생합니다. 본 연구에서는 관심 대상인 스칼라 수량이 고정된 임계값(threshold)의 상위 또는 하위에 위치하는지에 따라 결정되는 의사결정을 연구합니다. 각 입력에 대해 대리 모델의 컨포멀 구간(conformal interval)이 임계값의 한쪽에 완전히 위치할 때는 대리 모델을 사용하고, 구간이 임계값과 교차할 때는 입력을 시뮬레이션으로 라우팅합니다. 표준 컨포멀 예측은 다운스트림 의사결정 임계값을 고려하지 않고 구간을 구성합니다. 즉, 임계값 근처의 좁은 구간이라도 임계값을 가로질러 시뮬레이션을 트리거할 수 있는 반면, 멀리 떨어진 더 넓은 구간은 한쪽에 완전히 머물러 시뮬레이션을 요구하지 않을 수 있습니다. 이에 의사결정 경계 근처에 구간의 조밀함을 집중시키는 임계값 인지 목적 함수를 사용하여 입력 의존적 스케일을 학습하는 임계값 인지 컨포멀 라우팅(TACR)을 제안합니다. 홀드아웃 데이터에 대한 정확한 분할 컨포멀 보정(split-conformal calibration)은 분포 무관 한계 커버리지(distribution-free marginal coverage)를 보존하며, 이는 라우팅되지 않은 잘못된 임계값 결정 확률의 상한선 역할도 수행합니다. 다양한 과학 및 공학 데이터셋에서 TACR은 동일한 목표 커버리지에서 표준 컨포멀 예측 대비 시뮬레이터 위임(deferral)을 14-75% 감소시킵니다. 임계값 국소 가중치를 적용하지 않았으나 유사한 예측 정확도를 지닌 변형 모델과 비교했을 때, TACR은 4개 데이터셋에서 위임을 10-24% 추가로 줄입니다. 이러한 결과는 라우팅을 위한 구간 할당을 최적화함으로써 표준 컨포멀 보장을 약화시키지 않으면서도 시뮬레이터 호출을 줄일 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.