arXiv:2607.11920v1 econ.EM

주관적 기대 효용 최대화에 대한 민감도: 방법론 연구 및 LLM 의사결정에 대한 예시 적용

Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

Jeff Helzner

제출 2026-07-08

한국어 초록

불확실성 하에서 내린 결정을 평가하기는 라벨이 붙은 결과가 희소하거나, 비용이 크거나, 운에 의해 교란될 때 어렵다. 우리는 주관적 기대 효용(SEU) 최대화를 명시된 기준으로 간주하고, 에이전트가 이에 부합하는 정도를 나타내는 단계적 척도인 SEU 민감도를 정의한다. 이를 위한 수단은 SEU 값을 갖는 대안들에 민감도 매개변수 $α$를 둔 소프트맥스 선택 모델이며, 기여는 $α$ 및 신념·효용 매개변수 $(β, δ)$에 대한 일련의 식별 가능성 결과로, Stan에서 사전 예측 검사, 매개변수 복원, 시뮬레이션 기반 보정(SBC)을 통해 검증되었고 유한 표본 한계는 그대로 유지된다. 불확실 선택만 있는 모델 $m_0$에서 $α$는 기대 효용 벡터 $η$가 주어지면 식별 가능하며 선명하게 복원되지만, $(β, δ)$는 약하게만 정보를 얻는다: 사후분포는 거의 수축하지 않으며 $β$-$δ$ 절충에 집중된다. 확장 모델 $m_1$에서 $δ$는 원칙적으로 $β$가 없는 위험 블록을 통해 식별 가능해지지만, 현실적인 표본 크기에서의 실질적 복원 이득은 무시할 만하다(동일 개수 기준 신뢰구간 폭 감소 1% 미만), 그리고 그 블록은 동일 선택 개수에서 검출된 $α$ 정밀도 이득을 제공하지 않는다. 이 둘은 서로 다른 현상이다: $δ$의 경우 식별 가능성이 현실적인 $n$에서 정밀한 추정 가능성을 함의하지 않으며, $α$의 경우 식별 가능성은 유한 $n$ 정밀도를 지배하는 요인에 대해 말하지 않는다. 두 모델 모두에서 공동 사후분포가 약하게 정보를 얻는 경우에도 한계 SBC는 통과한다 — 우리가 정밀히 구분하는 경계이다. 2×2 적용(GPT-4o와 Claude 3.5 Sonnet 각각에 대해 보험 청구 분류와 엘스버그 스타일 도자기 문제, 샘플링 temperature를 조작 변수로)이 실제 LLM 선택 데이터에서 처음부터 끝까지 실행되어, 네 셀 중 두 셀에서 구조화된 비교적 $α$ 효과를 검출한다.

원문 초록

Evaluating decisions made under uncertainty is hard when labeled outcomes are scarce, costly, or confounded with luck. We treat subjective expected utility (SEU) maximization as a stated standard and define a graded measure -- SEU sensitivity -- of an agent's conformity to it. The vehicle is a softmax choice model with a sensitivity parameter $α$ on SEU-valued alternatives; the contribution is a sequence of identifiability results for $α$ and for belief and utility parameters $(β, δ)$, validated in Stan via prior predictive checks, parameter recovery, and simulation-based calibration (SBC), with finite-sample caveats intact. In the uncertain-choice-only model $m_0$, $α$ is identifiable given the expected-utility vector $η$ and sharply recovered, while $(β, δ)$ are only weakly informed: the posterior barely contracts and concentrates on a $β$-$δ$ trade-off. In the extended model $m_1$, $δ$ becomes identifiable in principle via a $β$-free risky block, but its practical recovery gain at realistic sample sizes is negligible (matched-count CI-width reduction under 1%), and that block yields no detected $α$-precision gain at matched choice count. These are two distinct phenomena: for $δ$, identifiability does not imply precise estimability at realistic $n$; for $α$, identifiability is silent about what governs finite-$n$ precision. Marginal SBC passes for both models even where the joint posterior is weakly informed -- a demarcation we make precise. A two-by-two application (GPT-4o and Claude 3.5 Sonnet, each on insurance-claims triage and Ellsberg-style urns, with sampling temperature as the lever) runs end-to-end on real LLM choice data, detecting a structured comparative $α$ effect in two of four cells.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.11920v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15948v1cs.AI공통 태그 Decision Making, Bayesian Inference, Uncertainty Quantification

비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법

Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment

능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.

arXiv:2610.02330v1cs.AI공통 태그 Decision Making, Bayesian Inference, Large Language Model

행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정

Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.

arXiv:2610.02523v1cs.AI공통 태그 Decision Making, Bayesian Inference, Large Language Model

프로그램 개선을 통한 가설 유도 기반 인지 알고리즘 발견

Hypothesis-guided discovery of cognitive algorithms via program refinement

행동 데이터로부터 알고리즘적 추론에 대한 인지 모델(cognitive model)을 개발하는 것은 인지과학의 핵심 과제이며 기존 방식에 도전 과제를 제기합니다. 인지 모델링에 대한 전통적인 접근법은 해석 가능하고 인간의 전문 지식을 활용할 수 있지만 유연성과 확장성이 부족합니다. 대규모 언어 모델(LLM)을 활용하여 인지 모델을 새롭게 생성(de novo generation)하는 최신 기술들은 확장 가능하고 유연하지만, 인간의 전문 지식이 개입할 여지가 부족하며 주로 알고리즘 복원보다 단순한 과제에 적용되어 왔습니다. 본 연구에서는 인지 알고리즘 발견을 프로그램 개선(program refinement) 문제로 다루는 하이브리드 시스템을 제안합니다. 사람이 생성한 인지 모델을 확률적 프로그램으로 표현한 뒤, 모델과 행동 간의 불일치 식별, 연구자가 지정한 제약 조건 내에서의 코드 수준 수정안 제안, 구조적 충실도 검증의 역할을 맡은 LLM 에이전트 시스템에 제공합니다. 수정 사항은 잠재 변수에 대한 추론(inference) 및 데이터 가능도(likelihood) 계산을 수행하는 확률적 추론 모듈로 전달됩니다. 다양한 인지 알고리즘을 드러내는 문제 해결 패러다임 하에서 인간 행동을 바탕으로 본 파이프라인을 평가합니다. 개선된 모델들은 기존 조상 모델에 비해 모델 적합도를 일관되게 향상시키며, 본 과제에서 유의미한 행동 변동성을 포착하는 소수의 반복적인 혁신 요소를 밝혀냅니다.

arXiv:2610.02972v1cs.AI공통 태그 Decision Making, Bayesian Inference, Uncertainty Quantification

CreateScore: LLM 기반 이력서 심사를 위한 도메인 이론 기반 베이지안 라우팅

CreateScore: Domain-Theory-Informed Bayesian Routing for LLM-Based CV Screening

대규모 언어 모델(LLM)은 루브릭 기반의 이력서(CV) 심사를 지원할 수 있지만, 모든 지원자와 평가 기준에 고성능 모델을 적용하는 것은 비용이 많이 듭니다. 본 논문에서는 기준 단위 LLM 라우팅을 위한 도메인 이론 기반 베이지안 네트워크인 CreateScore를 제안합니다. 디리클레-다항(Dirichlet-multinomial) 조건부 확률표를 갖춘 수작업 지정 방향성 비순환 그래프(DAG)가 이력서 증거를 사후 불확실성으로 변환하며, 불확실성이 낮은 결정은 로컬 8B 모델로 처리하고 불확실한 결정은 120B 레퍼런스 모델로 이관(escalate)합니다. 그래프는 인과적으로 동기 부여되었으나, 시스템은 인과 추론이 아닌 표준 베이지안 조건화를 수행합니다. 이관 임계값은 학습(training) 폴드에서 보정된 후(목표: 70% 로컬 처리) 고정됩니다. 200개의 합성 데이터 사이언스 이력서(학습 139건, 테스트 61건, 5개 기준)를 대상으로 평가한 결과, 기준 결정의 77.7%(305건 중 237건)가 로컬에서 처리되었습니다. 120B 모델이 모든 기준을 판정한 기준 조건과 비교했을 때, 라우팅된 이관은 토큰 사용량을 65.2% 줄였고 정확한 점수 일치도를 32.8%(8B 단독)에서 42.6%(95% CI 31.0-55.1%)로 높였습니다. 다만 n = 61에서 이 향상은 통계적으로 유의미하게 구분되지 않았습니다. 그러나 불확실성 신호는 8B 모델이 오류를 범한 결정을 식별하지는 못했습니다. 레퍼런스와의 불일치율은 이관된 결정에서 16.2%, 로컬에서 해결된 결정에서 19.4%였으며(AUROC 0.47, 95% CI 0.39-0.56), 이는 무작위 선택보다 나을 바가 없었습니다. 또한 잘린 추론 모델의 출력이 로컬 레이블로 조용히 대체되면서 이전 평가가 무효화되었던 과정을 기록하고 캐스케이드 평가를 위한 안전장치를 권장합니다. CreateScore는 표적화된 오류 탐지기가 아닌 감사 가능한 비용 절감 메커니즘으로 뒷받침되며, 자율 채용 시스템은 아닙니다.

arXiv:2610.02975v2cs.AI공통 태그 Uncertainty Quantification, Large Language Model

불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화

Reliable Self-Evolution with Imperfect Proxy Rewards

대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.

arXiv:2610.10942v2cs.AI공통 태그 Decision Making, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.