arXiv:2202.10613

Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces

Alexander Terenin

제출 2022-02-22

원문 초록

Bayesian learning using Gaussian processes provides a foundational framework for making decisions in a manner that balances what is known with what could be learned by gathering data. In this dissertation, we develop techniques for broadening the applicability of Gaussian processes. This is done in two ways. Firstly, we develop pathwise conditioning techniques for Gaussian processes, which allow one to express posterior random functions as prior random functions plus a dependent update term. We introduce a wide class of efficient approximations built from this viewpoint, which can be randomly sampled once in advance, and evaluated at arbitrary locations without any subsequent stochasticity. This key property improves efficiency and makes it simpler to deploy Gaussian process models in decision-making settings. Secondly, we develop a collection of Gaussian process models over non-Euclidean spaces, including Riemannian manifolds and graphs. We derive fully constructive expressions for the covariance kernels of scalar-valued Gaussian processes on Riemannian manifolds and graphs. Building on these ideas, we describe a formalism for defining vector-valued Gaussian processes on Riemannian manifolds. The introduced techniques allow all of these models to be trained using standard computational methods. In total, these contributions make Gaussian processes easier to work with and allow them to be used within a wider class of domains in an effective and principled manner. This, in turn, makes it possible to potentially apply Gaussian processes to novel decision-making settings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23132v2cs.CV공통 태그 Decision Making

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

arXiv:2608.16666v3cs.AI공통 태그 Decision Making

Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크

Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents

구간 시간 지각(interval timing)은 인간 인지의 중요한 측면으로 여겨진다. 인공 에이전트가 인간과 함께 기능하는 경우가 늘어나면서 이들의 구간 시간 지각 능력을 연구할 필요가 있다. 그러나 이 분야의 연구는 아직 제한적이고 산재해 있다. 본 논문은 강화학습(RL) 에이전트의 구간 시간 지각 능력을 체계적으로 연구할 수 있는 RL 벤치마크 환경 Chronocooked를 제시한다. 이 제품군은 심리학 문헌에서 착안한 구간 시간 지각 과제를 포함하는 요리 시나리오로 구성된다. 각 과제에는 RL 에이전트의 구간 시간 지각의 여러 측면, 즉 과제 성능, 인간과 유사한 시간 지각, 확장성을 연구하기 위한 평가 지표가 함께 제공된다. 비순환 모델(CNN), 순환 모델(LSTM), 생물학적으로 영감을 받은 순환 모델(CTRNN)을 사용한 기준선을 보고한다. CNN 모델은 기본적인 시간 지각 과제를 수행하는 능력이 제한적이었다. 반면 충분한 메모리를 갖춘 두 순환 모델은 시간 지각 과제를 성공적으로 수행했고, 고정 간격(FI) 과제에서 시간적 통제를 보였으며, 시간 이분(Temporal Bisection) 과제에서 인간과 유사한 심리측정 곡선을 정성적으로 재현했다. 그러나 인간과 유사한 시간 지각 행동에 대한 정량적 증거는 발견되지 않았다. 인공 에이전트의 구간 시간 지각에 대한 체계적인 연구는 인간-로봇 상호작용(HRI)과 같은 분야에서 과제 성능을 개선하기 위한 보완적 관점을 제공할 수 있으며, 시간 지각에 관한 더 넓은 연구에도 기여할 수 있다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

arXiv:2610.02036v3cs.AI공통 태그 Decision Making

전역 일관성: 모든 에이전트가 옳아도 팀 전체는 틀릴 때 - 멀티 에이전트 협업을 위한 국소-전역 의미론적 기반

Global Coherence: When Every Agent Is Right and the Team Is Still Wrong - A Local-to-Global Semantic Foundation for Multi-Agent Collaboration

AI 에이전트는 코드, 문서, 도구, 분석을 공유한다. 어떤 참여자도 전체 상태를 보지 못하므로, 모든 단계가 옳아 보이는데도 결합된 결과는 틀릴 수 있다. 우리는 이를 전역 일관성 문제라고 부른다. 이는 지능만의 문제가 아니라 상태의 문제이다. 더 강한 모델은 국소적으로 더 잘 결정하지만, 자신의 맥락에서 무엇이 빠져 있는지는 볼 수 없다. 관측 에일리어싱 불가능성 정리는 정확한 조건을 제시한다. 에이전트는 자신의 맥락과 일치하는 모든 세계가 공통의 행동을 허용할 때, 그리고 그때에만 항상 유효하게 행동할 수 있다. 서로 닮은 세계들이 서로 다른 행동을 요구할 때에는, 어떤 추론, 역할, 메시지, 표본도 올바른 행동을 보장할 수 없다. 유효한 행동이 서로소인 이러한 세계가 $k$개 있으면, 최선의 무작위 정책이 성공할 확률은 1/k이다. 충분한 최소 맥락을 찾는 것은 NP-난해이지만, 정제(refinement)가 하나를 찾아내고 규칙이 바뀔 때 이를 최신 상태로 유지한다. 두 번째 실패는 완전한 정보 하에서도 남는다. 유효한 조각들이 하나의 세계로 맞춰지지 않을 수 있다. 동일한 정리가 일관성의 조건을 규정하며, 층(sheaf)과 군다발(groupoid)은 이를 충족하는 한 가지 방법이다. 모델이 제안하고, 하네스가 무엇이 유효한지 결정한다. 열 가지 연구로 이를 검증한다. TeamBench에서 팀은 5/5회 실행에서 공유 예산을 초과 지출하며, 실시간 집계를 보여 주어도 4/5가 남고, 예산을 소유하는 하네스에서는 0/5가 남는다. 어떤 쌍별 검사로도 볼 수 없는 신원 충돌이 공개 정렬 네트워크 45개 중 23개에서 나타나며, 분할 시야 에이전트는 40회 병합 중 9회에서 이를 만들어 내고, 네트워크 검사는 아홉 건을 모두 제거한다. 최첨단 LLM은 결정적 사건을 볼 때 40/40개의 수정 과제를 해결하지만, 그 사건을 숨기면 더 오래 추론하거나, 투표하거나, 역할로 나누는 어떤 방식도 우연 수준을 유의하게 넘지 못하며, 동반 연구는 두 번째 제공자의 모델에서 이를 재현한다. tau2-bench Telecom에서 무음 되돌림 이후 하네스는 1.00점을 기록하는 반면 호출 시점 정책 검사는 0.07점이다. 정제는 모든 필드를 공유하는 비용의 28%로 충분한 맥락을 유지한다.

arXiv:2610.10942v2cs.AI공통 태그 Decision Making

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2607.21609v2cs.AI공통 태그 Decision Making

HierFlow: 자동 에이전트 워크플로 생성을 위한 계층적 결합 이중 공간 탐색

HierFlow: Hierarchical Coupled Dual-Space Search for Automatic Agentic Workflow Generation

구조화된 워크플로우는 대규모 언어 모델(LLM)이 복잡한 문제를 해결할 수 있게 해주지만, 이를 자동으로 생성하는 것은 방대한 조합적 탐색 공간으로 인해 심각하게 저해되며, 이는 종종 유연하지 않고 자원을 많이 소모하는 오프라인 학습 의존성을 초래한다. 이를 해결하기 위해, 우리는 워크플로우 생성을 상위 토폴로지 층이 하위 작업 경계를 규정하고 하위 수준의 실행 결과가 토폴로지 자체를 능동적으로 재형성하는, 토폴로지와 실행이 맞물린 탐색 패러다임으로 개념화한다. 이 기반 위에서, 우리는 피드백 기반 토폴로지 조정과 하위 워크플로우 최적화를 위한 빠른 MCTS(Monte Carlo Tree Search) 기반 트리 탐색을 결합하여 에이전트형 워크플로우 설계를 자동화하는, 학습 불필요·테스트 시점 계층적 탐색 아키텍처인 HierFlow를 제안한다. HierFlow는 맥락적 필요에 따라 실행 수준 탐색을 선택적으로 트리거하는 지능형 게이팅 모듈을 통해 효율성을 극대화하며, 우리는 작업 간 결합 정도가 계층적 분할의 효과에 미치는 영향을 상세히 분석함으로써 이 메커니즘을 추가로 뒷받침한다. 질의응답, 수학적 추론, 코드 생성 벤치마크에 걸친 종합적인 테스트는 HierFlow가 강력한 베이스라인을 지속적으로 능가하며, 추가 학습 부담 없이 고품질 결과와 계산 효율성의 최적 균형을 제공함을 확인한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.