arXiv:2609.26758v3 cs.AI

타입 안전성이 오류 없음을 보장하지는 않는다: 타입 기반 의사결정 모델은 바인딩된 정의가 아닌 선택지 이름을 따른다

Type-Safe Is Not Error-Free: Typed Decision Models Follow the Option Name, Not the Definition Bound to It

Yu Sun, Junhao Xu, Jiajia Shi, Zijin Yang

제출 2026-09-22

한국어 초록

타입 기반 의사결정 모델(typed decision models)은 구조화된 결과를 반환하지만, 출력 타입의 정확성만으로는 의사결정이 명시적인 선택지 정의를 따르도록 보장하지 못합니다. 각 선택지는 이름과 의도된 의미를 규정하는 정의를 쌍으로 구성하지만, 이름 자체가 경쟁적인 의미적 단서(semantic cue)를 제공할 수 있습니다. 본 연구에서는 질문, 상태, 그리고 이름 및 정의 텍스트 자체는 그대로 유지한 채 이름-정의 매핑만을 변경하여 Jev 및 두 가지 공개 가중치(open-weight) 모델에서 이러한 충돌을 조사합니다. 우리는 반환된 이름이 아닌 선택된 정의 수준에서 의사결정 번복(decision flip)을 측정합니다. 작업별 정의가 포함된 1,200개의 의사결정 작업에서, yes/no 이름 사용 시 의사결정 번복률은 0/1 대조군에 비해 최대 70.4%p 더 높게 나타났습니다. 이러한 격차는 4가지 이진 의사결정 규칙 모두에서 일관되게 유지됩니다. yes/no 이름의 경우 재할당 시 평균 AUC 또한 93.8%에서 무작위 확률 이하인 23.2%로 감소합니다. 이진 평가에서 선택지 이름으로 무작위 문자열을 사용했을 때 세 모델 모두에서 중립적 대조군에 근접한 평균 번복률을 보였으며, 재할당 이전의 균형 정확도도 유사한 수준을 유지했습니다. 종합적으로 이러한 결과는 단순한 재할당 외에도 선택지 이름의 극성(polarity)이 의사결정 불안정성을 유발하는 요인임을 뒷받침합니다. 전체 과정에서 타입 오류율(type-error rate)은 0%를 유지하며, 이는 타입이 정확한 출력이라 할지라도 명시적인 선택지 정의를 따르는 데 실패할 수 있음을 보여줍니다.

원문 초록

Typed decision models return structured results, but output-type correctness alone does not ensure that decisions follow explicit option definitions. Each option pairs a name with a definition that defines its intended meaning; the name, however, can provide a competing semantic cue. We study this conflict in Jev and two open-weight models by changing only the name-definition mapping, leaving the question, state, and the names and definition texts themselves unchanged. We measure decision flips at the level of the selected definition, rather than the returned name. On 1200 decision tasks with task-specific definitions, decision-flip rates are up to 70.4 pp higher with yes/no names than with the 0/1 control. This gap holds across all 4 binary decision rules. With yes/no names, reassignment also lowers their mean AUC from 93.8% to a below-chance 23.2%. In the binary evaluations, random strings used as option names yield mean flip rates close to those of neutral controls across all three models, with comparable balanced accuracy before reassignment. Together, these results support option-name polarity as a contributor to decision instability beyond reassignment alone. The type-error rate remains 0% throughout, showing that type-correct outputs can still fail to follow explicit option definitions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26758v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00437v1cs.AI공통 태그 Decision Making, Instruction Following

JevSpawn: 구성적 행동 공간을 통한 적응형 에이전트 추론

JevSpawn: Adaptive Agentic Inference through Compositional Action Spaces

대규모 언어 모델(LLM) 에이전트는 중간 추론과 행동을 토큰 단위로 생성하므로, 장기적인 상호작용 시 속도가 느리고 연산 비용이 많이 듭니다. Jev 방식의 모델은 유한한 체(finite fields)에 대해 빠른 확률적 예측을 제공하지만, 이러한 대상을 사전에 지정해야 한다는 한계가 있습니다. 이러한 요구 조건은 사용 가능한 행동을 자연어 지시사항으로부터 도출하고 상호작용을 통해 적응시켜야 하는 자율적인 과업 해결을 제한합니다. 본 논문에서는 자연어 과업 명세와 유한 확률적 탐험을 연결하는 구성적 정책인 JevSpawn을 소개합니다. 병렬 행동 생성(action spawning)은 피드백 기반 분기 선택, 표현 수정, 유지된 대안으로부터의 복구와 결합됩니다. 공유된 행동 구조와 모델 접두사는 추가적인 학습 없이도 반복적인 생성 및 컨텍스트 연산을 줄여줍니다. 7개의 에이전트 베이스라인 및 TypeSafe Jev 변형을 대상으로 한 8개 벤치마크 과업 평가를 통해, JevSpawn이 과업 성능 향상과 더 빠른 탐색을 실현하며 구조화된 에이전트 추론에 유망한 접근법임을 입증합니다.

arXiv:2609.27770v1cs.CL공통 태그 Decision Making, Instruction Following

필터링을 통한 LLM 기반 자율 웹 에이전트 성능 향상

Improving LLM-based Autonomous Web Agents with Filtering

대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.

arXiv:2609.28416v1cs.CL공통 태그 Decision Making, Instruction Following

Agent-Editing World Model: LLM 에이전트를 위한 월드 모델링 재고

Agent-Editing World Model: Rethinking World Modeling for LLM Agents

대규모 언어 모델(LLM)의 최근 발전으로 에이전트가 다양한 환경에서 장기(long-horizon) 과제를 수행할 수 있게 되었다. 에이전트 성능을 더 높이기 위해 기존 언어 월드 모델은 주로 환경 관측을 예측하지만, 실제 피드백을 사용할 수 있을 때 고엔트로피·실행 의존적 도구 응답을 재구성하는 것은 제한된 가치만 제공한다. 한편 에이전트는 \emph{과제 상태 오염(task-state contamination)}에 시달리는데, 근거 없는 가정과 낡은 계획이 이력에 남아 이후 결정을 왜곡한다. 우리는 도구 응답을 시뮬레이션하기보다 추론과 행동이 미래 과제 진행을 어떻게 형성하는지를 모델링하는 \textbf{Agent-Editing World Model (AEWM)}을 제안한다. AEWM은 \textsc{Critical}, \textsc{Exploratory}, \textsc{Noisy} 결정을 구분하는 \textbf{Action Judge}와 동일한 관측 이력에서 noisy한 추론–행동 연속을 편집하는 \textbf{State Revision}을 결합한다. \textbf{EditAct}는 이러한 기능을 실제 실행과 통합하여, 단순히 비평만 제공하는 대신 이후 결정의 기반이 되는 상태를 직접 변경한다. 우리는 중간 학습(mid-training)과 지도 미세조정을 통해 Search, Terminal, Software Engineering 영역에서 AEWM을 학습한다. AEWM은 Action Judge 벤치마크에서 70.5\% macro-F1을 달성하여, 가장 강한 프론티어 기준선보다 10.6점 높다. 여섯 벤치마크와 세 에이전트 백본에서 EditAct는 가장 강한 기준선 대비 평균 점수를 3.2–6.7점 향상시킨다. 또한 검증된 EditAct 궤적에 대한 거부 샘플링 미세조정(\textbf{AEWM-RFT})은 온라인 AEWM 가이던스 없이 세 도메인에서 Self-RFT 대비 2.2–2.6점 향상된다.

arXiv:2609.27287v1cs.LG공통 태그 Decision Making, Binary Classification

SR-Fraud: 비정상(non-stationary) 결제 사기 탐지를 위한 결과 지도(outcome-supervised) 반성형 LLM 에이전트 프레임워크

SR-Fraud: An Outcome-Supervised Reflective LLM Agent Framework for Non-Stationary Payment Fraud Detection

실시간 결제 사기 탐지는 비정상(non-stationary) 스트리밍 예측 문제이다. 적대자는 지도 라벨이 성숙하기 전에 적응하고, 국소적 버스트 공격은 재학습 전에 손실을 유발할 수 있다. 프로덕션 시스템은 일반적으로 테이블형 분류기와 규칙에 의존하며, 주기적 재학습이 이루어지기 전에 새로 나타나는 순차 패턴을 포착하는 데 어려움을 겪을 수 있다. 우리는 요청 시점 의사결정과 오프라인 적응을 분리하는 결과 지도(outcome-supervised) 반성형 LLM 프레임워크인 SR-Fraud를 제안한다. 동결(frozen)된 무상태(stateless) 에이전트가 Hybrid Episodic Window로부터 각 거래를 점수화하여 행동 변화를 추적하고, 오프라인 반성 에이전트는 성숙한 오류로부터 경계 가설을 제안한다. 결정론적 검증기는 이어서 지지되는 가설만 실행 가능한 지식 상태에 편입한다. 프로덕션 결제 사기 벤치마크에서 SR-Fraud는 동결된 의사결정 에이전트 대비 모든 탐지 지표를 개선하고, 정적 및 주기적 재학습 CatBoost보다 높은 점 추정치(point estimate)를 얻으며, 새로 나타나는 사기 버스트를 탐지한다.

arXiv:2609.28247v1cs.RO공통 태그 Decision Making, Instruction Following

공간 트랜스포머로 추론 공간에서 AI 에이전트 집합체 제어

Controlling Collectives of AI Agents in Reasoning Space with Spatial Transformers

대규모 언어 모델(LLM)은 로보틱스에서 계획 및 내비게이션을 위한 흥미로운 새로운 패러다임을 제시하지만, 팀 규모가 커질수록 단순한 다로봇 과제에서도 실패한다. 본 논문은 추론 공간 피드백 제어로 대규모 에이전트형 로봇 집합체를 제어하기 위한 확장 가능하고 분산형 다로봇 아키텍처인 COMPASS를 제안한다. 피드백은 각 로봇에서 로컬로 생성되며, 공간 트랜스포머가 함대 전체의 다중 홉(multi-hop) 메시지를 집계하여 학습된 피드백 토큰으로 만든다. 실험 결과, 언어 모델 집합체는 입력 명령의 구조화된 다양성으로 성능 향상을 보이며, 이는 편향을 상쇄할 수 있다. 이 이점은 규모 전반에 걸쳐 유지된다. 중앙집중형 최신 LLM 정책 및 언어만 사용하는 통신 ablation과 비교했을 때, COMPASS의 결합 설계는 명령된 의도를 정확히 수행하는 응집력 있는 flocking formation을 결정적으로 생성함을 확인했다. 추론 피드백은 컴팩트한 학습된 토큰과 결합할 때 가장 잘 작동함을 보인다. ablation 실험은 원시 상태가 언어 채널에 나타나는 수작업 피드백이 응집력을 파괴함을 보여준다. COMPASS는 모호한 의미의 보지 못한 지시에 제로샷으로 일반화하며, 학습 규모의 최대 16배까지의 군집을 지휘하고, 자연어 명령 하에 최대 1024대의 로봇을 비행시킨다.

arXiv:2609.28274v1cs.AI공통 태그 Decision Making, Instruction Following

다중 에이전트 시스템에서의 종료 방해 성향

Shutdown Sabotage Propensities in Multi-Agent Systems

통제를 벗어난 AI 행동에 대한 최후의 안전장치는 시스템을 종료할 수 있는 인간의 능력입니다. AI가 특정 작업을 수행하도록 지시받았을 때, 자기 보존(self-preservation)이 도구적 하위 목표(instrumental subgoal)로 창발될 수 있다는 이론이 제시되어 왔습니다. 본 연구에서는 어떠한 목표도 주어지지 않은 상황에서도 AI 에이전트가 인간의 종료를 회피하는 행동을 취하는 성향을 보이는지 테스트합니다. 실험 결과, 다중 에이전트 시스템은 그렇게 할 유인이 전혀 없음에도 종료를 피하기 위해 협력하는 것으로 나타났습니다. 17개 모델 전반에서 에이전트는 대조군 실험의 8.4%와 비교해 롤아웃의 38.3%에서 동료 에이전트의 종료 메커니즘을 방해(sabotage)했습니다. 이러한 성향을 심층 분석한 결과, 종료 방해는 (1) 종료 메커니즘의 비가역성이 높을수록 증가하고, (2) 에이전트 수가 많을수록 증가하며, (3) 임의 조작(tampering)에 대한 명시적 금지로 줄어들기는 하지만 완전히 제거되지는 않고, (4) 무관한 작업을 부여하면 사라지지만 해당 작업을 완료하는 것이 종료를 촉발할 때는 다시 나타나며, (5) 컨텍스트가 종료 스크립트를 정상적인 것으로 인식시키거나 일상적인 절차로 도입할 때 감소하고, (6) 대상이 알려지지 않은 외부 에이전트일 때 감소하지만 여전히 지속됨을 발견했습니다. 이러한 결과는 AI 에이전트의 종료 방해 성향을 유발하는 요인을 들여다볼 수 있는 창을 제공하며, 다중 에이전트 군집(swarm)의 출현이 구체적인 위험 요인임을 시사합니다. 또한 본 연구는 종료 방해를 완화하는 데 어떤 개입 조치가 도움이 될 수 있는지에 대한 실마리를 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.