멱등성은 복구가 아니다: 언어 모델 에이전트 도구 동작에 대한 결함 주입 연구
Idempotency Is Not Recovery: A Fault-Injection Study of Language-Model Agent Tool Actions
한국어 초록
언어 모델 에이전트의 도구 호출이 중단되었을 때, 그 동작은 확인 없이 이미 외부 시스템을 변경했을 수 있다. 재시도는 중복의 위험이 있으며, 성공을 가정하면 실제로 일어나지 않은 동작을 가릴 수 있다. 본 연구는 권한 부여, 동작 원장, 대상 측 멱등성, 정합성 대조, 증거 봉인을 결합한 통제된 에이전트 런타임에서 이러한 실패 양상을 연구한다. 단일 호스트의 열 가지 결함 유형을 주입하고, 런타임 원장과 분리된 대상 측 오라클을 사용하여 네 가지 구성과 세 가지 제거 실험을 비교한다. Windows와 Linux 각각에서 24개의 구성된 사례로부터 수집한 96개의 모델 응답을 사용하여 7,513회의 시행을 수행했다. 알려진 원본 크래시와 재생 쌍 200건에서 전체 구성은 반복된 효과가 0/200건이었던 반면, 각 단순 기준선은 117/200건이었다. 원장 관련 제거 실험에서는 고아 효과가 170/170건으로 전체 구성의 0/170건과 대비되었고, 복구 성공은 200/300건으로 전체 구성의 300/300건과 대비되었다. 정합성 대조를 비활성화하면 중복이 관찰되지 않았음에도 알려진 효과 이후 크래시 결과 100/100건이 모호하게 남았다. 초기 결과 이후에 설계되어 동일한 입력을 재사용한 별도의 보충 실험은 응답 손실 또는 지연 상황에서 유사한 양상을 보였다. 전체 런타임의 처리량은 페일 오픈 방식의 약 7분의 1이었고, 주입된 증거 기록 결함은 플랫폼당 100회 중 75회의 시행을 미해결 상태로 남겼다. 이러한 결과는 중복 억제와 복구를 구별하며, 시험된 벤치마크 내에서 측정된 신뢰성과 성능 간의 상충 관계를 규명한다.
원문 초록
When a language-model agent's tool call is interrupted, the action may already have changed an external system without confirmation. Retrying risks duplication; assuming success may conceal an action that never occurred. We study these failure modes in a controlled agent runtime combining authorization, an action ledger, target-side idempotency, reconciliation, and evidence sealing. We inject ten single-host fault classes and compare four configurations and three ablations using a target-side oracle separate from the runtime ledger. On each of Windows and Linux, 7,513 trials used 96 captured model responses from 24 constructed cases. In 200 known original crash and replay pairs, the full configuration recorded 0/200 repeated effects versus 117/200 for each simpler baseline. A ledger-related ablation had 170/170 orphaned effects versus 0/170 and 200/300 recovery successes versus 300/300 for the full configuration. Disabling reconciliation left 100/100 known post-effect crash outcomes ambiguous despite no observed duplicates. A separate supplement designed after the initial results and reusing the same inputs found a similar pattern under response loss or delay. The full runtime had about one-seventh of fail-open throughput, while injected evidence-write faults left 75/100 trials per platform unresolved. These findings distinguish duplicate suppression from recovery and identify their measured reliability and performance tradeoffs within the tested benchmark.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23353v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.