arXiv:2610.02001v1 cs.AI

Mingbird: 소형 오픈 모델의 실제 작업 완수를 가능하게 하는 로컬 우선 에이전트 하네스

Mingbird: A Local-First Agent Harness Enabling Small Open Models to Complete Real Tasks

Hao Wang, Ting Huang

제출 2026-10-01

저자 비고

arXiv Comments

44 pages, 9 figures. Code, benchmark protocol, scoring code, and all 288 per-cell results: https://github.com/Mingbird/Mingbird-agent

한국어 초록

소형 오픈 가중치(open-weight) 모델(2-9B)은 일반 노트북에서도 구동되지만, 클라우드 스케일의 에이전트(agent) 하네스 환경에서는 실제 작업을 완수하는 경우가 드뭅니다. 도구 사전 채우기(prefill)로 컨텍스트가 넘치고, 자체 교정(self-correction)이 발산하며, 도구 시연이 루프에 빠지고, 작업이 조용히 중단되기 때문입니다. 본 논문에서는 통제된 단일 머신 비교와 하나의 서드파티 벤치마크를 통해, 이러한 실패의 상당 부분이 모델보다는 하네스에 기인한다는 증거를 제시합니다. 우리는 Windows 및 Ollama를 위한 로컬 우선 에이전트 하네스인 Mingbird를 소개합니다. Mingbird의 10가지 메커니즘은 소형 모델의 실패 형태를 조목조목 보완하며, 그중 대표적인 세 가지는 바이트 수준의 순 제로(net-zero) 사전 채우기 예산, 완료를 수락하기 전에 작업을 다시 읽는 완료 게이트(finish gate), 그리고 서명 수준의 루프 감지입니다. 머신, 모델, 예산, 점수 산정을 고정한 통제된 비교인 LRAB(4개 하네스 $\times$ 4개 오픈 모델(2B-35B) $\times$ 18개 실제 작업, 결정론적 산출물 점수 산정)에서 Mingbird는 goose(0.631), opencode(0.479), agent-mini(0.405) 대비 종합 0.886을 달성했으며 288개 셀 전체를 공개했습니다. $τ^2$-bench(278개 작업, 3개 암, 단일 프로토콜)에서는 0.791 및 0.737 대비 총합 0.856을 기록했습니다. 또한 동일한 18개 작업에 대한 프론티어 모델 프로브에서는 하네스 전반에 걸쳐 0.997에서 0.478의 범위를 보였으며, 잘 구성된 스캐폴드는 서로 0.072 이내의 차이를 유지했습니다. 단일 메커니즘 제외 어블레이션(leave-one-mechanism-out ablation)은 방향성만을 나타내는 것으로 보고됩니다. 동일 암에 대해 같은 날 밤 수행된 반복 실험은 그 평균을 최대 0.069까지 변화시켰는데, 이는 모든 명목상 단일 시행 델타의 크기이며, 단일 배치(batch) 매칭 비교(전체 메커니즘 스택 대 텍스트 재읽기 단독)에서는 실행 가능한 완료 가드가 세 차례의 반복 실험에 걸쳐 페어 기준 +0.10을 보였습니다. 본 증거에는 자체 제작된 벤치마크, 단일 머신, 단일 시행 점수 산정이라는 명시된 한계가 수반됩니다.

원문 초록

Small open-weight models (2-9B) run on ordinary laptops, but under cloud-scale agent harnesses they rarely complete real tasks: tool prefill overflows the context, self-correction diverges, tool demonstrations loop, and tasks are silently abandoned. We present evidence, from a controlled single-machine comparison and one third-party benchmark, that a substantial share of these failures is attributable to the harness rather than the model. We introduce Mingbird, a local-first agent harness for Windows and Ollama whose ten mechanisms compensate point-by-point for small-model failure forms, three of them representative: a byte-level net-zero prefill budget, a finish gate that re-reads the task before accepting completion, and signature-level loop detection. On LRAB, a controlled comparison holding machine, models, budgets, and scoring fixed (4 harnesses $\times$ 4 open models (2B-35B) $\times$ 18 real tasks, deterministic artifact scoring), Mingbird reaches 0.886 overall against 0.631 (goose), 0.479 (opencode), and 0.405 (agent-mini), with all 288 cells published; on $τ^2$-bench (278 tasks, three arms, one protocol) it totals 0.856 against 0.791 and 0.737; and a frontier-model probe on the same 18 tasks spans 0.997 to 0.478 across harnesses, with well-formed scaffolds staying within 0.072 of each other. A leave-one-mechanism-out ablation is reported as directional only: same-night replications of the same arm move its mean by up to 0.069, the size of every nominal single-trial delta, and the one batch-matched comparison (full mechanism stack versus text re-read alone) gives the executable completion guards a paired +0.10 across three replications. The evidence carries stated limits: a self-built benchmark, a single machine, and single-trial scoring.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02001v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02181v3cs.CV공통 태그 tool use

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.