arXiv:2611.21845v1 cs.SE

EmbedGym: 코딩 에이전트가 물리적 하드웨어 없이 임베디드 펌웨어를 개발하고 디버깅하게 하기

EmbedGym: Letting Coding Agents Develop and Debug Embedded Firmware Without Physical Hardware

Minghui Zhao, Yiming Li, Sophie Zhu, Maxwell Khor, Lauren Ouyang, Hai "Helen" Li, Yiran Chen, Tingjun Chen

제출 2026-11-18

한국어 초록

최신 코딩 에이전트는 코드와 단위 테스트를 폐쇄 루프로 실행할 수 있기 때문에 일반 소프트웨어 벤치마크에서 좋은 성능을 보인다. 그러나 임베디드 펌웨어 개발은 이 루프를 깨뜨린다. 컴파일되는 프로그램도 핀 극성, 버스 프로토콜, 타이밍, 네트워킹 버그 때문에 실제 하드웨어에서는 실패할 수 있으며, 텍스트 터미널의 에이전트는 이를 관찰할 수 없다. 기존 임베디드 코딩 에이전트는 하드웨어 실행을 생략하거나, 수 초의 지연이 있는 GPIO 전용 시뮬레이터를 구동하거나, 정적인 환경에서 물리 보드로 테스트한다. 본 논문에서는 코딩 에이전트가 물리적 하드웨어 없이 임베디드 펌웨어를 개발하고 디버깅할 수 있게 하는 상호작용형 가상 하드웨어 환경 EmbedGym을 제시한다. EmbedGym은 물리 보드에 플래시될 동일한 바이너리를 실행하는 명령어 수준 마이크로컨트롤러(MCU) 에뮬레이터를 사용하고, 이를 41개의 주변장치 모델, 아날로그 회로 시뮬레이터, 가상 WiFi/Bluetooth Low Energy(BLE) 엔드포인트에 연결하며, 에이전트가 센서 입력을 변경하고 버튼을 누르고 하드웨어 상태를 검사할 수 있는 인터페이스를 제공한다. 그 위에 우리는 데이터시트와 드라이버 라이브러리로부터 주변장치 모델과 과제를 합성하는 5단계 멀티 에이전트 워크플로를 사용하여, 6개의 MCU-프레임워크 쌍에 걸친 598개 과제로 구성되고 숨겨진 시간 기반 테스트 벡터로 채점되는 EmbedGym-Bench를 구축한다. 우리는 EmbedGym을 코딩 에이전트에 세 가지 수준으로 제공하고 14K개 이상의 궤적에 걸쳐 여덟 개 모델을 평가한다. 컴파일이 99.7% 성공하는 경우에도 컴파일된 펌웨어의 19.9%가 런타임에 실패한다(개별 타깃에서는 최대 73%). 반면 EmbedGym에서의 상호작용형 하드웨어 테스트는 모델 전반의 통과율을 +4.9%에서 +14.7%까지(개별 타깃에서는 최대 +31%) 높인다. 또한 결과는 EmbedGym을 갖춘 에이전트가 기존 임베디드 에이전트 프레임워크를 능가하며, EmbedGym을 갖춘 경량 모델이 이를 갖추지 않은 최첨단 모델과 대등한 성능을 30~70배 낮은 비용으로 달성함을 보여준다.

원문 초록

Modern coding agents perform well on general software benchmarks because they can run code and unit tests in a closed loop. Embedded firmware development, however, breaks this loop: a program that compiles can still fail on real hardware due to pin polarity, bus protocol, timing, or networking bugs that an agent at a text terminal cannot observe. Existing embedded coding agents either skip hardware execution, drive GPIO-only simulators with multi-second delays, or test on physical boards in a static environment. In this paper, we present EmbedGym, an interactive virtual hardware environment that lets coding agents develop and debug embedded firmware without physical hardware. EmbedGym uses instruction-level microcontroller unit (MCU) emulators to execute the same binary that would be flashed onto a physical board, connects them to 41 peripheral models, an analog circuit simulator, and virtual WiFi/Bluetooth Low Energy (BLE) endpoints, and exposes an interface for agents to change sensor inputs, press buttons, and inspect hardware states. On top of it, we build EmbedGym-Bench, which consists of 598 tasks across 6 MCU-framework pairs graded by hidden timed test vectors, using a five-stage multi-agent workflow that synthesizes peripheral models and tasks from datasheets and driver libraries. We expose EmbedGym to a coding agent at three levels and evaluate eight models over more than 14K trajectories. Even when compilation succeeds 99.7% of the time, 19.9% of compiled firmwares fail at runtime (up to 73% on individual targets). In contrast, interactive hardware testing in EmbedGym increases pass rates across models by +4.9% to +14.7% (up to +31% on individual targets). Our results also show that an agent with EmbedGym outperforms prior embedded agent frameworks, and lightweight models with EmbedGym match frontier models without it at 30-70x lower cost.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21845v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.