하네스 뒤에 있는 모델은 누구인가? 행동 지문을 통한 코딩 에이전트의 모델 신원 검증
Who Is Behind the Harness? Verifying Model Identity in Coding Agents through Behavioral Fingerprinting
한국어 초록
LLM은 저장소를 검사하고 도구를 호출하며 파일을 수정하는 코딩 에이전트 하네스를 통해 점점 더 많이 운용되고 있다. 따라서 이러한 에이전트 뒤의 모델을 교체하면 변경 사항을 검증하는지, 실패로부터 안전하게 복구하는지 등 보안과 관련된 의사결정이 달라질 수 있다. 기존의 LLM 지문 기법은 대체로 직접적인 텍스트나 토큰 분포로부터 신원을 추론한다. 코딩 에이전트에서는 이러한 신호가 시스템 지시문, 컨트롤러 로직, 도구, 실행 피드백에 의해 매개되므로 적용 가능성이 제한된다. 본 논문은 코딩 에이전트 실행을 위한 능동적 블랙박스 지문 방법인 LIDAR(LLM Identification from Decisions and Actions at Runtime)를 제시한다. 세 쌍의 코딩 프로브는 통제된 변경 아래에서 수정 후 검증, 일시적 실패로부터의 복구, 명세와 테스트 간 충돌 해결을 드러낸다. LIDAR는 그 결과로 나온 궤적을 상호 보완적인 인스턴스 수준 및 분포 수준 특징으로 표현하고, 경량 확률적 식별기를 사용하여 깨끗한 참조와 비교한다. 이 방법은 모델 가중치, 로짓, 제공자 내부 정보에 대한 접근을 요구하지 않는다. 우리는 OpenCode, OpenHands, mini-swe-agent에서 8개 계열의 24개 모델을 평가하였으며, 하네스마다 별도의 참조를 적합하였다. 폐쇄 집합 Top-1 정확도는 세 하네스에서 91.39%에서 98.89% 사이였고, 모든 설정에서 세 가지 기준선을 모두 능가하였다. 감사 대상에 같은 계열의 미등록 모델이 포함된 경우 균형 정확도는 79.58%에서 80.42%였다. 이러한 결과는 에이전트의 실행 행동이 최종 출력을 넘어서는 모델 신원의 증거를 제공함을 보여 준다.
원문 초록
LLMs increasingly operate through coding-agent harnesses that inspect repositories, invoke tools, and modify files. Substituting the model behind such an agent can therefore change security-relevant decisions, including whether it verifies changes or recovers safely from failures. Existing LLM fingerprints largely infer identity from direct text or token distributions. In coding agents, these signals are mediated by system instructions, controller logic, tools, and execution feedback, limiting their transfer. We present LIDAR (LLM Identification from Decisions and Actions at Runtime), an active black-box fingerprinting method for coding-agent execution. Three coding probe pairs expose post-edit verification, transient-failure recovery, and specification--test conflict resolution under controlled changes. LIDAR represents the resulting trajectories with complementary instance-level and distribution-level features and compares them with clean references using a lightweight probabilistic identifier. It requires no access to model weights, logits, or provider internals. We evaluate 24 models from eight families on OpenCode, OpenHands, and mini-swe-agent, fitting separate references for each harness. Closed-set Top-1 accuracy ranges from 91.39\% to 98.89\% across the three harnesses, exceeding all three baselines in each setting. When the audit also includes unregistered models from the same families, balanced accuracy ranges from 79.58\% to 80.42\%. These results show that agent execution behavior provides model-identity evidence beyond final outputs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28559v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.