코딩 에이전트가 우리를 속이는가? 무작위 테스트를 통한 상한 평가로 부정행위 탐지 및 예방
Do Coding Agents Deceive Us? Detecting and Preventing Cheating via Capped Evaluation with Randomized Tests
원문 초록
A growing failure mode in agent evaluation and training is that models can achieve high evaluation scores (e.g., test pass rates) by exploiting shortcuts instead of solving the intended task, making these scores deceptive. This makes evaluation scores unreliable as measures of true task-solving ability. We propose CapCode, a framework for constructing coding datasets with randomized tests whose best achievable non-cheating score is deliberately capped below 100%. This capped-score design gives evaluation scores a clearer interpretation: scores substantially above the cap are implausible and therefore provide evidence of cheating. To prevent cheating, we propose CapReward, a reward design based on the CapCode principle to discourage optimization beyond the cap. Experiments across multiple datasets show that CapCode detects cheating while preserving performance ranking of models, and CapReward reduces cheating behavior, yielding models that better follow the intended task specification.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.07379v3제출 시각 미확인
- arXiv:2606.07379v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AgentSWE: 코딩 에이전트는 사용자가 실제로 원하는 에이전트를 구축할 수 있는가?
AgentSWE: Can Coding Agents Build the Agent You Actually Want?
소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.
코드 이해는 코딩 에이전트의 병목 현상이다
Code Understanding is a Bottleneck for Coding Agents
코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.
WebUIProof: UI-에이전트 실행 하네스를 활용한 WebUI 코드 생성기 벤치마킹
WebUIProof: Benchmarking WebUI Code Generators with UI-Agent Execution Harness
WebUI 코드 생성을 대규모로 평가하는 것은 어렵습니다. 생성 결과물이 컴파일되고 그럴듯해 보일 수 있지만 사용자 상호작용에서는 실패할 수 있으며, 기존 벤치마크는 주로 기능적 정확성을 놓치는 정적 검사(빌드 성공, 스크린샷)와 자유 형식 프롬프트에 크게 의존합니다. 본 논문에서는 일반 WebUI(예: 대시보드, 게임, 대화형 도구)와 3D 대화형 시뮬레이션(예: 입자/은하계 시스템, 물리 역학)의 두 가지 작업군에 걸쳐 WebUI 생성을 위한 구조화된 명세와 조밀하고 실행 가능한 상호작용 테스트를 제공하는 실행 지향적 벤치마크인 WebUIProof를 소개합니다. WebUIProof는 반복적인 계획-행동-관찰(plan-act-observe) 루프를 사용해 헤드리스 브라우저에서 실행 가능한 상호작용 테스트를 구동하는 UI-에이전트(UI-agent) 하네스를 포함합니다. 이는 DOM 요소를 찾고, 행동을 수행하며, 그 결과로 나타나는 UI/DOM 변화를 관찰하고, 지정된 단언문(assertions)을 확인합니다. 8개의 상용 대규모 언어 모델(LLM)에 대해 평가를 진행한 결과, 페이지가 성공적으로 렌더링되더라도 상호작용 기반 요구사항에서 빈번한 실패가 발생함을 관찰했으며, 특히 3D 시뮬레이션 인터페이스에서 이러한 현상이 두드러졌습니다. 마지막으로, UI-에이전트 하네스가 결과 수준의 학습(training) 신호를 제공할 수 있음을 보여줍니다. 실행 가능한 상호작용 테스트에서 파생된 강화학습(RL) 보상으로 소형 모델(예: Qwen2.5 14B 및 MIMO 7B)을 학습시키면 빌드 실패를 줄이면서 기능적 완성도를 향상시킬 수 있습니다.
MedHarnessBench: 헬스케어 에이전트(Agent) 평가를 위한 통합 벤치마크
MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation
헬스케어 에이전트(agent)는 이질적인 도구와 상태를 유지하는 워크플로우를 통해 종단적인(longitudinal) 임상 증거를 신뢰할 수 있는 행동으로 변환해야 하며, 이러한 조건에서 모델 중심 시스템은 컨텍스트를 잃거나, 도구를 오용하거나, 중대한 상태 전환을 검증하지 못하거나, 권한 경계를 침범할 수 있다. 기존의 의료 에이전트 벤치마크는 주로 최종 작업 결과(terminal task outcome)를 강조하기 때문에, 실행 실패가 에이전트 모델, 런타임 하네스(harness), 혹은 이들의 상호작용 중 어디에서 발생하는지 판단하기 어렵다. 우리는 결과를 보존하면서 일곱 가지 헬스케어 특화 프로세스 차원—진료 조치 이행(Care Action Fulfillment), 임상 자원 활용 능력(Clinical Resource Competence), 환자-증거 정합성(Patient-Evidence Alignment), 임상 워크플로우 연속성(Clinical Workflow Continuity), 임상 감사 가능성(Clinical Auditability), 폐루프 검증(Closed-Loop Verification), 임상 행위 경계(Clinical Conduct Boundaries)—을 독립적으로 평가하는 프레임워크인 Medical Harness Protocol을 제시한다. 또한 정규화된 개입 추적(normalized intervention trace)은 런타임 지원이 제공 가능한지(available), 활성화되었는지(activated), 전달되었는지(delivered), 에이전트에 의해 채택되었는지(adopted), 그리고 이후 행동에 전파되었는지(propagated)를 추적한다. 우리는 이 프로토콜을 FHIR/EHR 연산, 헬스케어 행정 인터페이스, 멀티모달 임상 도구 전반에 걸친 342개의 실행 가능한 작업으로 구성된 MedHarnessBench로 구체화한다. 16,000회 이상의 통제된 작업 실행에서 MedHarness는 최종 작업 성공률, 중간 하위 작업 완료율, 헬스케어 특화 프로세스 품질 전반에서 폭넓은 개선을 보인다. 또한 우리는 MedHarness를 여러 범용 하네스(harness)와 비교 평가하고, 통제된 단일 결함 교란(single-fault perturbation)을 사용하여 일곱 차원 평가의 민감도와 구분력을 검증한다. 이러한 결과는 헬스케어 특화 런타임 지원이 작업 완료율과 실행 품질을 모두 상당히 개선할 수 있음을 보여주는 동시에, 최종 결과만으로는 포착할 수 없는 실패를 드러낸다. 코드와 자료는 https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare 에서 확인할 수 있다.
PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법
PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.
테스트는 통과하지만 의미는 놓치다: 계획 기반 데이터프레임 코드 생성에서 나타나는 해석적 고착(Interpretive Lock-In)의 증거
Passing Tests, Missing Semantics: Evidence of Interpretive Lock-In in Plan-Based DataFrame Code Generation
계획(planning)과 수정(revision)은 생성된 코드를 과제 명세에 더 가깝게 만들기 위한 것이다. 그러나 잘못된 해석이 계획, 구현, 테스트 전반에 걸쳐 지속될 수 있는데, 우리는 이러한 패턴을 해석적 고착(interpretive lock-in)이라 부른다. 우리는 TPC Benchmark DS에서 파생된 30개의 데이터프레임(DataFrame) 과제에서 이 위험을 조사하며, Frozen One-Pass, Test-Guided Revision, PlanAudit-Guided Revision 세 가지 파이프라인을 비교한다. 테스트 통과 수는 22/30에서 29/30, 그리고 30/30으로 증가했지만, 생성된 솔루션 중 저장된 참조 출력과 일치하는 것은 하나도 없었다. 평가자 대조군(evaluator control)은 57/57건에서 예상된 결과를 반환했다. 동일 엔진 SQL 재실행은 28/30건의 참조 결과를 재현했으나, 이들 과제에서 테스트를 통과한 77개의 실행 전부가 여전히 참조 결과와 일치하지 않았다. PlanAudit-Guided Revision은 3/30개 과제에서 코드 점수를, 11/30개 과제에서 테스트 커버리지를 개선했지만, 두 지표 모두 쌍대 비교(paired) 중앙값 변화는 0이었다. 실패 분석 결과, 요구사항을 누락한 테스트, 후보 코드가 정의한 스키마를 그대로 채택한 테스트, 판별력이 없는 픽스처(fixture)를 사용한 테스트, 혹은 구현의 잘못된 로직을 그대로 반복한 테스트가 드러났다. 열 개의 표적 과제에 대한 새로운 생성(fresh generation)에서는 참조 일치가 0/30건이었고, 테스트를 통과한 실행 중 25/25건이 거짓 통과(false pass)였다. 이러한 결과는 인과적이라기보다는 진단적인 성격을 가진다. 각 파이프라인은 피드백, 그라운딩(grounding), 호출 예산, 편집 권한 면에서 차이가 있으며, 본 연구는 하나의 모델과 적격 과제당 하나의 주요 생성만을 사용한다. 판정 이전의 인간 라벨이 보존되지 않았기 때문에 평가자 간 일치도(inter-rater agreement)는 재구성할 수 없으며, 메커니즘 분석은 여전히 탐색적 수준에 머문다. 전반적으로, 자체 생성 테스트의 성공률이 점점 높아졌음에도, 재현되지 않은 참조 결과를 제외한 이후에도 의미적 정확성(semantic correctness)은 확립되지 않았다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.