개발자들은 점점 두 개의 코딩 에이전트를 함께 사용하고 있다. 하나는 초안을 작성하고, 다른 하나는 이를 검토한다. 그러나 이러한 조합이 비용과 시간 대비 가치가 있는지, 또는 조합의 순서가 중요한지는 명확하지 않다. 우리는 Claude와 Codex를 사용해 116개의 최근 hard 및 medium lcb 태스크에 대해 여섯 가지 조건으로 통제 실험을 수행하여 소프트웨어 실무자의 워크플로를 근사했다. 조건은 두 가지 단독 기준선, 두 가지 교차 모델 순서, 두 가지 동일 모델 순서로 구성된다. 검토자는 문제와 작성자의 초안을 볼 수 있지만 테스트를 실행할 수는 없으며, 이는 코드 리뷰 단계를 근사한다. Claude 검토는 Codex 초안의 통과율을 71.6%에서 89.7%로 높인다($p_{BH}=.001$); Codex 자체 검토는 84.5%로 높인다($p_{BH}=.022$). 반대 방향은 효과가 없다. Codex가 Claude 초안을 검토하면 통과율이 91.4%에서 82.8%로 떨어진다($p_{BH}=.046$), Claude 자체 검토는 91.4% 기준선을 변화시키지 않는다. 우리의 평가는 유용한 조합이 비대칭적임을 보여준다. Claude로 Codex를 검토하되, 그 반대는 아니다.
대규모 언어 모델(LLM) 기반 코딩 에이전트는 인간 리뷰 피드백에서 받은 수정 사항을 유지하는 메커니즘이 없기 때문에 세션 간에 동일한 유형의 실수를 반복한다. 우리는 수락된 모든 리뷰 코멘트를 지속적인 행동 규칙으로 구체화하여, 에이전트가 자체적으로 탐지할 수 있는 오류 유형의 집합을 점진적으로 확장하는 폐루프 프레임워크를 제안한다. 이 프레임워크는 버전 관리되는 지시 파일에 축적되는 규칙 집합, 코드 제출 전에 실행되는 자기 검토 체크리스트, 규칙 집합이 성장함에 따라 그 무결성을 보장하는 자동화된 검증을 결합한다. 35개 이상의 서비스로 구성된 마이크로서비스 플랫폼에 배포한 결과, 규칙 집합은 실제 리뷰 피드백에서 파생된 5개에서 18개의 행동 규칙, 15개 이상의 언어별 표준, 15개 항목의 자기 검토 체크리스트로 성장했다. 코드 생성, PR 리뷰, 사고 조사, 교차 서비스 리팩터링에 걸친 11회의 기록된 작업 세션에서 얻은 실증 결과를 제시한다. 축적된 규칙이 리뷰 노력을 저수준 정확성에서 설계 수준의 검증으로 전환시키고, 규칙에 의해 금지된 오류 유형에 대해 측정된 0% 재발률을 달성하며, 이질적인 에이전트 인터페이스 간에 전이된다는 것을 관찰한다. 경험적 LLM 학습(Reflexion, ExpeL, Voyager) 및 자동화된 코드 리뷰(CodeReviewer, SWE-bench agents) 관련 연구와 우리 접근법을 비교하여, 우리 프레임워크가 가중치 업데이트 없이 지속적인 세션 간 학습을 달성하고, 합성 벤치마크가 아닌 프로덕션 코드베이스에서 동작하며, 기존 벤치마크가 측정하지 않는 직교 차원(시간에 따른 행동 일관성)을 다룬다는 것을 보여준다. 그 결과, 단 하나의 모델 가중치도 변경하지 않고 매 리뷰 주기마다 개선되며 인간 협업자들의 엔지니어링 지혜를 축적하는 코딩 에이전트가 된다.
코딩 에이전트가 이제 풀 리퀘스트 전체를 작성하게 되면서, 이것이 코드 리뷰에 미치는 영향에 대해 실무자들의 의견이 첨예하게 갈린다. 코드 리뷰가 병목 지점이 되는지, 인간의 리뷰가 여전히 필요한지, 그리고 코드 리뷰가 한때 쌓아주던 이해력을 조용히 잠식하는지에 대한 논쟁이다. 저장소 마이닝 연구는 표면적 트렌드를 측정하지만 그 이면의 메커니즘을 거의 설명하지 못하며, 트렌드 자체도 불안정한 것으로 나타난다. 동기 부여 목적으로 수행한 공개 GitHub 활동 관찰 분석에 따르면, 에이전트가 작성한 풀 리퀘스트는 인간이 작성한 것보다 리뷰 빈도가 낮고, 수 배 빠르게 병합되며, 논의도 적다. 그러나 이러한 트렌드의 방향은 동등하게 타당한 다른 분석 선택에 따라 반전되므로, 이 흔적들은 무엇이 변하고 있는지는 보여주되 왜 그런지는 설명하지 못한다. 메커니즘을 규명하기 위해, 우리는 실무자 담론을 대규모로 종합하여 설명적 이론을 구축한다. 구체적으로 38,709개의 회색 문헌(엔지니어링 블로그와 Reddit 스레드)을 수집하고, 코드 리뷰에 실질적으로 관련된 문서를 필터링한 후, 대규모 언어 모델(LLM) 보조 파이프라인으로 층화 무작위 표본 3,100개를 코딩하여, 26개의 구성 개념과 67개의 관계(지향 관계 64개, 경합 관계 3개)로 이루어진 인과 모델을 구축한다. 이 이론의 핵심 주장은 리뷰가 코딩 에이전트의 소프트웨어에 대한 효과가 결정되는 제어 지점이며, AI는 그 효과의 방향을 고정하지 않는다는 것이다. 방향을 결정하는 것은 팀이며, 구성원 인간의 전문성과 리뷰 프로세스를 구조화하는 방식에 달려 있다. 이 이론은 경쟁하는 입장들을 명시적으로 드러내고, "AI가 코드 리뷰를 변화시키고 있다"는 명제를 명명된 구성 개념과 조절 변수를 갖춘 반증 가능한 명제로 전환한다. 부차적 기여로서, 우리는 소프트웨어 공학 연구를 위한 확장 가능한 템플릿으로서 LLM 보조 회색 문헌 이론 구축 방법과 공개 구현체를 제공한다.
머신러닝(ML) 및 인공지능(AI) 모델의 예측 결과는 이해 가능한 설명이 수반되지 않으면 종종 회의적으로 받아들여진다. 저스트-인-타임 결함 예측(just-in-time defect prediction)의 맥락에서, 규칙 기반 린트(lint)를 넘어 소프트웨어 변경 사항(diff) 중 위험이 집중될 수 있는 소규모 부분을 부각하는 방법은 아직 광범위하게 연구되지 않았다. 본 연구에서는 LLM 기반 Diff Risk Score(DRS) 모델의 어텐션 가중치를 활용하여, 위험도 예측 시 모델이 집중하는 diff의 특정 부분을 강조한다. 토큰 수준의 어텐션을 해석 가능한 코드 단위(라인, 헝크(hunk), 파일)로 집계하고, 상위 K개 단위를 코드 리뷰 과정에서 개발자에게 경량 가이던스 형태로 제공한다. 실제 장애를 유발한 변경 사항에 대해 전문가가 레이블링한 데이터를 사용하여 접근법을 평가하였다. 결과에 따르면, 상위 2개 헝크를 강조할 때 전문가가 레이블링한 장애 유발 변경 라인의 53.85%를 커버하며, 개발자가 검토해야 하는 변경 라인은 평균 26.28%에 불과하다. 어텐션은 표준 모델 추론 과정에서 생성되므로, 이 접근법은 대규모 개발 워크플로에 적용 가능하며 추가적인 지연을 최소화하면서 코드 리뷰 UI에 노출될 수 있다.
Recursive self-training can degrade neural generative models when generated data is reused without fresh human data or external quality control. We study this risk in code LLMs, where AI-generated code can enter real repositories, later become training data, and create a repository-scale self-training loop. While software development traditionally interrupts this loop through pull-request review, tests, compilation, and human approval, AI coding tools now produce code faster than humans can review it, and code review itself is increasingly automated by AI systems. We therefore compare three recursive fine-tuning regimes: no review, Human-gate review using model-independent filters such as compilation and static quality checks, and AI-self-gate review using the code LLM's own signals such as perplexity and binary self-scoring. Across multiple code LLMs and benchmarks, no review collapses fastest, Human-gate filters slow but do not stop collapse, and AI-self-gate filters can look strong early but later lose their filtering effect. In the clearest case, the binary self-gate enters a rubber-stamp regime where acceptance scores rise while benchmark correctness falls. We explain this behavior by formulating review as gated distributional reweighting, proving that AI self-gating degenerates to ungated self-training under a self-confirming acceptance condition, and giving a spectral analysis of representation-level covariance concentration under recursive retraining. These results suggest that stable recursive code LLM training requires exogenous verification rather than model-coupled self-review.
AI 코딩 에이전트는 점점 더 배정된 소프트웨어 작업을 수락하고, 제한된 권한 하에서 저장소를 수정하며, 검토를 위해 작업 패키지를 반환한다. 선행 연구는 작업, 권한, 반환된 작업 패키지, 수락 맥락을 포괄하는 소프트웨어 위임 계약을 위임된 코딩 작업의 분석 단위로 제안했지만, 그 효과를 측정하지는 않았다. 본 논문은 코딩 에이전트를 위한 명시적 위임 계약에 대한 통제된 파일럿 연구를 보고한다. 우리는 시드된 결함과 문서화 공백을 포함한 의존성 없는 TypeScript API 작업 환경을 구축하고, 다섯 가지 패밀리에 걸쳐 열 개의 작업을 작성했으며, 두 모델 티어에서 64회의 에이전트 실행을 세 가지 조건—현실적인 이슈 스타일 프롬프트, 명시적 위임 계약, 필수 증거 번들을 요구하는 계약—하에 수행했다. 각 실행은 숨겨진 수락 테스트, 변이 검사, 범위 분석으로 채점한 후, 고정된 루브릭을 사용하는 세 명의 독립적 조건-블라인드 모델 기반 검토자에 의해 검토되어 총 192건의 리뷰가 이루어졌다. 명시적 계약은 객관적 작업 결과를 개선하지 않았다: 64회 실행 모두 숨겨진 수락 검사를 통과했으며, 범위 위반은 0건이었다. 그러나 검토 가능성은 개선되었다. 증거 충분성은 30건의 쌍 비교 중 22건에서 개선되었고 악화된 경우는 없었다(5점 척도에서 +0.83, p < 0.0001, Cliff's delta = 0.66); 검토자 모호성은 감소했다(p = 0.035); 변경 파일 목록, 알려진 한계 섹션, 잔여 위험 섹션, 검토자 체크리스트는 대부분 또는 전적으로 계약이 요구할 때만 나타났다. 계약은 에이전트 토큰 +13%, 경과 시간 +38%의 비용을 수반했으며, 더 약한 모델 티어에서 효과가 더 컸다. 이러한 소규모 작업에서는 위임 계약이 정확성보다는 검토 가능성을 확보했다.