AI IDE(통합 개발 환경)에서의 규칙 분류 체계와 진화: 마이닝 및 설문 조사 연구
Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study
AI 기반 통합 개발 환경(AI IDEs)의 도입은 개발자가 대규모 언어 모델(LLM)의 컨텍스트에 프로젝트 특정 제약 조건과 아키텍처 가이드라인을 지속적으로 주입할 수 있게 하는 새로운 소프트웨어 아티팩트인 '규칙(Rules)'을 도입했습니다. AI 동작을 개발자 의도와 정렬하는 역할에도 불구하고, 이러한 규칙의 분류 체계, 진화, 그리고 실질적 영향은 대부분 탐구되지 않은 상태입니다. 이러한 격차를 해소하기 위해 우리는 AI IDE 규칙에 대한 혼합 방법 실증 연구를 수행했습니다. 83개의 오픈 소스 프로젝트를 마이닝하고 7,310개의 규칙을 추출하여, 5개의 상위 범주와 25개의 하위 범주로 구성된 포괄적인 분류 체계를 확립했습니다. 그 후 99명의 실무자로부터 받은 설문 응답과 이러한 아티팩트를 결합하여 삼각 검증을 수행했습니다. 분석 결과 개발자의 우선순위와 실제 구성 사이에 대조적인 차이가 발견되었습니다: 실무자들은 아키텍처 제약 조건을 매우 중요하게 평가하지만, 저장소 내 규칙 파일은 주로 저수준 워크플로우 및 코드 포맷팅 제약 조건으로 구성되어 있습니다. 또한 1,540개의 규칙 진화 이벤트에 대한 분석을 통해 규칙이 자주 업데이트됨을 밝혀냈습니다. 저장소 데이터는 규칙 진화가 주로 생산적인 컨텍스트 확장(29.17%)과 보강(26.59%)에 의해 주도됨을 추가로 나타냅니다. 이와 대조적으로 설문에 참여한 개발자들은 주로 AI 오류를 수정하기 위해(77.78%) 규칙을 수정한다고 보고했으며, 이는 기존 규칙을 편집하기보다는 새로운 부정적 제약 조건을 추가하는 방식으로 이루어집니다. 마지막으로, 160개의 규칙 진화 이벤트에 대한 아티팩트 준수 평가를 통해 규칙 업데이트가 소프트웨어 아티팩트의 준수도를 유의미하게 향상시킴을 확인했으며, 업데이트 후 평균 아티팩트 준수율이 22.99%(49.14%에서 72.13%로) 증가했습니다. 본 연구는 개발자가 프롬프트 전략을 최적화하고, 도구 구축자가 AI IDE를 위한 자동화된 충돌 감지 및 컨텍스트 관리 메커니즘을 설계하도록 돕는 실증적 통찰을 제공합니다.