Amazon Prime Video에서는 라이브 이벤트 및 신속한 기능 릴리스 중 서비스 중단 없이 코드 배포를 관리해야 하는 중요한 운영 과제에 직면해 있습니다. 현재의 변경 통제 방식은 위험도와 무관하게 모든 변경을 차단하는 일괄 배포 동결을 사용하여 개발자에게 상당한 부담을 야기합니다. 기존 연구에서 위험 변경 예측기를 탐구했으나, 이는 개발자별 메타데이터나 방대한 과거 데이터에 의존하여 개인정보 보호 문제를 초래하고 신규 프로젝트 적용을 제한합니다. 본 논문에서는 코드 수정으로부터 직접 도출된 특징인 diff 인식 특징(diff-aware features)을 중심으로 한 프레임워크를 소개합니다. 핵심 기여는 위험 예측에 필요한 정량적 지표(코드 수준 및 변경 수준 지표)와 정성적 지표(코딩 스타일 위반, 변경 유형 분류)를 체계적으로 식별한 것입니다. 대규모 언어 모델(LLM)을 다중 언어 특징 추출기로 활용하여 생성 작업을 넘어선 코드 분석에서의 효과를 입증하고, 언어별 툴링의 필요성을 제거했습니다. 본 프레임워크를 두 데이터셋, 즉 Prime Video의 프로덕션 환경과 공개 ApacheJIT 데이터셋에서 평가했습니다. 최고 성능 모델은 두 데이터셋 전반에 걸쳐 위험 코드 변경 탐지에서 평균 재현율 0.83, F1 점수 0.81을 달성했습니다. 특히, 절제 분석(ablation analysis)을 통해 변경 수준 볼륨 지표(예: 추가/삭제된 코드 라인 수)는 노이즈가 많은 예측 변수인 반면, 구조적 코드 복잡도는 실질적으로 더 강력한 위험 신호를 제공함을 확인했습니다. 이러한 결과는 신중한 특징 선별이 개인정보 보호 문제를 피하면서 다양한 프로그래밍 언어 및 조직적 맥락에 걸쳐 효과적인 변경 위험 평가를 가능하게 함을 보여줍니다.
머신러닝(ML) 및 인공지능(AI) 모델의 예측 결과는 이해 가능한 설명이 수반되지 않으면 종종 회의적으로 받아들여진다. 저스트-인-타임 결함 예측(just-in-time defect prediction)의 맥락에서, 규칙 기반 린트(lint)를 넘어 소프트웨어 변경 사항(diff) 중 위험이 집중될 수 있는 소규모 부분을 부각하는 방법은 아직 광범위하게 연구되지 않았다. 본 연구에서는 LLM 기반 Diff Risk Score(DRS) 모델의 어텐션 가중치를 활용하여, 위험도 예측 시 모델이 집중하는 diff의 특정 부분을 강조한다. 토큰 수준의 어텐션을 해석 가능한 코드 단위(라인, 헝크(hunk), 파일)로 집계하고, 상위 K개 단위를 코드 리뷰 과정에서 개발자에게 경량 가이던스 형태로 제공한다. 실제 장애를 유발한 변경 사항에 대해 전문가가 레이블링한 데이터를 사용하여 접근법을 평가하였다. 결과에 따르면, 상위 2개 헝크를 강조할 때 전문가가 레이블링한 장애 유발 변경 라인의 53.85%를 커버하며, 개발자가 검토해야 하는 변경 라인은 평균 26.28%에 불과하다. 어텐션은 표준 모델 추론 과정에서 생성되므로, 이 접근법은 대규모 개발 워크플로에 적용 가능하며 추가적인 지연을 최소화하면서 코드 리뷰 UI에 노출될 수 있다.
소프트웨어 결함 예측(SDP) 데이터셋에서 클래스 불균형과 클래스 중첩이 동시에 발생할 때 딥러닝 모델의 학습 동역학(training dynamics)에 어떤 패턴이 나타나는지를 규명하는 연구로, UBD 클래스 수준 데이터셋에 고정 MLP를 적용해 단일 조건·결합 조건별 개입 실험을 수행한다. 기존 연구가 엔드포인트 성능 지표에만 집중했던 한계를 넘어, 그래디언트·가중치·오류 궤적 등 학습 내부 패턴에 대한 상호작용 인식 분류 체계를 제안하는 것을 목표로 한다.