테스트는 통과하지만 의미는 놓치다: 계획 기반 데이터프레임 코드 생성에서 나타나는 해석적 고착(Interpretive Lock-In)의 증거
Passing Tests, Missing Semantics: Evidence of Interpretive Lock-In in Plan-Based DataFrame Code Generation
계획(planning)과 수정(revision)은 생성된 코드를 과제 명세에 더 가깝게 만들기 위한 것이다. 그러나 잘못된 해석이 계획, 구현, 테스트 전반에 걸쳐 지속될 수 있는데, 우리는 이러한 패턴을 해석적 고착(interpretive lock-in)이라 부른다. 우리는 TPC Benchmark DS에서 파생된 30개의 데이터프레임(DataFrame) 과제에서 이 위험을 조사하며, Frozen One-Pass, Test-Guided Revision, PlanAudit-Guided Revision 세 가지 파이프라인을 비교한다. 테스트 통과 수는 22/30에서 29/30, 그리고 30/30으로 증가했지만, 생성된 솔루션 중 저장된 참조 출력과 일치하는 것은 하나도 없었다. 평가자 대조군(evaluator control)은 57/57건에서 예상된 결과를 반환했다. 동일 엔진 SQL 재실행은 28/30건의 참조 결과를 재현했으나, 이들 과제에서 테스트를 통과한 77개의 실행 전부가 여전히 참조 결과와 일치하지 않았다. PlanAudit-Guided Revision은 3/30개 과제에서 코드 점수를, 11/30개 과제에서 테스트 커버리지를 개선했지만, 두 지표 모두 쌍대 비교(paired) 중앙값 변화는 0이었다. 실패 분석 결과, 요구사항을 누락한 테스트, 후보 코드가 정의한 스키마를 그대로 채택한 테스트, 판별력이 없는 픽스처(fixture)를 사용한 테스트, 혹은 구현의 잘못된 로직을 그대로 반복한 테스트가 드러났다. 열 개의 표적 과제에 대한 새로운 생성(fresh generation)에서는 참조 일치가 0/30건이었고, 테스트를 통과한 실행 중 25/25건이 거짓 통과(false pass)였다. 이러한 결과는 인과적이라기보다는 진단적인 성격을 가진다. 각 파이프라인은 피드백, 그라운딩(grounding), 호출 예산, 편집 권한 면에서 차이가 있으며, 본 연구는 하나의 모델과 적격 과제당 하나의 주요 생성만을 사용한다. 판정 이전의 인간 라벨이 보존되지 않았기 때문에 평가자 간 일치도(inter-rater agreement)는 재구성할 수 없으며, 메커니즘 분석은 여전히 탐색적 수준에 머문다. 전반적으로, 자체 생성 테스트의 성공률이 점점 높아졌음에도, 재현되지 않은 참조 결과를 제외한 이후에도 의미적 정확성(semantic correctness)은 확립되지 않았다.