PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28090v1cs.CL

대규모 언어 모델(LLM)은 조작된 백테스트를 잡아낼 수 있는가? 클린-대조군 캘리브레이션 벤치마크

Can LLMs Catch a Rigged Backtest? A Clean-Control Calibration Benchmark

백테스트 감사는 캘리브레이션(calibration) 문제입니다. 모델이 매칭된 정상(clean) 전략까지 거짓으로 결함이 있다고 표시(flag)한다면 결함 재현율(recall)이 높아도 유용하지 않습니다. 본 연구에서는 전략, 기간, 코드 스타일, 라벨, 보고 스캐폴드를 고정한 채 방법론 세부사항 단 하나만을 변경하여 결함이 있는 모든 백테스트마다 정상 대조군(clean control)을 둔 96개 항목의 쌍체(paired) 벤치마크를 구축합니다. 결정론적 평가기(deterministic scorer)는 결함 재현율, 정상 대조군 위양성(false positive), 증거 위치 파악(localization), 수정 적합성을 분리하여 측정합니다. 네 가지 텍스트 엔드포인트에서 캐시된 1,440개의 감사를 평가한 결과, 기본 DeepSeek 감사 모델은 100.0%의 폐쇄형 및 정상 인식(clean-aware) 코드 재현율을 달성했으나, 개방형 프롬프트에서는 정상 코드 대조군의 93.8%를 과도하게 결함으로 표시했으며, 재현율이 포화된 영역에서도 정상 인식 전체(all-three) 특이도(specificity)는 87.5%에 머물렀습니다. 정상 인식 경고를 제공하면 동일한 재현율을 유지하면서 DeepSeek의 코드 위양성률이 20.8%(95% CI 11.7--34.3)에서 0.0%(0.0--7.4)로 떨어지는 반면, 예산 앵커(budget anchor) 모델은 동일한 프롬프트 하에서도 여전히 48개 중 38개의 정상 대조군에 결함 표시를 남겼습니다. 재현율만을 보고할 경우 이 네 모델 중 세 모델의 순위가 동일하게 매겨지지만, 정상 대조군 비율을 함께 보고하면 이들 간의 격차는 79포인트까지 벌어집니다.