다음 LLM을 위한 사전등록으로 LLM 기반 p-해킹 완화
Mitigating LLM-based p-Hacking by Preregistering for the Next LLM
대규모 언어 모델(LLM)은 데이터를 생성·분류·주석 처리하는 데 점점 더 많이 사용되며, 그 출력은 하류 가설 검정에 활용된다. 그러나 LLM 기반 연구에서는 p-해킹(p-hacking)이 쉽다. 연구자는 원하는 결과가 나올 때까지 프롬프트(prompt), 디코딩(decoding) 파라미터, 또는 출력 형식을 조정할 수 있다. 우리는 LLM 기반 연구에서 p-해킹을 완화하기 위한 프로토콜을 제안한다. 실험과 적격 모델을 사전등록(preregister)한 뒤, 사전등록 이후 출시되는 첫 번째 적격 LLM에서 실험을 수행하는 방식이다. 연구자는 현재 모델에서 절차를 확정하고, 분석 계획과 함께 적격한 미래 모델 집합을 사전등록한 뒤, 이후 출시된 첫 번째 적격 모델에서 확정적(confirmatory) 분석을 수행한다. 이 모델은 확약(commitment) 시점에는 존재하지 않으므로 대상으로 p-해킹할 수 없으며, 한 모델에 대해 p-해킹에 성공한 설정은 다음 모델로 자주 이전되지 않는다. 우리는 실제 값이 알려진 두 과제에서 이 프로토콜을 평가한다. 4개 제공업체의 20개 모델과 11개 LLM 분석 설정에 걸쳐, 이 프로토콜은 두 과제에서 각각 73.9% 및 72.7%의 경우 p-해킹의 성공적 이전을 차단했을 것이다. 추가 분석은 여러 스트레스 테스트(stress test)에서도 완화 효과가 상당함을 보여준다. 마지막으로, 우리는 자신의 주장을 실천하여 실험을 사전등록하고 그 프로토콜을 따랐다. 사전등록된 실험은 프로토콜의 효과를 확인했다. 이전 모델에서 p-해킹에 성공한 7개 설정 중 6개는, 이후 출시된 첫 번째 적격 모델에서 p-해킹이 이전되지 못했다.