AppliedScientist: 반복적 AI 리뷰를 통한 자동 과학 논문 수정
AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing
자동 리뷰 시스템은 생성하는 리뷰의 품질을 기준으로 점점 더 평가받고 있다. 그러나 리뷰는 그에 따라 조치를 취했을 때 논문에서 측정 가능한 개선으로 이어질 때에만 유용하다. 본 논문은 자율 AI 과학자와 AI 리뷰어를 결합한 폐루프(closed-loop) 시스템인 AppliedScientist를 제안하고, 다양한 연구 하위 분야에서 거절된 논문을 반복적으로 수정하여 이를 평가한다. 인간 저자가 이전 초안을 바탕으로 작성하는 방식을 반영하기 위해, AI 과학자는 수정 과정에서 이전 버전에 접근할 수 있다. 그러나 이전 판단으로 인한 바이어스를 피하기 위해 각 리뷰는 독립적으로 생성되며, 리뷰어는 이전 피드백이나 점수에 대한 기억을 갖지 않는다. 세 가지 수정 설정을 비교한다: 원래 venue 리뷰로 초기화한 경우, AI 생성 리뷰로 초기화한 경우, 매 라운드 동일한 고정 프롬프트를 사용하는 자율적 자기 수정. 리뷰어가 수정을 안내하면서 동시에 평가하기 때문에, Stanford Reviewer를 독립 평가자로 사용하여 인간이 초기화한 수정본도 평가한다. 리뷰어가 안내한 수정은 고정 프롬프트 자기 수정보다 지속적으로 더 많이 개선되며, Stanford Reviewer 또한 후속 수정본에 더 높은 점수를 부여한다. AppliedScientist는 실행 관련 약점 150건 중 128건(85.3%)을 해소하지만, 아이디어 관련 약점 18건 중 2건(11.1%)만 해소하여, 반복적 수정은 실험과 구현 개선에는 효과적이지만 참신성이나 중요성에 대한 우려는 거의 바꾸지 못함을 시사한다.