얼마나 알려받았는가? 피어 리뷰에 담긴 외부 정보 측정
How Much Were You Told? Measuring External Information in Peer Reviews
학회 정책은 자신의 리뷰를 대규모 언어 모델(LLM)로 다듬는 것과 비평을 위임하는 것을 구분하지만, 현재 인공 텍스트 탐지(ATD) 방법은 대체로 표면 형식을 측정할 뿐 그 내용의 출처는 거의 반영하지 않는다. 우리는 대신 리뷰가 담고 있는 외부 정보, 즉 리뷰 대상 논문과 일반적인 리뷰 지침만으로는 설명되지 않는 정보를 측정한다. Self-Conditioning을 제안한다. 이는 비지도 정보 이론적 추정기로, 생성 맥락 하에서의 리뷰 가능도와, 그 맥락에 리뷰 자체에서 추출한 힌트를 보강했을 때의 가능도를 비교한다. IntelLabs 피어 리뷰 벤치마크에서 Self-Conditioning은 표면적 재작성에는 대체로 둔감하면서도 완전 위임 리뷰와 기계로 다듬은 리뷰를 AUC 최대 $1.0$까지 구분한다. 또한 생성기가 외부에서 제공된 정보를 점점 더 많이 받을수록, 표준 ATD 기준선과 달리 그들의 점수는 단조적으로 인간 영역 쪽으로 이동한다. 고온(high-temperature) 샘플링은 추정기를 회피할 수 있지만, 출력 품질을 희생하는 대가를 치른다.