PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00531v1cs.AI

과학인가 조잡한 생성물인가?: AI 생성 논문 내 과학적 무성의함 벤치마킹 및 완화

Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers

흔히 AI 슬롭(AI slop)이라 불리는 AI 생성 콘텐츠는 모든 분야에서, 특히 학계에서 점점 더 흔해지고 있습니다. 그러나 AI가 생성한 과학 논문 속 슬롭은 기존 토큰(token) 기반 AI 탐지기로는 쉽게 감지할 수 없는 보다 복잡한 패턴을 지닙니다. 이러한 논문은 각 부분이 그럴듯해 보이지만 부분들을 연결하는 과학적 추론이 무너지며, 이는 독자가 연구를 평가하는 방식을 오도할 수 있습니다. 본 연구에서는 구조(Structure), 논증(Argument), 인공물(Artifacts)에 걸친 6가지 척도를 통해 이러한 결함을 과학적 슬롭으로 벤치마킹합니다. 주로 컴퓨터 과학 분야를 다루되 생명, 사회, 자연과학을 아우르는 390편의 AI 생성 논문으로 SciSlopBench를 구축하였으며, 각 논문은 연구 문제와 기여 유형이 일치하는 인간이 작성한 논문과 쌍을 이루도록 했습니다. 제안하는 척도는 68.7%의 정확도를 보인 Binoculars에 비해 각 쌍에서 85.9%의 정확도로 AI 논문을 식별합니다. 더 높은 과학적 슬롭은 더 낮은 ICLR 점수와 연관되며, 2017년부터 2025년까지 매년 우연 수준 이상으로 탈락 논문과 채택 논문을 구분합니다. 그러나 이러한 패턴을 줄이는 것은 척도를 직접 최적화하는 것만큼 단순하지 않습니다. 이에 따라 실험 기록이 수정을 뒷받침하는 경우에만 고정된 대규모 언어 모델(LLM)이 슬롭을 수정하도록 안내하는 하네스 수준의 프레임워크인 SciSlopHarness를 제안합니다. 표준적인 수정은 잔여 슬롭을 남기고 직접적인 슬롭 인지 프롬프트는 보상(reward) 해킹을 유발하는 반면, SciSlopHarness는 인간 참조 목표 없이도 가장 강력한 수정 기준선(baseline) 대비 남은 AI-인간 격차를 63% 줄입니다. 전반적으로 AI가 생성한 과학 논문은 전역적 추론에 근본적인 흔적을 남기며, 책임감 있는 완화를 위해서는 단순한 문장 다듬기가 아닌 엄격한 증거 기반 그라운딩(grounding)이 필요함을 입증합니다.