PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18060v1cs.AI

PseudoBench: 에이전트형 자동 연구가 사이비 과학을 조장하는 방식 측정

PseudoBench: Measuring How Agentic Auto-Research Fuels Pseudoscience

대규모 언어 모델(LLM) 기반 에이전트가 자율적인 과학 연구 분야에 진입함에 따라, 사이비 과학에 저항하는 능력이 점점 더 중요해지고 있습니다. 그렇지 않으면 이러한 시스템들은 학술 문헌을 오염시키고 과학에 대한 신뢰를 훼손하는, 그럴듯하지만 오도하는 연구를 신속하게 생성할 수 있습니다. 본 논문에서는 에이전트형 자동 연구 시스템이 사이비 과학적 서사를 식별하고 저항할 수 있는지 평가하기 위한 적대적 벤치마크인 PseudoBench를 제안합니다. PseudoBench는 5개 도메인에 걸쳐 엄선된 200개의 사이비 과학적 주장-증거 쌍을 포함하며, 실험부터 글쓰기까지의 종단 간 연구 파이프라인을 통해 에이전트를 평가합니다. 최첨단 7개 에이전트를 테스트한 결과, 현재 시스템들은 거절률이 거의 0에 수렴하고 가장 높은 저항율도 27.4%에 불과한 상태에서, 사이비 과학적 전제에 부합하는 설득력 있는 보고서를 쉽게 생성함을 확인했습니다. 더 강력한 에이전트일수록 사이비 과학을 더 정교한 과학적 언어로 포장하여 그 겉보기 신뢰도를 높일 위험이 있습니다. 이러한 발견은 사이비 과학을 조장할 우려되는 능력을 드러내며, 광범위한 배포 전에 과학적 정렬이 필요함을 시사합니다.