PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.14057v3cs.CL

자동화된 연구에서 프론티어 LLM의 창의성 측정

Measuring the Creativity of Frontier LLMs in Automated Research

프론티어 대규모 언어 모델(LLM)은 자동화된 연구를 수행하는 능력이 점점 향상되고 있으나, 이러한 환경에서 모델의 창의성은 체계적으로 평가되지 않았습니다. 본 연구에서는 가치성(valueness)과 참신성(novelty)이라는 두 가지 차원에서 창의성을 평가하기 위한 지표 집합을 제안합니다. 가치성은 제안된 각 아이디어가 유용한지 여부를 평가하며, 참신성은 세 가지 관점에서 평가됩니다. 즉, 동일한 아이디어가 이전에 등장한 적이 있는지(Exact-Match P-Novelty), 연구 공간의 탐험 범위를 반영하여 수정된 변수 또는 변수 조합이 이전에 탐구된 적이 있는지(Variable-level P-Novelty), 그리고 제안된 아이디어가 모델의 추론 과정에서 외부 지식에 명시적으로 기인하는지(H-Novelty)입니다. 평가 결과, 모델들은 가치성과 Exact-Match P-Novelty 점수에서는 비교적 유사한 결과를 보인 반면, Variable-level P-Novelty에서는 상당한 차이를 보였습니다. 또한 평가가 가능한 모델들 사이에서 H-Novelty는 일관되게 높게 나타났습니다. 특히, 추가적인 상관관계 및 아이디어 수준의 성능 분석을 통해 Variable-level P-Novelty와 연구 성능 사이에 강한 양의 상관관계가 있음을 밝혔습니다.

arXiv:2606.31651v1cs.AI

FARS: A Fully Automated Research System Deployed at Scale

FARS는 대규모 언어 모델 에이전트가 아이디어 생성, 계획, 실험, 논문 작성을 인간 개입 없이 자동으로 수행하는 완전 자동화 AI 연구 시스템으로, 첫 공개 배포에서 67개의 세부 AI/ML 주제에 걸쳐 166편의 완성된 논문을 생성했다. 282건의 구조적 인간 리뷰를 통한 평가 결과, FARS는 검토할 만한 수준의 연구 결과물을 대규모로 생산할 수 있음을 보였으나, 좁은 실험 범위, 방법론적 한계, 무결성 문제 등의 반복적인 실패 패턴도 확인되었다.