PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.14057v3cs.CL

자동화된 연구에서 프론티어 LLM의 창의성 측정

Measuring the Creativity of Frontier LLMs in Automated Research

프론티어 대규모 언어 모델(LLM)은 자동화된 연구를 수행하는 능력이 점점 향상되고 있으나, 이러한 환경에서 모델의 창의성은 체계적으로 평가되지 않았습니다. 본 연구에서는 가치성(valueness)과 참신성(novelty)이라는 두 가지 차원에서 창의성을 평가하기 위한 지표 집합을 제안합니다. 가치성은 제안된 각 아이디어가 유용한지 여부를 평가하며, 참신성은 세 가지 관점에서 평가됩니다. 즉, 동일한 아이디어가 이전에 등장한 적이 있는지(Exact-Match P-Novelty), 연구 공간의 탐험 범위를 반영하여 수정된 변수 또는 변수 조합이 이전에 탐구된 적이 있는지(Variable-level P-Novelty), 그리고 제안된 아이디어가 모델의 추론 과정에서 외부 지식에 명시적으로 기인하는지(H-Novelty)입니다. 평가 결과, 모델들은 가치성과 Exact-Match P-Novelty 점수에서는 비교적 유사한 결과를 보인 반면, Variable-level P-Novelty에서는 상당한 차이를 보였습니다. 또한 평가가 가능한 모델들 사이에서 H-Novelty는 일관되게 높게 나타났습니다. 특히, 추가적인 상관관계 및 아이디어 수준의 성능 분석을 통해 Variable-level P-Novelty와 연구 성능 사이에 강한 양의 상관관계가 있음을 밝혔습니다.

arXiv:2607.22218v1cs.CL

창의성 평가에서 대규모 언어 모델과 인간이 수렴하고 발산하는 이유

Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity

창의성 평가자로서 대규모 언어 모델(LLM)의 사용이 늘어나고 있음에도, 인간 평가와의 정렬(alignment)에 대한 증거는 여전히 엇갈리며, 이는 그들의 판단이 인간의 판단과 언제, 왜 수렴하거나 발산하는지에 대한 질문을 제기한다. 세 가지 연구와 널리 사용되는 6개의 LLM을 대상으로, LLM의 창의성 평가를 뒷받침하는 기준을 식별하고 그 하류적 함의를 조사함으로써 이 공백을 메웠다. 연구 1은 LLM이 일반적으로 인간의 창의성 평가 기준 중 더 좁은 부분집합에 의존함을 보여주었다. 인간 기준과의 수렴은 신규성(novelty) 차원에서 가장 강했고, 반면 사회적·시장·평판 정보를 포착하는 맥락적(contextual) 차원에서 발산이 가장 뚜렷했다. 게다가 각 LLM은 폭에서 상당히 달랐던, 모델 고유의 뚜렷한 기준을 보였다. 이러한 평가 기준의 차이는 실제 창의성 판단에 반영되었다. 연구 2(N = 1,103개 아이디어)는 LLM 평가가 인간 평가와 중간 정도로 상관관계가 있었으며, 더 넓은 기준을 가진 개별 LLM이 인간이 더 창의적이라고 판단한 아이디어와 그렇지 않은 아이디어를 더 잘 구분함을 보여주었다. 연구 3(N = 1,195)는 LLM이 맥락 정보에 덜 민감함을 보여주었다. 이러한 정보는 인간의 창의성 평가를 유의미하게 바꿨지만 LLM 평가는 대체로 변하지 않았다. 종합하면, 본 연구 결과는 LLM-인간 정렬에 대한 엇갈리는 증거를 설명하는 데 도움이 되며, 정렬이 판단이 요구하는 증거와 각 모델이 적용하는 기준에 달려 있음을 보여준다. LLM은 평가가 신규성과 같은 내재적 특성을 강조할 때 인간과 유사할 수 있지만, 판단에 맥락 정보가 필요할 때는 발산할 수 있다. 따라서 LLM 평가자를 선택하는 것은 중대한 결정이다. 서로 다른 기준을 적용하는 모델들은 서로 다른 아이디어를 창의적이라고 인식한다.

arXiv:2510.20091v3cs.CL

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

CreativityPrism은 대규모 언어 모델(LLM)의 창의성을 확산적 사고, 창의적 글쓰기, 논리적 추론 세 도메인에 걸쳐 품질·독창성·다양성 세 차원으로 평가하는 크로스 도메인 프레임워크다. 17개 최신 LLM을 평가한 결과, 프론티어급 모델이 창의적 글쓰기와 논리적 추론에서는 오픈 모델 대비 15% 우위를 보였으나 확산적 사고에서는 유의미한 차이가 없었으며, 한 도메인의 높은 창의성이 다른 도메인으로 일반화되지 않음을 확인했다.

arXiv:2606.11762v1cs.CL

개방형 과제에 걸친 언어 모델의 자동화된 창의성 평가

Automated Creativity Evaluation of Language Models Across Open-Ended Tasks

대규모 언어 모델(LLM)은 언어 이해, 추론, 생성 분야에서 괄목할 만한 진보를 이루었으며, 이로 인해 창의적 잠재력에 대한 관심이 고조되고 있습니다. 이러한 잠재력을 실현하기 위해서는 다양한 과제에 걸쳐 창의성을 평가할 수 있는 체계적이고 확장 가능한 방법이 필요합니다. 그러나 대부분의 기존 창의성 지표는 특정 과제에 강하게 결합되어 있어 평가 과정에 도메인 가정을 내재하고 있으며, 이는 확장성과 일반성을 제한합니다. 이러한 격차를 해결하기 위해 우리는 개방형 과제에 걸쳐 LLM의 창의성을 정량화하는 자동화되고 도메인 무관의 프레임워크를 소개합니다. 우리의 접근 방식은 측정 도구를 창의적 과제 자체와 분리하여, 확장 가능하고 과제 무관의 평가를 가능하게 합니다. 발산적 창의성은 의미론적 엔트로피(semantic entropy)를 사용하여 측정되며, 이는 참신성과 다양성을 위한 참조 없고 견고한 지표로서 인간 주석, LLM 기반 참신성 판단 및 기준선 다양성 측정치를 통해 검증되었습니다. 수렴적 창의성은 과제 달성에 대한 문맥 민감형 평가를 제공하며 효율성을 60% 이상 향상시킨 새로운 검색 기반 다중 에이전트 판단 프레임워크를 통해 평가됩니다. 우리는 다양한 LLM 제품군을 사용하여 문제 해결(MacGyver), 연구 아이디어 도출(HypoGen), 창작 글쓰기(BookMIA)라는 세 가지 질적으로 구별되는 도메인에서 프레임워크를 검증했습니다. 실험 결과는 우리의 프레임워크가 참신성, 다양성, 과제 달성을 포함한 창의성의 주요 측면을 신뢰할 수 있게 포착함을 보여주며, 크기, 온도, 최신성, 추론과 같은 모델 속성이 창의적 성능에 미치는 영향을 밝혀냅니다. 우리의 연구는 자동화된 LLM 창의성 평가를 위한 재현 가능하고 일반화 가능한 표준을 확립하여, 확장 가능한 벤치마킹의 길을 열고 창의적 AI의 진전을 가속화합니다.