arXiv:2611.24887v1 cs.CL

근거화, 반복, 추적: AI 연구 아이디어 도출의 분해

Ground, Iterate, Trace: Decomposing AI Research Ideation

Samson Yu, Qiran Zou, Jing Yu Lim, Rushi Shah, Anirudh Goyal, Dianbo Liu

제출 2026-11-19

한국어 초록

대규모 언어 모델은 그럴듯한 연구 아이디어를 생성하는 데 널리 사용되어 왔지만, 자동화된 아이디어 도출을 효과적으로 만드는 요인이 무엇인지, 그리고 생성된 새로운 제안이 선행 과학 연구로부터 어떻게 나타나는지는 여전히 불분명하다. 본 연구는 문헌 근거화, 반복적 개발, 명시적 개념 연산자를 결합한 에이전트 프레임워크인 Creative AI Researcher(CAR)를 소개한다. CAR는 검색된 문헌으로부터 의미 지식 그래프를 구성하고, 아이디어 도출 에이전트에 그래프 검색 도구와 이중연상, 유추, 탐색, 정교화라는 네 가지 연산자를 갖춘다. 각 연산자 호출은 구조적 수용 조건에 따라 검사되고 기록되어, 중간 변환과 명시된 문헌 출처의 추적을 생성한다. 두 가지 언어 모델 백본으로 40개의 LiveIdeaBench 연구 주제와 두 가지 실행 벤치마크에서 CAR를 평가한다. CAR는 단발 프롬프팅과 The AI Scientist보다 유의하게 높은 방법론적 신규성(MN)을 달성한다. 방법론적 신규성은 Research Ideation Agent와 유의한 차이가 없으나, 실현 가능성 점수는 두 백본 모두에서 더 높다. 공유된 실험 실행기를 사용할 때 CAR는 FML-bench-Lite와 BioXArena에서 평가된 AI 방법 중 가장 높은 쌍별 승률을 달성한다. 열 가지 조건의 절제 연구에서 MN 점추정치는 두 백본 모두에서 한 단계 제안보다 CAR를 선호하지만, 다중 비교 보정을 거치고 나면 유지되는 MN 대비는 없다. 이 결과는 자유 형식 반복을 넘어서는 명시적 연산자의 일관된 품질상 이점을 입증하지 못한다. CAR는 연산 순서와 명시된 문헌 출처를 검사할 수 있게 만들어, 판단된 아이디어 품질과 절차적 추적 가능성을 분리한다.

원문 초록

Large language models have been widely used to generate plausible research ideas, yet it remains unclear what makes automated ideation effective and how generated novel proposals arise from prior scientific work. We introduce the Creative AI Researcher (CAR), an agentic framework combining literature grounding, iterative development and explicit conceptual operators. CAR constructs a semantic knowledge graph from retrieved literature and equips an ideation agent with graph-retrieval tools and four operators: bisociation, analogy, exploration and elaboration. Each operator call is checked against structural acceptance conditions and recorded, producing a trace of intermediate transformations and declared literature sources. We evaluate CAR with two language-model backbones across 40 LiveIdeaBench research topics and two execution benchmarks. CAR achieves significantly higher methodological novelty (MN) than single-shot prompting and The AI Scientist. Its methodological novelty does not differ significantly from the Research Ideation Agent, while its feasibility scores are higher on both backbones. With a shared experiment executor, CAR achieves the highest pairwise win rate among the evaluated AI methods on FML-bench-Lite and BioXArena. In a ten-condition ablation study, MN point estimates favor CAR over one-step proposal on both backbones, but no MN contrast survives correction for multiple comparisons. The results do not establish a consistent quality benefit from explicit operators beyond free-form iteration. CAR makes the sequence of operations and declared literature sources inspectable, separating judged idea quality from procedural traceability.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24887v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.