과학적 아이디어 도출은 문헌 검색, 논문 읽기, 도구 사용, 주장 검증, 논문 간 종합, 브레인스토밍, 약한 방향의 거부, 반복적 작성 등 여러 단계에 걸쳐 전개된다. 그러나 기존 대부분의 리소스는 이들을 연결하는 과정보다는 고립된 구성 요소나 최종 산출물만 포착한다. 우리는 과학적 아이디어 도출과 제안서 생성을 위한 1,170개의 다중 턴 궤적 데이터셋인 IdeaTrail을 제안한다. 각 궤적은 증거 수집부터 아이디어 선택 또는 제안서 구성까지의 연구 과정을 따르며, 도구 사용, 획득한 증거, 중간 산출물, 추론을 함께 기록한다. IdeaTrail은 Generator--Advisor 루프를 통해 사람이 선정한 연구 논문과 제안서 산출물로부터 합성된다. Generator는 행동, 관측, 산출물 편집의 가시적 시퀀스를 생성하고, Advisor는 전체 생성 컨텍스트를 사용하여 그라운딩, 인과 순서, 자연스러움, 숨겨진 목표로부터의 누출을 검사한다. 이 역방향-정방향 설계는 실제 과학적 산출물과 궤적을 정렬시키면서, 연구 실무의 특성인 불확실성, 증거 활용, 단계적 수렴을 유지한다. IdeaTrail은 재사용 가능한 과정 감독과 과학 연구 에이전트 데이터를 구축하기 위한 일반적인 방법을 모두 제공한다.
과학적 아이디어 생성(scientific ideation)에서 사전 정의된 워크플로우의 한계를 극복하기 위해, 참조 아이디어를 오라클 가이던스로 활용하여 멀티 에이전트 시스템이 고품질 에이전트 궤적을 효율적으로 합성하는 Agentic-Ideation 프레임워크를 제안한다. 이 방법은 기존 워크플로우 기반 최신 기법 대비 전체 품질에서 11.91% 향상을 달성하고, 고품질 데이터 합성의 샘플 효율을 10배 이상 개선하였다.
대규모 언어 모델(LLM)은 과학적 아이디어를 생성하고 판단하는 데 점점 더 많이 사용되고 있습니다. 이로 인해 참신성 평가가 핵심 문제가 되었습니다. 완전한 아이디어 평가는 방법론, 그 타당성, 그리고 실증적 가능성을 판단해야 하는 경우가 많아 어렵습니다. 따라서 우리는 더 명확한 상위 개념인 연구 질문(RQ)을 연구합니다. RQ 생성은 과학적 아이디어 도출의 선행 조건이며, RQ는 실제 논문에서 다루어진 질문들과 비교할 수 있습니다. 우리는 최근 arXiv 논문들로 구축된 벤치마크인 RQ-Bench를 소개합니다. 각 논문에 대해 우리는 인용된 배경, 연구 공백(gap), 기여로부터 저자 기반 RQ를 재구성합니다. 이러한 RQ들은 동일한 배경에 대한 유일한 유효한 질문들은 아닙니다. 이들은 참신성 판단을 테스트하기 위한 저자 기반 참조 지점들입니다. 우리는 독립적인 LLM 판단, 비교적 LLM 판단, 그리고 인간 전문가 평가를 통해 모델이 생성한 RQ를 평가합니다. LLM 판정자는 모델이 생성한 RQ를 지속적으로 매우 참신하다고 평가하여 참신성의 신기루(novelty mirage)를 만들어냅니다. 비교 평가에서는 이러한 선호가 더욱 강해집니다. 그러나 도메인 전문가들은 반대 결론에 도달하며 저자 기반 참조 질문을 선호합니다. 우리는 또한 많은 생성된 RQ가 협소하거나 출처에 종속(source-bound)되어 있다는 것을 발견했는데, 이는 명시적으로 테스트하지 않는 한 LLM 판정자가 자주 놓치는 차원입니다. 전반적으로, LLM 판정자와 인간 전문가 간의 모순된 참신성 평가는 연구 질문의 과학적 참신성을 평가하기 위해 LLM을 사용하는 것의 신뢰성에 대한 심각한 우려를 제기합니다.