BackTrend: 후향적 재구성을 통한 과학적 약신호 예측 평가
BackTrend: Evaluating Scientific Weak-Signal Prediction via Backward Reconstruction
과학적 약신호(weak signal)는 초기에는 가시성이 낮지만 나중에 성숙한 과학적 연구 주제의 핵심이 되는 연구 방향을 의미합니다. 그러나 트렌드 추적, 인용 예측, 미래 예측 보고서와 같은 기존 리소스는 구체적인 초기 전조(precursor)와 이후의 패러다임을 연결하는 검증된 참조 데이터셋을 제공하는 경우가 거의 없습니다. 본 논문에서는 성숙한 타깃 주제와 시점 기반 근거 제약이 주어졌을 때, 시스템이 잘 알려지지 않은 연구 문제인 문제 공간 신호와 알려진 문제에 대한 새로운 방법론인 해결책 공간 신호라는 두 가지 유형의 전조를 복원해야 하는 소급적(retrospective) 벤치마크인 BackTrend를 소개합니다. BackTrend는 인공지능 및 머신러닝 분야의 성숙한 타깃 주제 25개와 인간 검증을 거친 66개의 약신호를 포함하며, 2019~2024년 논문 출판 빈도 궤적에 각 후보를 그라운딩(grounding)하여 대규모 문헌으로부터 재구성되었습니다. 본 연구에서는 의미적 매칭 및 커버리지 기반 지표를 사용하여 프론티어 대규모 언어 모델(LLM), 검색-증강 생성(RAG) 시스템, 에이전트(agent) 기반 연구 시스템을 평가(evaluation)합니다. 현재 시스템들은 그럴듯하지만 정렬(alignment)되지 않은 전조를 생성하는 경우가 흔하며, 주제 이탈, 세분성 불일치, 아슬아슬한 미스 매칭, 불완전한 커버리지를 보입니다. 가장 우수한 시스템도 F1 점수가 10.1%에 불과하며, Coverage10은 참조 신호의 최대 18.5%에만 도달합니다. 예산 분석 결과, 추가적인 검색 및 웹 검색 근거는 적정 예산 범위 내에서 성능을 향상할 수 있지만, 이것만으로는 상당한 성능 격차를 완전히 좁히지 못함을 보여줍니다.