대규모 언어 모델(LLM) 추론의 최근 발전은 전통적인 문제 해결 능력을 향상시켰으나, 창의적 추론은 상대적으로 덜 탐구된 상태로 남아 있습니다. 본 연구는 인지과학에서 영감을 받아 조합적(combinational), 탐색적(exploratory), 변형적(transformational) 창의성을 구조화된 문제 및 해결 공간에 대한 실행 가능한 계산 연산자로 정식화하고, 각 모드가 이러한 공간을 어떻게 결합, 탐색 또는 변형하는지 명시합니다. 조합적 추론은 익숙하지 않은 조합을 형성하기 위해 도메인 전반에 걸쳐 아이디어를 전이하고, 탐색적 추론은 기존의 개념 공간 내에서 새로운 해결책을 탐색하며, 변형적 추론은 해당 공간을 정의하는 규칙이나 제약 조건을 수정합니다. 이러한 정식화는 별개의 알고리즘 절차를 도출하며, 이를 LLM 추론 프레임워크인 Universe of Thoughts(UoT)로 구현합니다. 기존의 창의성 벤치마크는 개방형 아이디어 도출 또는 고도로 제약된 문제 해결 중 하나에 치우쳐 있습니다. 이에 따라 제약이 적은 환경에서 구체적인 해결책을 요구하는 세 가지 새로운 창의적 추론 과제를 도입합니다. 방법 및 과제당 10회의 생성에 걸쳐, GPT-4o를 적용한 T-UoT는 제약이 적고 목표 구체성이 높은 Bridge 및 Electricity 과제에서 가장 우수한 성능을 보였으며, C-UoT는 제약이 적고 목표 구체성이 낮은 Society 과제에서 상대적으로 가장 강력한 성능을 나타냈습니다. 또한 생물의학, 머신러닝, 사회과학 분야 전반의 100개 과제로 구성된 독립적인 과학 가설 생성 벤치마크인 HypoArena에서 UoT를 평가했습니다. Qwen3-14B를 사용했을 때, 탐색적 UoT(Exploratory UoT)는 7개 추론 방법 중 1위를 기록하여 차순위 방법의 25.5% 대비 32.7%의 쌍체 승률(pairwise win rate)을 달성했습니다. 본 결과는 과제 구조에 따라 뚜렷한 성능 패턴이 나타남을 시사합니다. 즉, T-UoT는 제약이 적고 구체성이 높은 환경에서 가장 강력하며, E-UoT는 제약이 더 많고 구체성이 높은 환경에서, C-UoT는 제약이 적고 구체성이 낮은 환경에서 가장 우수합니다.
지식 그래프(KG) 상에서의 가추 추론(abductive reasoning)은 해답 집합이 주어진 관찰 엔티티 집합을 설명할 수 있는 1차 논리 가설을 찾는 것을 목표로 합니다. 동일한 관찰을 여러 가설이 설명할 수 있기 때문에, 제어 가능한 가설 생성기들은 엔티티, 관계 또는 논리적 패턴에 따라 생성을 조건화하지만, 생성을 단일 단계로만 처리합니다. 생성된 가설은 형식이 올바르고 주어진 조건을 충족하더라도 관찰을 설명하는 데 실패할 수 있으며, 모델에는 이러한 불일치를 감지하거나 수정하는 메커니즘이 없습니다. 가추 주기를 완성하려면 이산적이고 구조화된 가설을 수정해야 하는데, 대규모 언어 모델(LLM)은 자연어로 쉽게 반복할 수 있음에도 불구하고 이러한 구조적 가설 수정은 안정적으로 수행하지 못합니다. 본 논문에서는 조건 신호를 사용자 의도의 표현뿐만 아니라 생성을 유도하는 연산자로 취급하는 에이전틱 가설 정제 프레임워크인 HypoAgent를 제안합니다. 가설 제안 에이전트(Hypothesis Proposal Agent)는 학습(training)된 소형 생성기를 호출하여 가설을 제안합니다. 이후 근본 원인 분석(Root-cause analysis)은 조각 수준의 커버리지를 활용해 검사할 가치가 있는 브랜치를 찾아내고 학습 그래프에서 이웃 증거를 수집합니다. 가설 정제 에이전트(Hypothesis Refiner Agent)는 이러한 진단 결과와 이전에 생성된 가설들을 결합하여 업데이트된 조건과 직접 수정된 가설을 생성합니다. HypoAgent는 BioKG, PharmKG8k, DBpedia50의 싱글턴 및 멀티턴 설정뿐만 아니라 DBpedia50의 무조건(unconditional) 설정에서도 원샷(one-shot) 생성을 능가하는 성능을 보입니다. 코드는 https://github.com/HKUST-KnowComp/HypoAgent 에서 확인할 수 있습니다.
Continuous Knowledge Metabolism(CKM)은 슬라이딩 윈도우로 문헌 지식 상태를 지속적으로 갱신하며 연구 가설을 생성하는 AI 워크플로로, 생성된 가설을 생성 시점 이후 출판된 논문으로 검증하는 예측적 평가 방식을 도입한다. 50개 머신러닝 주제 벤치마크에서 CKM-Lite는 72%의 주제에서 하나 이상의 검증된 가설을 생성해 원샷 베이스라인(30%) 대비 두 배 이상의 성능을 달성했으며, 검증된 가설은 매칭 논문 출판 평균 404일 전에 생성된 것으로 나타났다.
Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, Graph-PRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2-3 times greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.
자율 과학적 발견 시스템은 새로운 가설을 제안하기 위해 점점 더 대규모 언어 모델(LLM)을 활용하고 있지만, 이러한 시스템의 대부분은 주로 실험 메모리, 즉 높은 점수를 받은 후보들의 아카이브나 최근 시도에 대한 휴리스틱 요약에 조건부로 동작한다. 우리는 발견 에이전트가 가설 품질에 대한 명시적이고 불확실성을 인식하는 신념을 유지해야 한다고 주장한다. 우리는 BayesEvolve를 소개한다. 이는 실험적 증거를 예측적 신념 상태로 변환하고, 이 신념을 사용하여 향후 실험을 안내하는 신념 기반 발견 프레임워크이다. 신념 기반 발견을 위한 제어된 테스트베드로서, 우리는 이동된 BBOB 스타일의 블랙박스 최적화 태스크에서 BayesEvolve를 평가하며, 프로그램 및 실험실 발견 도메인은 향후 연구로 남긴다. BayesEvolve는 고정된 평가 예산 하에서 메모리 및 아카이브 기반 LLM 베이스라인 대비 샘플 효율성을 향상시킨다. 우리는 또한 신념 상태가 보류된 후보 풀에서 예측력을 가지며, 제어된 의사결정 규칙 ablation 실험에서 어닐링된 불확실성 보너스를 사용한 신념 기반 선택이 유리함을 보인다. 그리고 BayesEvolve는 무분별한 탐험 대신 생산적인 후기 집중 현상을 나타낸다.
Modern artificial intelligence excels at prediction but cannot explain. From large language models to AI-for-science systems, today's machines answer what by recombining patterns already present in the human literature, yet they cannot reason out why a phenomenon must arise from underlying principles even though explanation, not prediction, lies at the heart of scientific discovery. Here we ask whether the structure of scientific explanation can be operationalized to guide how a machine generates hypotheses. We introduce DN-Hypo-Pipeline, a hypothesis-generation framework that adopts a layered, explanation-theoretic scaffold: Hempel's deductive-nomological (DN) model supplies the output form and deductive validity of a hypothesis, Salmon's causal-process account supplies an organizing constraint on where to search for the governing laws, and Armstrong's view of laws as relations between universals supplies the bridge from a phenomenon's constituent processes to the laws that may be associated with it. Rather than searching the space of what has been written, the framework searches the space of what principles govern a phenomenon: given an explanandum, it abstracts the universals instantiated in the phenomenon's formation process, retrieves the laws relating those universals, and deductively reconstructs a new, testable explanation. Evaluated in data-science modeling and judged by both LLMs and human experts, hypotheses generated through this principled reasoning significantly outperform those from direct prompting. Crucially, we translated the two highest-scoring hypotheses into novel algorithms one that reduces the Transformer's theoretical complexity with only minimal performance loss, and another that achieves competitive accuracy with substantially fewer parameters.