PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2511.20471v3cs.AI

Universe of Thoughts: 대규모 언어 모델의 창의적 추론을 위한 계산 프레임워크

Universe of Thoughts: A Computational Framework for Creative Reasoning in Large Language Models

대규모 언어 모델(LLM) 추론의 최근 발전은 전통적인 문제 해결 능력을 향상시켰으나, 창의적 추론은 상대적으로 덜 탐구된 상태로 남아 있습니다. 본 연구는 인지과학에서 영감을 받아 조합적(combinational), 탐색적(exploratory), 변형적(transformational) 창의성을 구조화된 문제 및 해결 공간에 대한 실행 가능한 계산 연산자로 정식화하고, 각 모드가 이러한 공간을 어떻게 결합, 탐색 또는 변형하는지 명시합니다. 조합적 추론은 익숙하지 않은 조합을 형성하기 위해 도메인 전반에 걸쳐 아이디어를 전이하고, 탐색적 추론은 기존의 개념 공간 내에서 새로운 해결책을 탐색하며, 변형적 추론은 해당 공간을 정의하는 규칙이나 제약 조건을 수정합니다. 이러한 정식화는 별개의 알고리즘 절차를 도출하며, 이를 LLM 추론 프레임워크인 Universe of Thoughts(UoT)로 구현합니다. 기존의 창의성 벤치마크는 개방형 아이디어 도출 또는 고도로 제약된 문제 해결 중 하나에 치우쳐 있습니다. 이에 따라 제약이 적은 환경에서 구체적인 해결책을 요구하는 세 가지 새로운 창의적 추론 과제를 도입합니다. 방법 및 과제당 10회의 생성에 걸쳐, GPT-4o를 적용한 T-UoT는 제약이 적고 목표 구체성이 높은 Bridge 및 Electricity 과제에서 가장 우수한 성능을 보였으며, C-UoT는 제약이 적고 목표 구체성이 낮은 Society 과제에서 상대적으로 가장 강력한 성능을 나타냈습니다. 또한 생물의학, 머신러닝, 사회과학 분야 전반의 100개 과제로 구성된 독립적인 과학 가설 생성 벤치마크인 HypoArena에서 UoT를 평가했습니다. Qwen3-14B를 사용했을 때, 탐색적 UoT(Exploratory UoT)는 7개 추론 방법 중 1위를 기록하여 차순위 방법의 25.5% 대비 32.7%의 쌍체 승률(pairwise win rate)을 달성했습니다. 본 결과는 과제 구조에 따라 뚜렷한 성능 패턴이 나타남을 시사합니다. 즉, T-UoT는 제약이 적고 구체성이 높은 환경에서 가장 강력하며, E-UoT는 제약이 더 많고 구체성이 높은 환경에서, C-UoT는 제약이 적고 구체성이 낮은 환경에서 가장 우수합니다.