SVGym (SciVerseGym): 결정 탐색에서 강화학습 및 베이지안 최적화를 위한 환경
SVGym (SciVerseGym): An Environment for Reinforcement Learning and Bayesian Optimization in Crystal Discovery
한국어 초록
기계학습 원자간 포텐셜은 이제 상호작용적 재료 탐색을 위한 효율적인 원자 수준 평가를 가능하게 하지만, 폐루프(closed-loop) 결정 탐색 방법은 편집, 이완(relaxation), 점수화, 제약, 기록 관리를 위한 맞춤형 파이프라인에 걸쳐 여전히 파편화되어 있다. 우리는 결정 설계를 마르코프 결정 과정으로 규정하는 순차적 결정 탐색을 위한 Gymnasium 호환 환경인 SciVerseGym을 소개한다. 에이전트는 원자 수준 구조를 관측하고, 화학적으로 의미 있는 편집을 적용하며, 구성 가능한 평가기로부터 피드백을 받는다. SciVerseGym은 원소 치환, 격자 섭동, 원자 변위, 공석 생성, 원자 삽입을 포함한 국소 및 전역 행동과 함께, 구성 가능한 화학 공간, 구조 풀, 원자 수준 및 그래프 기반 관측, 사용자 정의 보상, 선택적 이완, 안정성 또는 포논(phonon) 관련 진단을 지원한다. 각 단계는 편집을 적용하고, 기계학습 원자간 포텐셜 또는 ASE 호환 계산기를 사용하여 후보를 평가하며, 표준 (obs, reward, terminated, truncated, info) 튜플을 반환한다. 에이전트 로직을 재료 인프라와 분리함으로써 SciVerseGym은 폐루프 결정 탐색에서 강화학습, 베이지안 최적화, 진화 탐색, 언어 에이전트 워크플로를 위한 개방적이고 재현 가능하며 확장 가능한 테스트베드를 제공한다. 코드는 https://github.com/Bin-Cao/SciVerseGym 에서 이용할 수 있다.
원문 초록
Machine-learned interatomic potentials now enable efficient atomistic evaluation for interactive materials discovery, yet closed-loop crystal search methods remain fragmented across bespoke pipelines for editing, relaxation, scoring, constraints, and bookkeeping. We introduce SciVerseGym, a Gymnasium-compatible environment for sequential crystal discovery that frames crystal design as a Markov decision process. Agents observe an atomistic structure, apply chemically meaningful edits, and receive feedback from a configurable evaluator. SciVerseGym supports local and global actions, including elemental substitution, lattice perturbation, atomic displacement, vacancy creation, and atom insertion, along with configurable chemical spaces, structure pools, atomistic and graph-based observations, custom rewards, optional relaxation, and stability or phonon-related diagnostics. Each step applies an edit, evaluates the candidate using a machine-learned interatomic potential or any ASE-compatible calculator, and returns the standard (obs, reward, terminated, truncated, info) tuple. By decoupling agent logic from materials infrastructure, SciVerseGym provides an open, reproducible, and extensible testbed for reinforcement learning, Bayesian optimization, evolutionary search, and language-agent workflows in closed-loop crystal discovery. Code is available at: https://github.com/Bin-Cao/SciVerseGym.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.22425v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RFChipAgent: 아날로그/RF 칩 설계를 위한 멀티 에이전트 AI 플로우
RFChipAgent: Multi-Agentic AI Flow for Analog/RF Chip Design
아날로그/RF 회로는 디지털 연산과 물리적 세계 사이의 핵심 인터페이스로 남아 있으며, Wi-Fi 7부터 6G에 이르는 새로운 표준들은 이에 대해 엄격한 요구사항을 부과하고 있습니다. 그러나 아날로그/RF 설계는 여전히 칩 개발에서 가장 많은 노동력이 소요되는 단계 중 하나입니다. 본 논문에서는 인간의 감독 하에 AI 에이전트들이 전체 설계 흐름을 협력하여 조율하는, 엔드투엔드 아날로그/RF 회로 설계 자동화를 위한 최초의 대규모 언어 모델(LLM) 에이전트 기반 멀티 에이전트 플로우인 RFChipAgent를 제시합니다. RFChipAgent는 네 가지 기술적 기둥을 중심으로 구축되었습니다. 첫째, 문서별 비공개 FAISS 인덱싱을 갖춘 멀티모달 검색-증강 생성(RAG) 하위 시스템이 기존 엔지니어링 문서에서 설계 지식을 추출합니다. 둘째, 토폴로지 에이전트가 토폴로지 선택을 주도하고, 회로도 및 테스트벤치 에이전트가 회로 및 테스트벤치 조립을 자동화합니다. 셋째, 폐루프 하이브리드 회로 사이징 엔진은 TPE(Tree-structured Parzen Estimator)와 CMA-ES 최적화를 결합하여 시뮬레이터 루프 내(simulator-in-the-loop) 프레임워크에서 모든 후보를 평가합니다. 넷째, 신뢰도 점수가 부여된 시뮬레이션 데이터베이스가 검증된 성능 데이터를 축적하고 후속 시도에 정보를 제공하는 적응형 최적화 모델을 구축합니다. GF22FDSOI 60 GHz 광대역 mm-wave 저잡음 증폭기(LNA) 토폴로지 제품군에서 RFChipAgent를 검증하여 자동화된 토폴로지 생성, 사양 기반 설계 공간 탐험, 시뮬레이터 유도 최적화를 입증합니다. 실험 결과는 사인오프 품질의 검증을 유지하면서도 설계 노력을 대폭 줄일 수 있음을 보여줍니다. 본 연구는 아날로그/RF 회로를 위한 LLM 기반 멀티 에이전트 전자 설계 자동화(EDA)의 토대를 마련합니다.
액추에이터 성능 저하 상황에서의 4족 보행 강화학습을 위한 고차 형태학적 프라이어
Higher-Order Morphology Priors for Quadruped Reinforcement Learning Under Actuator Degradation
액추에이터 성능 저하는 4족 보행을 관절들이 손실된 액추에이션을 보상해야 하는 협응(coordination) 문제로 만든다. 선행 연구들은 형태학을 인식하는 그래프 정책(morphology-aware graph policy)이 신체 교란(body perturbation) 상황에서 학습과 일반화를 향상시킨다고 제안한다. 본 연구는 고차(higher-order) 기계적 구조를 명시적으로 모델링함으로써 이러한 이점을 강화할 수 있는지를 묻는다. 우리는 Unitree Go1을 다리(limb) 및 몸체(body) 수준의 랭크-2 셀(rank-2 cell)을 갖는 셀 복합체(cell complex)로 표현하고, Hodge 기반 메시지 패싱(Hodge-based message passing)을 적용한다. 저하 상황에서의 학습 하에서, 노드-엣지-면 Hodge 액터(node-edge-face Hodge actor)는 보지 못한 액추에이터 저하에 대해 가장 높은 리턴(return)을 달성하며, 더 높은 생존율과 더 낮은 속도 추적 오차(velocity-tracking error)를 보인다. 이러한 결과는 고차 형태학이 액추에이터 저하 상황에서 전신 보상(whole-body compensation)을 위한 유용한 귀납적 바이어스(inductive bias)임을 뒷받침한다.
드래곤체스를 위한 시간차 학습
Temporal-Difference Learning for Dragonchess
본 연구는 두 가지 적응형 AI 방법론인 진화적 전이학습(evolutionary transfer learning)과 TD(lambda)가 3차원 체스 환경인 드래곤체스(Dragonchess)에서 어떻게 작동하는지 조사합니다. 이 게임은 고유한 보드 구조와 계산 부하로 인해 플레이어에게 도전 과제를 제시하므로, 적응형 방법론이 새로운 환경에서 평가 휴리스틱을 어떻게 업데이트할 수 있는지 연구하기에 이상적인 환경을 제공합니다. 본 연구에서는 드래곤체스 엔진을 PyGame 엔진에서 C++로 다시 구현했습니다. 이를 통해 더 빠른 게임 플레이가 가능해져, 단일 소규모 토너먼트 대신 신뢰구간과 유의성 검정을 포함한 10,000회의 게임을 진행할 수 있었습니다. 라운드 로빈 토너먼트에서 두 적응형 방법론 모두 다른 모든 에이전트보다 뛰어난 성능을 보였습니다. 실험 결과, 진화된 평가 방식과 학습된 평가 방식 간에 통계적으로 유의미한 성능 차이는 없는 것으로 나타났습니다. 본 연구는 구조적으로 복잡하고 새로운 게임 도메인에서 적응형 방법론의 효용성을 입증합니다.
잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝
Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling
잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.
대규모 언어 모델을 활용한 온라인 자동 알고리즘 설계
Online Automated Algorithm Design with Large Language Models
대규모 언어 모델(LLM)은 추론과 코드 합성을 통해 자동 알고리즘 설계(AAD)를 가능하게 한다. 그러나 기존의 LLM 기반 AAD 방법 대부분은 알고리즘 설계와 대상 최적화를 분리하여, 최적화 상태가 변화하는 동안에도 고정된 설계를 그대로 배포한다. 기존의 적응형 옵티마이저는 이러한 변화에 대응할 수 있지만, 그 조정은 사전에 정의된 파라미터, 연산자 또는 전략의 범위에 국한된다. 이러한 한계를 해결하기 위해, 본 논문은 알고리즘 자체를 상태 의존적 결정 변수로 취급하는 새로운 최적화 패러다임인 온라인 LLM 기반 AAD를 제안한다. 각 단계에서 LLM 에이전트는 현재의 최적화 상태로부터 새로운 동작 로직을 갖춘 알고리즘을 합성한다. 생성된 알고리즘을 실행하면 탐색이 진행되고 이후 설계를 위한 피드백이 제공되므로, 별도의 오프라인 알고리즘 사전학습 단계 없이도 알고리즘 설계와 대상 최적화가 결합된다. 이 패러다임을 구현하기 위해 본 논문은 상충하는 설계 관점을 조율하여 실행 가능한 알고리즘을 합성하고, 실행 피드백을 활용해 이후 설계를 위해 런타임 증거를 해석하는 방식을 개선하는 멀티 에이전트 프레임워크인 OnDesign을 제안한다. 우리는 두 가지 주류 블랙박스 최적화 패러다임에 걸친 세 가지 시나리오, 즉 베이지안 최적화, 진화적 연속 최적화, 진화적 혼합 변수 최적화에서 OnDesign을 평가한다. 여섯 개의 벤치마크 스위트와 하나의 공학 문제에 대해 다양한 문제 차원에서 수행한 광범위한 실험을 통해, 기존 옵티마이저와 오프라인 LLM 기반 AAD 방법보다 우수한 전반적 성능을 보임을 입증한다.
NeurGO: 메타 블랙박스 고비용 최적화를 위한 엘리트 후보 생성 학습
NeurGO: Learning to Generate Elite Candidates for Meta-Black-Box Expensive Optimization
과학과 공학에서 고비용 블랙박스 최적화는 함수 평가가 비용이 크고 평가 예산이 제한적인 상황에서 널리 사용됩니다. 전통적인 진화 알고리즘과 메타 블랙박스 최적화(MetaBBO) 접근법은 일반적으로 대부분의 평가를 후보 선택에 소비하며, 종종 열등한 해에 소중한 예산을 낭비합니다. 서로게이트 보조 진화와 베이지안 최적화는 서로게이트 모델을 통해 평가 횟수를 줄이는 것을 목표로 하지만, 제한된 데이터로부터 정확한 전역 모델을 구축하는 것은 여전히 어려우며, 모델 바이어스가 탐색을 지역 최적해에 쉽게 갇히게 할 수 있습니다. 이러한 한계를 극복하기 위해, 우리는 역사적 개체군 상태로부터 엘리트 후보를 직접 합성하는 생성형 MetaBBO 프레임워크인 NeurGO를 제안합니다. 구체적으로, 개체군 수준의 탐색 추세를 포착하기 위해 어텐션 기반 인코더를 사용하고, 이 표현을 조건으로 디코더를 작동시켜 고품질 후보를 생성함으로써 대규모 자손 풀의 고비용 평가를 피합니다. 그다음 탐색 전반에 걸쳐 해의 품질과 개체군 다양성을 유지하기 위해 품질-다양성 손실을 설계합니다. CEC 2008 및 COCO BBOB 테스트 스위트에 대한 광범위한 벤치마킹을 통해, 우리 방법은 동일한 평가 예산 하에서 더 나은 최적화 성능을 달성하고 더 빠른 수렴을 보입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.