PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.11354v3cs.AI

AstroAgentBench: 우주 임무 계획 태스크에서 에이전트 기반 계획 능력 평가

AstroAgentBench: Evaluating Agentic Planning on Space Mission Planning Tasks

최근 우주 분야를 위한 대규모 언어 모델(LLM-for-Space) 시스템은 임무 계획, 스케줄링, 운용 지원, 시뮬레이터 제어 및 자율성을 다루고 있지만, 이러한 시스템의 평가는 서로 다른 태스크 규약(task contract), 제어 설정, 시뮬레이터 및 성공 기준을 사용하고 있습니다. 본 논문에서는 스케줄링, 관측 계획, 군집 위성(constellation) 설계, 중계 지원 도메인에서 실행 가능한 우주 임무 계획을 다루는 7개 패밀리로 구성된 벤치마크인 AstroAgentBench를 소개합니다. 각 사례에서 에이전트(agent)는 스키마, 타이밍, 기하학적 구조, 자원, 임무 가치에 대해 외부 검증기(verifier)의 검사를 받는 계획 아티팩트를 제출합니다. 결과는 유효성 및 정규화된 점수를 보고하며, 태스크별 솔버(solver) 기준값과의 비교를 포함합니다. 5개의 LLM 에이전트 시스템과 35개의 미공개(held-out) 사례를 대상으로 평가한 결과, 가장 우수한 시스템들은 여러 패밀리에서 솔버 기준 점수에 근접하거나 이를 능가한 반면, 성능이 떨어지는 시스템들은 높은 가치의 유효한 계획을 생성하지 못하는 경우가 많았으며, 우수한 시스템조차 기하학적이거나 프로덕트 수준의 태스크 또는 설계 비중이 높은 태스크에서는 품질 저하를 보였습니다. 트레이스 분석을 통해 실패 원인을 태스크 규약의 잘못된 공식화와 취약한 설루션 구축이라는 두 가지 지점으로 분리했습니다. 반면 성공적인 실행은 에이전트가 작성한 구현을 검증기 피드백에 맞추어 보정하고, 사례별 고유 구조에 맞게 탐색을 조정했습니다. 절제 연구(ablation study)에서는 절차 주입과 메모리 축적이 결여된 공식화, 보정 또는 탐색 지원을 제공할 때 선택적으로 도움이 됨을 보여줍니다.