icai.comillas.edu

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.04265v2cs.MA

사이버-물리 시스템에서 대규모 언어 모델(LLM) 에이전트를 위한 계획 수립 전략의 전략적 평가

Strategic Evaluation of Planning Strategies for LLM Agents in Cyber-Physical Systems

대규모 언어 모델(LLM) 에이전트(agent) 평가는 일반적으로 작업 성공 여부나 명시된 계획과의 일치도를 측정합니다. 그러나 전략적 사이버-물리 시스템(cyber-physical systems)에서는 자율적 참여자가 반응하고 물리적 제약이 결과를 제한한 후에도 아키텍처가 적절성을 유지해야 합니다. 본 연구에서는 계획 유도 제어 궤적(planning-induced control trajectories), 즉 실행 아키텍처를 전략적 반응 및 물리적 결과와 연결하는 정렬된 계획 연산 및 지시문으로 구성된 통제된 벤치마크(benchmark)를 제시합니다. 코드화된 네 가지 실행기(사전 정의형, 순차형, 계층형, 탐색형)는 방사형 피더(radial feeder)에서 40개 프로슈머(prosumer)의 수요 반응을 제어합니다. LLM은 타입화된 정책을 선언하거나 조언하며 통신을 중재하고, 일정, 기본 프로슈머 동역학, 확률적 행동, 조류 계산(power flow)은 명시적 코드로 유지됩니다. 쌍체 강제 모드 반사실적 분석(paired forced-mode counterfactuals), 정확한 프롬프트(prompt) 캐싱, 별도의 무작위 스트림을 사용한 공통 응답 표본 추출, 비평자 격리, 이벤트 수준 실행 가능성을 통해 비교를 정밀하게 격리합니다. 이 피더에서 진행한 Llama-3.3-70B 모델(model) 실험은 세 가지 특성을 구별합니다. 첫째, 지정된 목표 하에서 5개의 모든 기준선(baseline) 시드에 걸쳐 강제 탐색이 오라클(oracle)로 나타났습니다. 둘째, 주입된 목표 대체(objective substitution)는 모드 일치도를 1.0으로 유지하면서도 누적 전압 부족을 2.68배 증가시켰습니다. 셋째, 3회의 반복 시드를 사용한 144개 시나리오, 576개 에피소드 요인 뱅크는 사전 정의형, 순차형, 탐색형에서 나온 실행 가능한 오라클을 포함합니다. 사전에 지정된 스트레스 홀드아웃 릿지(stress-held-out ridge)는 평균 리그렛(regret) 90.7을 기록했으며, 고정된 순차 방식 대비 관찰된 이점을 보이지 않았습니다. 사후 제약 인식 분석(post-hoc constraint-aware analysis)을 통해 리그렛을 29.0으로 줄였으나, 단순 마감 규칙도 28.7을 달성하므로 이러한 개선이 학습 상의 우위를 입증하지는 못합니다. 전원 실행 가능 절제 연구(all-feasible ablation) 역시 고정 탐색 방식보다 개선되지 않았습니다. 이는 시뮬레이션 내부의 기술적 비교입니다. 5개 모델, 300개 선언으로 확장한 실험에서는 백본 간 물리적 순위가 아닌 인터페이스 동작을 테스트하며, 공유 엔드포인트의 지연 시간 꼬리 분포(latency tails)는 확률적 실시간 실행 가능성의 필요성을 시사합니다.