자율주행 차량의 능력이 발전함에 따라, 롱테일 시나리오에서 주행 정책의 안전한 평가는 여전히 핵심 병목으로 남아 있다. 폐루프(closed-loop) 시뮬레이션에서는 주행 정책 모델이 환경과 능동적으로 상호작용하며, 그 행동이 시뮬레이터 상태를 동적으로 갱신하고 다음에 생성되는 센서 관측값에 직접 영향을 미친다. 최근의 재구성(reconstruction) 기반 신경망 시뮬레이터는 사실적인 시각 품질(photorealism)을 제공하지만, 근본적으로 초기 캡처 데이터에 제약받으며 고도로 동적인 장면이나 새로운 장면으로의 일반화에 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 OmniDreams를 제안한다. OmniDreams는 Cosmos 확산(diffusion) 모델로부터 중간 학습 및 사후 학습된 기반 생성형 월드 모델로, 실시간으로 행동 조건부(action-conditioned) 영상을 자기회귀(autoregressively)적으로 생성한다. Cosmos의 풍부한 시각적 사전 지식(prior)을 활용하고 2만 1천 시간의 주행 시나리오에 대한 중간 학습 및 사후 학습을 통해, OmniDreams는 극한 기상 조건이나 예측 불가능한 동적 에이전트 행동과 같이 기존 시뮬레이터가 포착하기 어려운 복잡하고 관측되지 않은 현상을 합성한다. 중요하게도, OmniDreams는 과거 프레임, 현재 시뮬레이터 상태, 그리고 즉각적인 주행 행동에 조건을 걸어 사실적인 센서 데이터 생성을 자기회귀적으로 수행한다. Alpamayo 1 정책 모델과 AlpaSim 오케스트레이터와 함께 폐루프 시스템에 배치되었을 때, OmniDreams는 고도로 반응적인 환경으로 작동하며, 차세대 자율주행 정책의 학습과 평가를 위한 확장 가능하고 포괄적인 솔루션을 제공한다. 또한 OmniDreams로부터 사후 학습된 월드-행동 모델(WAM)이 Physical AI Autonomous Vehicles NuRec 데이터셋에서 강력한 성능을 달성하며, 총 파라미터 수의 1/5만 사용하면서 VLA 기반 Alpamayo 1.5 연구용 정책 모델을 능가한다는 예비 결과를 제시한다. 이 결과는 OmniDreams와 같은 실시간 월드 모델이 정책 아키텍처의 백본(backbone)으로도 활용될 수 있는 잠재력을 보여준다.
프로그래머블 로직 컨트롤러(PLC)는 센서 입력을 읽고 제어 명령을 내려 산업 장비를 조율합니다. 대규모 언어 모델(LLM)이 생성한 PLC 프로그램이 작업 요구사항과 안전 제약 조건을 충족하는지 평가하려면, 해당 명령이 장치 및 공작물 상태에 어떤 영향을 미치는지 관찰해야 합니다. 본 논문에서는 구조화 텍스트(ST, Structured Text) 실행을 모의 플랜트 응답 및 센서 피드백과 결합한 공통 폐루프 실행 환경이자 벤치마크인 PLCWorld를 소개합니다. 산업용 PLC 프로그램 및 엔지니어링 문서에서 식별된 제어 관계에 기반(grounding)한 PLCWorld는 모션 제어(Motion Control) 및 자재 처리(Material Handling) 전반에 걸쳐 100개의 합성 작업과 473개의 등록된 작업-조건 쌍을 포함하며, 난이도는 제어 의존성 범위에 따라 정의됩니다. 공통 프로토콜은 작업 성공(Task Success)과 안전 위반(Safety Violation)을 구분하여 보고합니다. 검증은 실무자 검토, 참조 및 대체 프로그램, 표적 반례, 명세-평가기 정렬 점검, 독립적인 ST 런타임과의 비교를 결합합니다. 참조 및 대체 프로그램은 적용 가능한 케이스를 만족하며, 542개의 표적 반례 모두 최소 하나의 등록된 조건에서 지정된 평가기 규칙을 활성화합니다. 실행 격차(Execution Gap)는 제출 프로필의 수락을 후속 작업 실패 또는 관찰된 안전 위반과 연계합니다. 구축된 작업 그룹 전반에서 직접 프롬프팅한 GPT-5.5는 쉬움(Easy) 케이스에서 82.70%의 작업 성공률을 달성했으나 어려움(Hard) 케이스에서는 25.10%에 그쳤습니다. 6개 LLM과 4개의 조정된 생성 및 검증 워크플로에 대한 평가는 완료율, 안전성, 생성 비용 간의 차이를 더욱 명확히 드러냅니다. 코드, 시뮬레이션 환경, 벤치마크 작업 및 기준선(baseline) 구현체는 https://yunji0516.github.io/PLCWorld/ 에서 공개적으로 이용할 수 있습니다.
폐루프 교통 시뮬레이션은 상호작용형 다중 에이전트 행동을 장면 일관성과 제어 가능성을 유지하며 생성해야 하지만, 기존 diffusion 방식은 추론 비용이 높아 재계획 루프에 쓰기 어렵다. 인스턴스 중심(instance-centric) 장면 맥락과 다중모달 proposal 사전분포로 조건화한 잠재 diffusion에 PCA 기반 컴팩트 액션 잠재와 proposal 초기화, 선택적 test-time guidance를 결합해 재학습 없이 샘플링 효율을 높였고, Waymo Open Motion Dataset에서 현실성·안전성·제어 가능성의 균형과 목표 간 트레이드오프 조절을 보였다.