생성형 모션 플래너(generative motion planner)는 일반적으로 초기 생성을 위해 학습된 궤적 사전 분포를 사용하며, 테스트 시점의 복구는 국소적인 연속 개선(refinement)에 맡깁니다. 본 논문에서는 학습된 사전 분포를 효율적인 병렬 생성에서 구조적 복구로 확장하는 마스크 생성 모션 플래닝(Masked Generative Motion Planning, MGMP)을 소개합니다. 마스크 생성 트랜스포머는 이산 궤적 후보들을 병렬로 생성하며, 기하학 유도 토큰 탐색(Geometry-Guided Token Search, GGTS)은 장면 기하학을 활용하여 수정할 위치와 평가할 사전 분포 기반 대안을 타겟팅합니다. 이를 통해 개선 과정을 이산 모션 대안에 대한 효율적인 탐색으로 전환하여, 국소적 궤적 변형을 넘어 경로 수준의 재구성을 가능하게 합니다. MGMP는 Ring Maze에서 96%의 성공률을 달성하고 Kuka의 통제된 경로 무효화(Controlled Route Invalidation)에서 82%의 복구 성공률을 기록하여, 가장 강력한 외부 베이스라인을 각각 23%포인트 및 25%포인트 앞섰습니다. 나아가 보지 못한 배치, 추가 장애물, 보지 못한 기하학적 형태, 단일 및 이중 팔 플래닝, 그리고 실제 Baxter 작업으로도 일반화됩니다.
고급 운전자 보조 시스템(ADAS) 평가에 사용되는 궤적 데이터셋은 일상적인 주행에 크게 편향되어 있으며, 실제 차량 간 충돌(conflict) 이벤트는 드물고, 이벤트가 드물수록 ADAS 시스템이 이를 처리하지 못했을 때의 비용이 더 높다. 기존 생성 접근법은 공간적 목표, 에이전트 구조, 자연어 적대적 목표 등 장면 수준 속성에 조건화하여 이러한 불균형을 해결하지만, 목표 충돌까지의 시간(Time-to-Collision, TTC) 값을 입력으로 받아 측정 가능한 오차 범위 내에서 이를 생성하도록 요구받을 수 있는 방법은 없다. 본 논문은 요청된 최소 TTC 값을 스칼라 조건 신호로 받아들이고, 실현된 충돌 심각도가 요청과 일치하는 쌍 차량 상호작용 궤적을 생성하는 심각도 조건 디노이징 확산 확률 모델(DDPM), SevDiff를 제안한다. 이는 적중률(hit-rate) 지표로 평가된다. UTE SQM-W-1 고속도로 위빙(weaving) 구간 데이터셋에서 추출한 468개 상호작용 윈도우(스무딩 후 1,041대 차량, 822,691개 관측치)로 학습한 SevDiff는 TTC 목표 0.5–1.5초에서 ±0.5초 이내 100% 적중률, 2.0–2.5초에서 97–99%, TTC = 5.0초에서는 점진적 저하로 39%를 달성한다. 생성된 운동학적 특징은 물리적으로 타당하며, 12개 특징 전체에서 최대 범위 초과율 4.7%, 96.5% 이상의 샘플에서 음수 속도 또는 간격 값이 없다. 적중률 저하 패턴은 학습 사전분포 대비 조건 신호의 강도로 물리적으로 해석 가능하며, 이는 합격/불합격 결과가 아닌 생성기의 정밀도 특성화이다.
대규모 사전학습 데이터에 내재된 강력한 사전 지식과 창발적 상식 추론 능력에 힘입어, 대규모 언어 모델(LLM)은 많은 연구 분야에서 전례 없는 일반화 능력을 보여주고 있다. 최근에는 비전-언어 모델(VLM)을 통해 시각적 임베딩을 언어 공간에 투영하여 시뮬레이션-실세계 및 교차 장면 일반화를 달성하는 방식이, 연속 환경에서의 비전-언어 내비게이션(VLN-CE) 분야의 주류 패러다임으로 자리 잡았다. VLN은 구현된 에이전트가 자연어 지시를 따라 미지의 환경을 탐색하도록 요구한다. 우리는 VLN 태스크가 일련의 하위 태스크로 분해될 수 있으며, 각 하위 태스크는 "소파 끝까지 걸어가서 왼쪽으로 돌아라"와 같은 지시로 묘사되는 환경과의 3D 공간 상호작용 과정에 해당한다는 점을 강조한다. 그러나 깊이 감지 방향을 따라 이미지 안으로 이동하는 것을 포함하는 이러한 공간 상호작용은, VLM이 주로 RGB 이미지를 활용한 대화로 학습되었기 때문에 VLM에게 혼란스러운 과제이다. 우리는 사전학습 중 VLM이 거의 접하지 못하는 깊이 정보나 3D 기하학적 정보를 통합하는 대신, 자기회귀적 궤적 생성을 통해 VLM을 미세조정하여 2D 픽셀 공간에서 직접 내비게이션 상호작용을 학습하는 대안적 접근법을 제안한다. 언어 지시와 과거 관측이 주어지면, 우리의 모델은 현재 관측의 하단 중앙에서 궤적을 그리며 일련의 픽셀 좌표를 순차적으로 예측한다. 픽셀 목표 감독이 이산 행동 학습보다 우수하다는 것이 선행 연구에서 입증된 반면, 우리의 실험은 픽셀 공간 궤적에 대한 감독이 VLN 성능을 크게 향상시킨다는 것을 추가로 검증한다. 나아가, 우리의 플래그십 모델이 비교적 제한된 계산 자원과 학습 데이터로 최첨단 수준의 성능을 달성함을 보인다.
크기, 중량, 전력 제약이 있는 시스템을 위한 뉴로모픽 컨트롤러는 에너지 효율적이면서도 시스템 역학 수준에서 해석 가능한 신경망 아키텍처를 필요로 한다. 그러나 기존 접근법은 해석 가능성이 제한된 엔드투엔드 학습된 스파이킹 네트워크에 의존하거나, 뉴로모픽 역학을 완전히 활용하지 못하는 변환된 고전 컨트롤러에 의존한다. 우리는 극좌표 궤적을 생성하기 위한 스파이킹 신경망(SNN) 아키텍처를 제시하며, 신경 활성의 제어된 전환을 유도하는 보조 집단을 갖춘 승자독식(WTA) 아키텍처를 사용한다. 이러한 집단 역학에 대한 튜닝 규칙을 제시하고, 분로 억제(shunting inhibition)의 한 형태를 활용하여 생성되는 극좌표 궤적의 방향, 속도, 반경을 독립적으로 제어할 수 있도록 한다. 해당 신경망을 SpiNNaker2 뉴로모픽 프로세서에 구현하여, 기존 컴퓨팅 플랫폼 대비 실시간 스텝 시간에서 2~3 자릿수, 에너지 소비에서 3~4 자릿수의 감소를 달성함을 보인다.
대부분의 종단간 자율 주행 방법은 단일 전문가 시연에 대한 모방 학습에 의존하는데, 이는 종종 보수적이고 동질적인 행동을 낳아 복잡한 실제 시나리오에서의 일반화를 제한한다. 본 연구에서는 다양하고 실행 가능한 궤적을 생성하기 위해 강화학습과 확산 기반 생성을 결합한 종단간 주행 프레임워크인 DIVER를 제안한다. DIVER의 핵심에는 강화 확산 기반 생성 메커니즘이 있다. 먼저, 모델은 지도 요소와 주변 에이전트를 조건으로 하여 단일 정답(ground-truth) 궤적에서 여러 참조 궤적을 생성하고, 단일 전문가 시연에만 의존하는 모방 학습의 한계를 완화한다. 둘째, 강화학습을 사용하여 확산 과정을 유도하는데, 보상 기반 감독이 생성된 궤적에 안전성과 다양성 제약을 강제하여 실용성과 일반화 능력을 향상시킨다. 또한, 궤적 다양성을 포착하는 데 L2 기반 오픈 루프 지표의 한계를 해결하기 위해, 다중 모드 예측의 다양성을 평가하는 새로운 Diversity 지표를 제안한다. 폐루프 NAVSIM 및 Bench2Drive 벤치마크와 오픈 루프 nuScenes 데이터셋에서의 광범위한 실험을 통해, DIVER가 궤적 다양성을 크게 향상시키고 모방 학습에 내재된 모드 붕괴 문제를 효과적으로 해결함을 보인다.
로봇 학습과 구현된 에이전트(embodied agent)는 이제 시뮬레이션이 렌더러, 컨트롤러 테스트베드, 또는 고정된 태스크 환경으로만 기능하는 것이 아니라, 제어·기술·계획을 연결하는 공유 실행 기반으로 작동할 것을 요구한다. 기존 파이프라인은 "매직" 액션, 단절된 학습 환경, 또는 동일 에피소드를 재현·평가·주석 처리할 수 없는 단방향 렌더로 이러한 계층을 분리한다. 우리는 하나의 결정론적 배치 런타임과 공유 마르코프 결정 과정(MDP)을 중심으로 구축된 구현된 상호작용 인프라 MagicSim을 제안한다. MagicSim은 콘텐츠·배치·행동·에이전트 노출을 분리하는 YAML 우선 명세로부터, 태스크 패밀리·상호작용 체제·물리·레이아웃·센서·아바타·로봇 구현체를 아우르는 다양한 실행 가능 세계를 단일 리셋-스텝 루프로 구성한다. 공통 실행 인터페이스는 고수준 명령을 컨트롤러, 원자적 기술(atomic skill), 플래너 프리미티브, 비동기 계획을 통해 그라운딩하여, 시뮬레이터 측 상태 편집이 아닌 로봇 액션으로 실현한다. 하나의 태스크 정의가 세 가지 기능을 지원한다: 벤치마크 및 강화학습(RL) 평가, 명령을 그라운딩된 궤적으로 자동 변환하는 자동 수집 인터페이스, 그리고 에이전트/VLM 대향 상호작용. 자동 실행 시 명령은 Command→Skill→Planner→Robot→Record 파이프라인을 통해 흐르며, 환경별 명령·기술·계획·재시도·주석·에피소드 상태는 공유 물리 틱(physics tick) 위에서 독립적으로 진행된다. 성공한 롤아웃은 언어 지도, 액션 표현, 시각적·기하학적 표현, 태스크 수준 상태를 실행된 에피소드와 정렬하는 구조화된 멀티모달 궤적으로 저장된다. 이처럼 MagicSim은 다양한 세계 구성, 구현된 실행, 태스크 평가, 자동 롤아웃 생성, 대화형 에이전트 인터페이스를 플래너-인-더-루프 런타임 하나로 통합한다.
인간 이동 데이터는 교통, 도시 계획, 전염병 통제에 중요하지만, 대규모 궤적 수집은 비용이 높고 개인정보 제약이 따르는 경우가 많아 현실적인 합성 궤적 생성의 필요성이 높아지고 있다. 기존 LLM 기반 생성기는 일반적으로 프롬프트 엔지니어링과 궤적 수준 파인튜닝 중 하나에 의존한다. 프롬프트 엔지니어링은 제로샷 추론 능력을 보존하지만 세밀한 시공간 그라운딩이 부족하고, 궤적 수준 파인튜닝은 통계적 정밀도를 향상시키지만 상당한 계산 비용이 발생하며 일반 추론 능력을 약화시킬 수 있다. 본 논문에서는 모델 파인튜닝 없이 인간 이동 궤적을 생성하는 의미 인식 계층적 LLM 에이전트 프레임워크인 TrajGenAgent를 제안한다. TrajGenAgent는 오케스트레이터-워커(orchestrator-worker) 이중 단계 설계를 채택한다. 먼저 LLM이 문맥 내 학습(ICL)을 통해 과거 데이터로부터 개인 및 요일 조건부 활동 체인을 합성하고, 이후 결정론적 워크플로우가 개인화된 POI 검색, 거리 인식 위치 선택, 운동학 인식 이동 시간 전파, LLM 기반 체류 시간 추정을 통해 각 활동을 완전한 방문으로 그라운딩한다. 집계된 시공간 통계를 넘어 현실성을 평가하기 위해, 행동 및 의미적 타당성을 측정하는 두 가지 상호 보완적인 탐지기를 활용한 이상 탐지 기반 평가 프레임워크를 도입한다. 벤치마크 및 대규모 시뮬레이션 데이터셋에서의 실험 결과, TrajGenAgent는 파라미터 업데이트 없이도 대표적인 신경망 기반 및 LLM 기반 베이스라인 대비 시공간 충실도, 의미적 일관성, 개인별 행동 현실성을 향상시킴을 보인다.