EWAM: 체화 지능에서 폐루프 온라인 적응을 위한 향상된 World Action Model
EWAM: An Enhanced World Action Model for Closed-Loop Online Adaptation in Embodied Intelligence
한국어 초록
본 논문에서는 사전학습되고 완전히 고정(frozen)된 Cosmos3 백본(backbone) 네트워크 위에 구축된 폐루프(closed-loop) 온라인 적응(online adaptation) 아키텍처인 Enhanced World Action Model(EWAM)을 제안한다. 제로샷(zero-shot) 작업 프로토콜 하에서 전적으로 평가되며, EWAM은 새로운 작업 레이아웃(task layout)에 적응하는 데 필요한 추가 배포(deployment) 데이터의 양을 줄이는 것에 중점을 둔다. 주목할 점은, 어떤 평가에서도 추가적인 작업별(task-specific) 시연(demonstration) 세트를 도입하지 않았고, 백본 네트워크에 대한 파인튜닝(fine-tuning)도 수행하지 않았다는 것이다. 성능 향상은 전적으로 삽입된 4개의 경량 신경망 계층으로 구성된 추론 시간(inference-time) 공동 추론(co-reasoning) 메커니즘에서 비롯된다. Diffusion Transformer(DiT)의 중간 계층에 위치한 Neural Experience Memory Layer는 작업 관련 실행 컨텍스트(execution context)를 제공하고, 상태 예측 헤드(state prediction head) 이후의 Neural Anomaly Detection Layer는 예측 상태와 실제 상태 간의 괴리(divergence)를 실시간으로 모니터링한다. Neural Policy Routing Layer는 이상(anomaly) 심각도에 따라 직접 실행(direct execution), 보수적 재계획(conservative replanning), 또는 롤백(rollback) 복구(recovery)를 동적으로 선택하며, Neural Action Correction Layer는 실행 진단(execution diagnostics)을 사용하여 생성된 action chunk를 정제(refine)한다. 순진한(naive) 특징 융합(feature fusion)과 달리, 메모리·이상 탐지·교정(correction) 모듈은 Cosmos3 순전파(forward) 경로에 미분 가능(differentiable)한 방식으로 깊이 통합되며, 최종 라우팅(routing) 결정만이 이산적(discrete) 지도(supervised) 결정이다.
원문 초록
In this paper, we propose the Enhanced World Action Model (EWAM), a closed-loop online adaptation architecture built upon a pretrained and fully frozen Cosmos3 backbone network. Evaluated entirely under a zero-shot task protocol, EWAM is centrally focused on reducing the amount of additional deployment data required to adapt to new task layouts. Notably, no extra task-specific demonstration sets were introduced in any of the evaluations, and no fine-tuning was performed on the backbone network. Its performance gains stem entirely from an inference-time co-reasoning mechanism composed of four inserted lightweight neural layers: the Neural Experience Memory Layer located in the intermediate layers of the Diffusion Transformer (DiT) provides task-relevant execution context; the Neural Anomaly Detection Layer after the state prediction head monitors the divergence between predicted and actual states in real time; the Neural Policy Routing Layer dynamically selects direct execution, conservative replanning, or rollback recovery based on the anomaly severity; and the Neural Action Correction Layer refines the generated action chunks using execution diagnostics. Unlike naive feature fusion, the memory, anomaly detection, and correction modules are deeply integrated into the Cosmos3 forward path in a differentiable manner, with only the final routing decision being a discrete supervised one.
요약
EWAM은 사전학습된 Cosmos3 백본을 기반으로 하며, 백본 파인튜닝 없이 추론 시간에 삽입된 4개의 경량 신경망 계층을 통한 공동 추론 메커니즘으로 새로운 작업 레이아웃 적응에 필요한 데이터 양을 줄입니다. 제로샷 프로토콜 하에서 추가적인 작업별 데모 없이도 성능 향상을 달성했습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12690v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델을 활용한 계층적 사이버 방어를 향하여: 계획부터 실행까지
Towards Hierarchical Cyber Defense with Large Language Models: From Planning to Execution
강화학습(RL)으로 학습된 자율 사이버 방어 에이전트는 일반적으로 학습된 특정 네트워크에 종속되어 네트워크 규모가 변할 때 일반화 능력이 제한됩니다. 계층적 강화학습은 전략적 목표 설정과 전술적 실행을 분리하여 의사결정 복잡도를 줄이지만, 이러한 재학습 의존성을 완전히 제거하지는 못합니다. 본 연구에서는 파라미터가 고정된(frozen) 제로샷 대규모 언어 모델(LLM)이 계층적 사이버 방어에서 재학습이 필요 없는 제어를 제공할 수 있는지, 그리고 LLM 제어가 계획에서 실행으로 확장됨에 따라 성능이 어떻게 변화하는지 조사합니다. 우리는 계획자가 고정된 기간 동안 방어할 서브넷을 선택하고 실행자가 해당 서브넷 내에서 방어 행동을 선택하는 제어기 독립적(controller-agnostic) 계획자-실행자 계층 구조를 정식화합니다. MITRE ATT&CK 프레임워크와 매핑된 자동화된 레드팀 에이전트가 내장된 고충실도 Cyberwheel 환경을 활용하여, 소형, 중형, 대형 네트워크 전반에서 사이버 보안 특화 모델 2종을 포함한 3B~70B 파라미터 규모의 6개 모델을 바탕으로 RL+RL, LLM+RL, LLM+LLM 구성을 비교합니다. 계획자만 LLM으로 교체하는 것은 네트워크 크기가 커짐에 따라 제한적인 성능 향상만을 보였습니다. 반면, 실행 단계까지 LLM 제어를 확장하면 충분한 역량을 갖춘 모델에서 주목할 만한 성능 개선이 나타났습니다. 예를 들어, 고정된 범용 70B 모델은 RL 기준선이 각 규모마다 재학습되는 동안 동일한 모델 가중치를 사용하여 세 가지 네트워크 규모 모두에서 성공적인 횡적 이동(lateral movement) 비율을 약 1% 수준으로 억제하고 공격자 영향을 거의 0에 가깝게 유지했습니다. 본 연구 결과는 충분한 역량을 갖춘 고정된 LLM이 과제 특화 재학습 없이도 평가된 네트워크 규모 전반에 걸쳐 강력한 방어 성능을 유지할 수 있음을 보여주는 동시에, LLM 기반 제어의 이점을 실현하는 데 강력한 전술적 실행이 중요하다는 점을 시사합니다.
복잡계 알고리즘 설계를 위한 환경으로서의 네트워크 월드 모델
Network World Models as Environments for Algorithm Design on Complex Systems
환경(environment)을 시뮬레이션하고 행동에 따라 환경이 어떻게 변화하는지 예측하는 월드 모델(world model)은 로보틱스와 같은 현실 세계 응용 분야에서 점점 더 많이 활용되고 있습니다. 복잡계 또한 행동의 효과가 즉각적으로 나타나지 않기 때문에 동일한 도구를 필요로 합니다. 캠페인을 위해 시드 노드를 설정하거나 전염병에 대비해 노드를 면역화하는 것은 그 자체만으로는 거의 변화를 일으키지 않으며, 중요한 것은 이후 단계들에 걸쳐 펼쳐지는 결과입니다. 특정 태스크에서 기대 성능을 극대화하도록 이러한 행동을 선택하는 알고리즘을 설계하는 것은 본질적으로 반복적인 과정이며, 모든 후보 알고리즘은 자신이 도출하는 결과에 따라 점수가 매겨져야 합니다. 이러한 결과를 얻는 작업은 시뮬레이션에 의존해 왔으나, 다수의 샘플링된 궤적(trajectory)에 걸쳐 후보들을 평가할 때 그 비용이 병목 현상을 유발합니다. 본 논문에서는 시간에 따른 개입 하에서 네트워크의 확산 역학을 학습하고, 각 행동을 네트워크에 적용하며, 그에 따른 결과를 예측하는 행동 조건부 네트워크 월드 모델을 제안합니다. 이 모델은 코딩 에이전트(agent)가 전체 롤아웃(rollout) 피드백, 행동 수준의 기여도(credit), 대안적 개입에 대한 반사실적 탐침(counterfactual probe)을 활용하여 실행 가능한 알고리즘을 설계하고 개선하는 알고리즘 설계 루프 내에서 고속 평가기 역할을 수행합니다. 8개의 네트워크 태스크와 5개의 확산 모델에 걸쳐, 설계된 알고리즘은 141개 설정 중 138개에서 보고된 가장 강력한 기준선(baseline)과 대등하거나 이를 능가하는 동시에 몬테카를로(Monte Carlo) 시뮬레이션 대비 최대 14.5배 빠른 롤아웃을 가능하게 합니다. 코드는 논문 채택 시 공개될 예정입니다.
Cog-VADU: 비디오 이상 행동 탐지 및 이해를 위한 비학습 기반 인지 추론 프레임워크
Cog-VADU: A Training-Free Cognitive Reasoning Framework for Video Anomaly Detection and Understanding
비디오 이상 행동 탐지(VAD)는 비디오 내에서 비정상적인 사건을 시간적으로 특정하는 것을 목표로 합니다. 기존 접근법의 대부분은 데이터셋별 학습과 정제된 주석에 의존하므로 열린 집합(open-set) 시나리오에서의 일반화가 제한적입니다. 대규모 비전-언어 모델(LVLM)에 기반한 최근의 제로샷(zero-shot) 기법들은 이러한 의존성을 완화하지만, 시간적 연속성과 구조화된 추론이 부족한 경우가 많습니다. 본 논문에서는 VAD를 순차적 인지 추론 작업으로 재구성하는 완전한 비학습 기반(training-free) 프레임워크인 Cog-VADU를 제안합니다. Cog-VADU는 비디오 구간에 걸쳐 LVLM을 순환적 추론 체인으로 전개하는 이상 탐지 사고의 연쇄 프롬프팅(CoADTP)을 도입합니다. 시간의 흐름에 따라 구조화된 근거(rationale)를 전파함으로써 모델은 암묵적인 시간적 메모리를 유지하며, 복잡한 이상 행동과 움직임이 큰 정상 활동 간의 견고한 구분을 가능하게 합니다. 신뢰성을 더욱 향상시키기 위해, 텍스트 근거와 시각적 임베딩을 정렬하여 정교하고 안정적인 예측을 위한 의미적 일관성과 시간적 일관성을 강화하는 교차 모달 재순위화 단계를 설계했습니다. 여러 공개 VAD 벤치마크에 대한 광범위한 실험을 통해 Cog-VADU가 경쟁력 있는 제로샷 성능을 달성함을 입증합니다. 또한, 교차 모델 평가에서는 CoADTP가 모델에 구애받지 않는 방식으로 추론 기반 이상 탐지를 일관되게 향상시켜, 실제 응용 분야를 위한 해석 가능하고 일반화 가능한 이상 행동 이해를 제공함을 보여줍니다.
Agent-Editing World Model: LLM 에이전트를 위한 월드 모델링 재고
Agent-Editing World Model: Rethinking World Modeling for LLM Agents
대규모 언어 모델(LLM)의 최근 발전으로 에이전트가 다양한 환경에서 장기(long-horizon) 과제를 수행할 수 있게 되었다. 에이전트 성능을 더 높이기 위해 기존 언어 월드 모델은 주로 환경 관측을 예측하지만, 실제 피드백을 사용할 수 있을 때 고엔트로피·실행 의존적 도구 응답을 재구성하는 것은 제한된 가치만 제공한다. 한편 에이전트는 \emph{과제 상태 오염(task-state contamination)}에 시달리는데, 근거 없는 가정과 낡은 계획이 이력에 남아 이후 결정을 왜곡한다. 우리는 도구 응답을 시뮬레이션하기보다 추론과 행동이 미래 과제 진행을 어떻게 형성하는지를 모델링하는 \textbf{Agent-Editing World Model (AEWM)}을 제안한다. AEWM은 \textsc{Critical}, \textsc{Exploratory}, \textsc{Noisy} 결정을 구분하는 \textbf{Action Judge}와 동일한 관측 이력에서 noisy한 추론–행동 연속을 편집하는 \textbf{State Revision}을 결합한다. \textbf{EditAct}는 이러한 기능을 실제 실행과 통합하여, 단순히 비평만 제공하는 대신 이후 결정의 기반이 되는 상태를 직접 변경한다. 우리는 중간 학습(mid-training)과 지도 미세조정을 통해 Search, Terminal, Software Engineering 영역에서 AEWM을 학습한다. AEWM은 Action Judge 벤치마크에서 70.5\% macro-F1을 달성하여, 가장 강한 프론티어 기준선보다 10.6점 높다. 여섯 벤치마크와 세 에이전트 백본에서 EditAct는 가장 강한 기준선 대비 평균 점수를 3.2–6.7점 향상시킨다. 또한 검증된 EditAct 궤적에 대한 거부 샘플링 미세조정(\textbf{AEWM-RFT})은 온라인 AEWM 가이던스 없이 세 도메인에서 Self-RFT 대비 2.2–2.6점 향상된다.
모델 기반 강화학습에서 외부 세계 상태의 시퀀스를 예측하는 스파이킹 신경망
Spiking Neural Network Predicting Sequence of the External Worlds States in Model-Based Reinforcement Learning
본 논문에서는 현재 세계 상태에서 시작하여 외부 세계 상태의 시퀀스를 예측하도록 설계된 스파이킹 신경망(SNN)을 제시합니다. 이 SNN은 세계 역학(dynamics) 모델을 직접 생성하지 않고, 대신 다음 세계 상태를 예측하도록 학습된 SNN을 포함하며 예측된 세계 상태의 연쇄를 형성하는 데 필요한 모든 메커니즘을 제공합니다. 이러한 메커니즘은 전적으로 스파이킹 기반이며, 스파이킹 뉴런 앙상블(ensemble)로 구현됩니다. 본 논문은 이러한 신경 구조를 설명하고 고전적인 강화학습(RL) 벤치마크인 아타리(ATARI) 핑퐁에서 그 동작을 테스트합니다.
EvEMTBench: 전력 시스템 보호를 위한 머신러닝 오픈 벤치마크
EvEMTBench: An Open Benchmark for Machine Learning in Power System Protection
머신러닝 기반 전력 시스템 보호에 관한 연구들은 과업 정의, 측정값 접근성, 데이터 분할, 평가 지표 및 일반화 조건이 서로 다른 경우가 많아 직접 비교하기 어렵습니다. EvEMTBench는 모델 설계는 자유롭게 유지하면서 이러한 평가 기준들을 고정한 공개적이고 실행 가능하며 버전 관리가 지원되는 벤치마크(benchmark)를 통해 이러한 간극을 해소합니다. 20~345 kV 범위에 걸친 4개 전력망을 대상으로, 24개의 점수 산정 과업으로 구체화된 12개의 보호 및 이벤트 분석 기능을 정의하며, 관측 가능성 조건, 사전 정의된 분포 변화(distribution shift), 제로샷(zero-shot) 및 파인튜닝(fine-tuning) 기반의 전력망 간 전이(cross-grid transfer) 전반에 걸친 구조화된 평가를 지원합니다. 확정된 데이터 분할, 데이터 누출(leakage) 제어, 재현 가능한 보고 체계는 향후 방법론들을 비교하기 위한 공통의 기준을 제공합니다. 기초적 베이스라인, 전통적 방식, 특징(feature) 기반 방식, 딥러닝 베이스라인을 아우르는 기준 평가 결과는 관측 가능성이 넓어진다고 해서 항상 유리한 것은 아니며, 분포가 변화된 조건에서는 내부 분포(in-distribution)에서 드러나지 않던 오류가 나타날 수 있고, 전력망 간 전이 성능은 고장 위치 추정보다 고장 감지에서 실질적으로 훨씬 더 강건하다는 점을 보여줍니다. 또한 보호 시스템 관점의 진단을 통해 주요 평가 지표만으로는 드러나지 않는 실패 모드를 식별합니다. 따라서 EvEMTBench는 머신러닝 기반 보호 분야의 일반화를 명시적이고 재현 가능한 평가 문제로 정립합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.