산불 모니터링 및 보고를 위한 시뮬레이션 기반 에이전트 VLM 프레임워크
A Simulation-Grounded Agentic VLM Framework for Wildfire Monitoring and Reporting
한국어 초록
효과적인 산불 모니터링을 위해서는 시각적 단서를 물리적 화재 역학(fire dynamics)과 연계해야 하지만, 물리적 주석이 동기화된 실제 비디오는 희소하며 고충실도(high-fidelity) 3D 시뮬레이션은 비용이 많이 듭니다. 본 논문에서는 2D 산불 시뮬레이션을 라벨이 지정된 비디오 에피소드로 자동 변환하는 시뮬레이션 기반(simulation-grounded) 비전-언어 모델(VLM) 프레임워크를 제시합니다. 고정된 Blender 매핑은 시뮬레이터 지형, 연료 배치, 화재 활동, 바람 단서에 정렬된 저세부도 3D 프록시를 생성하며, 제어 가능한 비디오 생성을 통해 더욱 풍부한 외형을 제공합니다. 이러한 프록시는 정교하게 렌더링된 최종 장면이라기보다는 중간 표현 역할을 합니다. 생성된 비디오와 시뮬레이터 라벨은 참조 에피소드를 검색하고 시각적 예측과 메모리 기반 예측을 조화시키며 정형화된 산불 보고서를 생성하는 학습(training) 불필요 다중 에이전트(multi-agent) VLM 시스템을 위한 재사용 가능한 멀티모달 메모리를 구성합니다. 홀드아웃(held-out)된 생성 에피소드에서 비디오 메모리는 직접적인 VLM 질의의 22.6%, 텍스트 전용 메모리의 16~17%에 비해 51.5%의 정확한 4개 태그 정확도를 달성했습니다. 전체 시스템은 시뮬레이터에서 파생된 6개 보고서 필드에서 77.3%의 정확도를 달성합니다. 구성 요소 제거 실험(ablation), 교차 생성기 테스트, 세 가지 실제 무인 항공기(UAV) 평가를 통해 검색, 보고, 생성기 변경 및 관찰 가능한 모니터링 작업을 평가합니다. 본 프레임워크는 실제 환경의 물리적 주석이 부족한 상황에서 자동 시뮬레이션-프록시 변환과 메모리 기반 VLM 추론을 연결합니다.
원문 초록
Effective wildfire monitoring requires relating visual evidence to physical fire dynamics, yet real videos with synchronized physical annotations are scarce and high-fidelity 3D simulation is costly. We present a simulation-grounded vision-language model (VLM) framework that automatically converts 2D wildfire simulations into labeled video episodes. A fixed Blender mapping produces low-detail 3D proxies aligned with simulator terrain, fuel layout, fire activity, and wind cues; controllable video generation supplies richer appearance. The proxies are intermediate representations rather than finely rendered final scenes. Generated videos and simulator labels form reusable multimodal memory for a training-free multi-agent VLM system that retrieves reference episodes, reconciles visual and memory-based predictions, and produces structured wildfire reports. On held-out generated episodes, video memory achieves 51.5% exact four-tag accuracy, compared with 22.6% for direct VLM querying and 16-17% for text-only memory; the complete system achieves 77.3% accuracy on six simulator-derived report fields. Component ablations, cross-generator tests, and three real-UAV evaluations assess retrieval, reporting, generator changes, and observable monitoring tasks. The framework connects automatic simulation-to-proxy conversion with memory-based VLM reasoning under scarce real-world physical annotations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전시 총비용: 멀티 에이전트 LLM 워크플로에서 메모리 주입 비용의 정확한 귀속
Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows
멀티 에이전트 대규모 언어 모델(LLM) 워크플로의 모든 노드는 메모리에서 컨텍스트를 검색하여 프롬프트에 주입하며, 주입된 토큰은 시스템 프롬프트와 사용자 쿼리와 동일한 토큰당 단가로 입력 토큰으로 청구된다. 프로덕션 관측(observability) 도구는 총 토큰 비용을 보고하지만 노드가 생성하는 토큰과 전달받은 토큰을 구분하지 않으므로, 청구서의 이 항목은 비용을 지불하는 팀에게는 보이지 않는다. 우리는 멀티 에이전트 워크플로 비용을 기본 프롬프트, 추론, 메모리 주입, 미스 페널티, 컨텍스트 누적 구성요소로 분해한 Total Cost of Agency(TCA)와, 단어 수 프록시로 추정하지 않고 주입 토큰을 직접 측정하는 2-pass 비청구 토큰 카운트 기반의 정확한 귀속 방법을 제안한다. 실제 모델 API에 대해 실행한 200개 태스크 기업 벤치마크에서 메모리 주입은 컴파일 타임 옵티마이저가 개입할 수 있는 가변 비용의 13.6%, 전체 청구 비용의 약 12%를 차지하며, 워크플로 깊이 1에서의 구조적 0에서 깊이 6에서 27.6%까지 그 비중이 증가한다. 측정 구간(깊이 2~6)에서 주입 토큰은 깊이에 대해 선형적으로 증가한다(R^2 = 0.9974); 2차 피팅의 leading coefficient가 음수이므로, 해당 깊이에서 데이터는 볼록(convex) 성장을 보이지 않는다. 고정된 모델 tier에서 이 구성요소가 제어 가능함을 보인다: 검색 윈도우 용량을 32개 항목에서 2개로 줄이면 주입 토큰이 28.7% 감소하고 정확도 변화는 시드(seed) 수준 변동 범위 내이다. 그래프 재작성(graph-rewriting) 변환이 단독으로는 대체로 비용 중립적임을, 다섯 분해 항 중 두 항이 이 하네스(harness)에서 구조적으로 0임을, 총 워크플로 비용이 모델 tier 할당에 의해 지배되며 이를 고정하고 선행 연구로 취급함을 전면 보고한다. 프롬프트 캐싱(prompt caching)은 평가하지 않았으며 모든 수치는 캐시 미사용(uncached) 경우에 대한 것이다.
공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화
Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.
월드 임베딩 벤치마크
World Embedding Benchmark
월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.
Memorizon: 컨텍스트 윈도우를 넘어서는 월드 모델 학습
Memorizon: Training World Models Beyond Their Context Window
스트리밍 월드 모델(world model)은 반복적인 방문 전반에 걸쳐 한 장소를 일관되게 렌더링해야 합니다. 이러한 재방문을 직접 지도학습(supervision)하려면 두 방문을 모두 포착하는 학습(training) 샘플이 필요한데, 이는 종종 수 분에 걸쳐 발생합니다. 그러나 전체 구간에 대한 밀집 어텐션(dense attention)은 2차 비용(quadratic costs)을 초래하여 긴 구간의 지도학습을 비싸게 만듭니다. Memorizon은 이러한 결합을 끊어냅니다. 즉, 지도학습에는 긴 구간이 필요하지만 어텐션에는 필요하지 않은데, 두 방문이 중간에 위치한 모든 프레임을 포함하지 않고도 단일 순전파(forward pass)를 공유할 수 있기 때문입니다. 학습 샘플은 어떤 길이의 구간도 포괄하지만, 마지막 $k$개 청크에 대해서만 점수가 매겨집니다. 그 이전의 히스토리를 토큰화하는 대신, 점수가 매겨지는 각 청크는 카메라 공동 가시성(co-visibility)을 통해 자체 상위 $K$개의 잠재 변수(latent)를 검색하며, 이러한 요청들의 합집합이 공유 뱅크(bank)를 형성합니다. 이 뱅크는 $kK$로 제한되므로 구간이 아무리 길어도 시퀀스는 제한된 상태를 유지합니다. 가장 짧은 구간에서 이 방식은 정확히 기존 학습과 동일합니다. 뱅크를 추가하면 스텝당 비용이 한 번 증가하지만, 그 이상에서는 구간이 길어져도 비용이 거의 들지 않으며 100초에서 400초로 늘려도 스텝 시간은 12%만 증가합니다. 슬라이딩 윈도우 기준선(baseline)과 비교할 때, 검색을 통해 모든 분할에서 재방문 일관성이 향상되며, 각 회귀의 첫 방문에 도달할 만큼 충분히 긴 구간은 이미지 품질의 일부 손실을 감수하고 24%에서 30%를 추가로 향상시킵니다. 해당 구간을 넘어서면 길이가 더 길어져도 더 이상 도움이 되지 않습니다. 다른 에피소드에서 뱅크를 채우면 재방문 상관관계가 83% 감소하므로, 모델이 검색된 정보를 실제로 활용함을 보여줍니다. 프로젝트 페이지: https://tingtingliao.github.io/memorizon
개념 기반 도메인 적응: 건초더미에서 추상적인 바늘 찾기
Concept Driven Domain Adaptation: Finding an Abstract Needle in a Haystack
과학교사들은 화면에 나타나는 내용을 묘사하기보다는 자신이 가르치고자 하는 추상적인 개념을 검색어로 사용하여 다큐멘터리 발췌본을 찾는 경우가 많습니다. 이러한 사용 사례는 질의어가 관찰 가능한 사건을 기술한다고 주로 가정하는 기존 언어 기반 비디오 모먼트 검색(video moment retrieval) 방법의 한계를 드러냅니다. 반면 교육용 검색은 기저의 과학적 원리를 구체화하는 시각적 현상을 검색해야 합니다. 본 연구에서는 이를 간결한 교육과정 개념을 시간적으로 희소한 다큐멘터리 근거에 그라운딩(grounding)해야 하는 '건초더미 속 추상적 바늘 찾기' 문제인 '개념-예시 비디오 검색(concept-to-example video retrieval)'으로 정의하고 탐구합니다. 이러한 추상화 격차를 해소하기 위해, 우리는 2-타워 비전-언어(vision-language) 모델을 개념 수준 검색에 적응시키기 위한 3단계 프레임워크인 개념 기반 도메인 적응(Concept-Driven Domain Adaptation, CDDA)을 제안합니다. CDDA는 개념을 중간 의미 앵커로 취급합니다. 즉, 먼저 교과서 및 교사용 지도서의 예시-개념 쌍을 통해 텍스트 임베딩 공간을 구조화한 뒤, 동결된 시각 인코더 환경에서 이러한 개념 인식 기하 구조를 다큐멘터리 시각 정보로 전이하고, 마지막으로 희소한 시각적 개념 지도(supervision)를 통해 두 인코더를 결합 적응시킵니다. 기하학적 관점에서 이러한 단계적 정렬(alignment)은 텍스트-개념 및 비전-개념 간 각도 격차를 줄임으로써, 사전학습 모델의 구체적인 이미지 묘사 정렬을 보존하는 동시에 개념 수준의 적응을 촉진합니다. 선별된 중학교 물리 검색 벤치마크에서 CDDA는 Qwen3-VL-Embedding-2B를 포함한 여러 경쟁력 있는 멀티모달 베이스라인보다 더 우수한 교육 지향적 개념 검색 성능을 달성하는 동시에, 적응 후에도 구체적인 이미지-텍스트 매칭 성능을 유지했습니다.
사용자 비디오 컬렉션 기반의 메모리 유도 B-roll 생성
Memory-Guided B-Roll Generation from User Video Collections
본 논문에서는 컬렉션에 그라운딩(grounding)된 B-roll 시퀀스 생성 접근법을 소개합니다. 사용자의 비디오 컬렉션, 자연어로 제공된 지시사항, 목표 재생 시간이 주어지면, 컬렉션의 인물, 배경, 객체 및 스타일을 보존하면서 사용자의 주요 영상(A-roll)을 보완하는 멀티샷 시퀀스를 생성하는 것이 목표입니다. 이 과제는 시퀀스의 각 샷 생성을 유도할 시각적 증거를 수 시간 분량의 촬영 영상에서 선별해야 하므로 매우 까다롭습니다. 저자들은 원본 영상 자료를 시각적 참조(인물, 배경, 객체 및 스타일)를 갖춘 구조화된 메모리로 변환하고, 이를 활용해 그라운딩된 B-roll 시퀀스를 계획, 검색 및 생성하는 3단계 시스템인 MemComposer를 통해 이 문제를 해결합니다. 첫째, 1회성 오프라인 단계에서 MemComposer는 원본 비디오로부터 엔티티 중심 메모리를 구축합니다. 둘째, 메모리와 사용자 지시사항을 활용하여 그라운딩된 시퀀스를 계획하고 각 샷에 대한 조건화 프레임을 검색합니다. 셋째, 정체성, 배경 및 시퀀스 수준의 일관성을 확보하기 위해 시퀀스를 반복적으로 생성하고 평가(critique)합니다. 저자들은 프롬프트(prompt) 준수도와 사용자 컬렉션에 대한 시각적 일치도라는 두 가지 차원에서 사용자 선호도 조사를 통해 MemComposer를 평가합니다. 그라운딩되지 않은 텍스트-비디오 플래너와 비교했을 때, MemComposer는 프롬프트 준수도 비교에서 60.0\%, 시각적 일치도 비교에서 92.8\% 승리하여 컬렉션 메모리 및 참조 검색의 그라운딩 효과를 입증했습니다. 촬영 영상에서 편집된 검색 전용 시퀀스와 비교했을 때, MemComposer는 프롬프트 준수도 비교에서 94.5\% 승리하여 누락된 샷 생성의 가치를 보여주었으며, 시각적 일치도에서는 검색 전용 시퀀스가 58.2\%의 비교에서 선호되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.