멀티모달 대규모 언어 모델(LLM)은 짧은 클립에서는 뛰어난 성능을 보이지만, 제한된 메모리 환경에서 프레임을 점진적으로 처리하는 온라인 설정에서 수 시간 분량의 비디오를 다루는 데 어려움을 겪는다. 기존 온라인 방법들은 의미론적 구조가 부족한 간결한 시각적 표현을 유지하거나, 명시적 인과 관계가 아닌 시간적 근접성을 중심으로 구성된 고수준 메모리 저장소를 구축하여, 다단계 서술 추론을 매 쿼리마다 LLM이 재구성해야 하는 문제를 남긴다. 우리는 계층적 온라인 메모리 탐험 및 추론(Hierarchical Online Memory Exploration and Reasoning) 프레임워크인 \textsc{Homer}로 이 격차를 해소한다. \textsc{Homer}의 메모리는 원시 지각에서 반복 등장 개체, 명시적 시간적·인과 관계로 연결된 이벤트에 이르기까지 장시간 비디오의 다중 스케일 구조를 반영한다. 에이전틱 추론기는 인간의 방식처럼 이 메모리를 탐험하여 관련 장면을 찾고, 세부 정보를 조회하며, 다회 메모리 검색을 통해 답변을 구성하고, 각 단계를 검증 및 수정하는 하네스를 활용한다. \textsc{Homer}는 M3-Bench-robot, M3-Bench-web, Video-MME-Long에서 이전 최고 에이전트 방법보다 각각 $+5.5$, $+10.8$, $+4.4$점 높은 성능을 달성하며, 세 가지 다양한 LLM 백본 모두에서 일관되게 성능을 향상시켜 장시간 비디오에 대한 그라운딩된 검색에서 모델에 독립적인 구조적 능력을 보여준다.
개인화 프레젠테이션 생성은 현재 프롬프트나 템플릿에 조건을 거는 것만으로는 충분하지 않다. 에이전트는 작업 간 안정적인 사용자 선호를 유지하고, 다중 턴 수정 중 새로 도입된 선호와 제약을 보존하며, 국소 편집을 안정적으로 수행해야 한다. 우리는 MemSlides를 제안한다. 이는 장기 메모리와 작업 메모리(working memory)를 분리하고, 장기 메모리를 사용자 프로필 메모리와 도구 메모리로 더 세분화하는 개인화 프레젠테이션 에이전트용 계층적 메모리 프레임워크이다. 사용자 프로필 메모리는 라운드 0 개인화를 위한 의도 조건 프로필을 저장하고, 작업 메모리는 수정 라운드 전반에 걸친 활성 선호와 세션 제약을 유지하며, 도구 메모리는 안정적인 국소 편집을 위해 재사용 가능한 실행 경험을 저장한다. MemSlides는 이 메모리 설계를 범위가 한정된 슬라이드 국소 수정과 결합하여, 대상 갱신이 전체 덱을 반복적으로 재생성하는 대신 가장 작은 영향 영역에 작용하도록 한다. 통제된 실험에서 사용자 프로필 메모리는 다중 페르소나·다중 의도 프로필 뱅크에서 페르소나 정합(persona-alignment) 판정을 개선하고, 도구 메모리 주입은 진단용 매칭 페어 설정에서 폐루프(closed-loop) 수정 동작을 개선하며, 정성적 사례는 작업 메모리의 선호 이월 능력을 보여준다. 종합하면, 이러한 결과는 프레젠테이션 작성에서 효과적인 개인화가 생성과 국소 수정 전반에 걸쳐 지속적인 사용자 프로필, 세션 수준 작업 메모리, 재사용 가능한 실행 경험을 분리하는 데 달려 있음을 시사한다.
비디오 대규모 언어 모델(Video-LLMs)의 비약적인 발전에도 불구하고, 현재의 온라인 아키텍처는 여전히 연속적인 비디오 스트림을 동시에 처리하고, 자율적으로 응답 시기를 결정하며, 장기 문맥 메모리를 보존하는 데 어려움을 겪고 있습니다. 이러한 장애물들은 실시간 반응성을 저해하고 장기간의 상호작용 동안 심각한 망각을 유발합니다. 본 연구에서는 장기 스트림에 대한 선제적 비디오 이해를 위해 설계된 라이브 스트리밍 어시스턴트인 LiveStarPro를 소개합니다. LiveStarPro의 설계는 세 가지 상호 보완적인 구성 요소에 기반합니다. 첫 번째 구성 요소는 스트리밍 검증 디코딩(SVeD)으로, 단일 패스 팽창도(perplexity) 검증을 통해 적절한 응답 시기를 식별하는 추론(inference) 프레임워크로서, 명시적인 침묵 토큰에 대한 의존성을 제거합니다. 두 번째 구성 요소는 스트리밍 인과적 어텐션(attention) 마스크(SCAM)로, 가변 길이 스트림에 대한 점진적 비디오-언어 정렬을 강제하는 학습(training) 전략입니다. 세 번째 구성 요소는 트리 구조 계층적 메모리(TSHM)로, 제거된 과거 정보를 이벤트 체인으로 구성하여 효과적으로 무제한인 비디오 스트림에서 효율적인 검색을 가능하게 하는 재귀적 메모리 아키텍처입니다. 현실적인 온라인 조건에서 포괄적인 평가를 용이하게 하기 위해, 우리는 15가지 다양한 실제 시나리오에 걸쳐 있으며 장기 재현율(recall) 평가를 위해 시간 단위 스트림으로 확장되는 대규모 벤치마크인 OmniStarPro를 추가로 제시합니다. 광범위한 실험을 통해 LiveStarPro가 기존 방법들을 일관되게 능가하며, 의미적 정확도에서 28.9% 향상과 시간 오류에서 18.2% 감소를 달성함을 입증했습니다. 또한, 스트리밍 키-값 캐시는 캐싱이 없는 동일한 모델 대비 1.58배의 추론(inference) 속도 향상을 추가로 제공합니다. 모델과 코드는 https://github.com/sotayang/LiveStarPro에서 공개적으로 제공됩니다.