PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00069v1cs.CV

시간적 분할과 의미론적 추상화를 통한 1인칭 및 3인칭 시점 절차적 이해 프레임워크

A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction

장기(long-horizon) 1인칭/3인칭 데이터는 풍부한 절차적 증거를 포함하고 있지만, 중복되고 노이즈가 많으며 처리하거나 보관하는 데 많은 비용이 듭니다. 본 논문에서는 연속적인 멀티모달 작업장 비디오를 작업 환경 모델(WEM)로 구현된 구조화된 절차적 상태 메모리(Procedural State Memory)로 변환하는 컴팩트한 프레임워크를 제안합니다. 사건 분할 이론(event segmentation theory)에서 영감을 받아, 고정된 윈도우나 시각적 새로움에만 의존하는 대신 시각적 맥락, 위치, 동작, 내레이션, 시선/물체 상호작용 및 선택적인 3인칭 작업 공간 증거의 변화를 활용하여 경계를 감지합니다. 각 세그먼트는 행위자, 시간 구간, 위치, 행동, 물체/도구, 이전/이후 상태, 신뢰도 및 출처를 포함하는 증거 연계형 이벤트 카드로 추상화됩니다. 이러한 이벤트 카드는 WEM을 점진적으로 업데이트하여 온프레미스(on-premise) 프라이버시 제약 조건 하에서 컴팩트하고 감사 가능한 문서화 및 검색을 가능하게 합니다. 본 연구에서는 동결된 DINOv2 및 VJEPA-2 인코더와 로컬 언어 모델로 설계를 구현하고, 분할 품질, 메모리 압축률, 검색 충실도 및 장기 질의응답(QA)에 대한 평가 기준을 제시합니다.

arXiv:2607.13792v1cs.CV

EgoProceVQA: 자기-스킬-탐험 에이전트를 갖춘 새로운 에고센트릭 절차적 이해 과제

EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent

일상 활동 대부분은 본질적으로 절차적이다. 그러나 에고센트릭 영상 이해를 위한 기존 평가는 절차적 이해를 거의 다루지 않으며, MLLM을 위한 널리 사용되는 영상 질의응답(VQA) 패러다임 하에서 복잡한 핵심 단계 수준 추론을 대체로 간과한다. 이러한 역량은 웨어러블 기기에 배포 가능한 절차적 AI 어시스턴트 구축에 매우 중요하다. 이 격차를 메우기 위해, 우리는 현재 MLLM과 에이전트의 에고센트릭 절차적 추론 역량을 여섯 가지 핵심 단계 중심 질문 유형을 통해 체계적으로 평가하는 에고센트릭 절차적 이해 VQA 과제(EgoProceVQA)를 제안한다. 또한, 다양한 질문 유형에 맞춘 QA 데이터를 효율적으로 구축하는 데이터 생성 플랫폼인 EgoProceGen을 개발한다. 이 플랫폼을 바탕으로 3,600개의 질문, 네 가지 일반적인 절차 시나리오, 31개의 일상 절차 과제를 포함하는 벤치마크를 구축한다. EgoProceVQA에 대한 평가 결과, 기존 MLLM과 에이전트는 절차적 이해에서 여전히 상당한 개선의 여지가 있음을 보여준다. 따라서 우리는 자기-스킬-탐험 에이전트형 프레임워크인 EgoProceAgent를 추가로 제안한다. 절차적 이해를 위한 범용 도구 라이브러리와 도구 및 모델 간 공유되는 표준화된 하위 스킬(sub-skill) 라이브러리를 설계하여, ground-truth 감독 없이 자기 탐험(self-exploration)을 가능하게 한다. 하위 스킬을 구성하고 선택하는 방법을 탐험함으로써, 에이전트는 다양한 문제에 대한 효과적인 스킬 전략을 발견하며, 여러 과제에서 오픈소스 모델 중 최첨단(state-of-the-art) 성능을 달성한다. 벤치마크, 생성 플랫폼, 에이전트형 프레임워크가 함께 EgoProceVQA를 위한 통합 기반을 마련한다. 프로젝트 페이지: https://z1oong.github.io/EgoProceVQA/.