arXiv:1911.01474

VASTA: A Vision and Language-assisted Smartphone Task Automation System

Alborz Rezazadeh Sereshkeh, Gary Leung, Krish Perumal, Caleb Phillips, Minfan Zhang, Afsaneh Fazly, Iqbal Mohomed

제출 2019-11-04

원문 초록

We present VASTA, a novel vision and language-assisted Programming By Demonstration (PBD) system for smartphone task automation. Development of a robust PBD automation system requires overcoming three key challenges: first, how to make a particular demonstration robust to positional and visual changes in the user interface (UI) elements; secondly, how to recognize changes in the automation parameters to make the demonstration as generalizable as possible; and thirdly, how to recognize from the user utterance what automation the user wishes to carry out. To address the first challenge, VASTA leverages state-of-the-art computer vision techniques, including object detection and optical character recognition, to accurately label interactions demonstrated by a user, without relying on the underlying UI structures. To address the second and third challenges, VASTA takes advantage of advanced natural language understanding algorithms for analyzing the user utterance to trigger the VASTA automation scripts, and to determine the automation parameters for generalization. We run an initial user study that demonstrates the effectiveness of VASTA at clustering user utterances, understanding changes in the automation parameters, detecting desired UI elements, and, most importantly, automating various tasks. A demo video of the system is available here: http://y2u.be/kr2xE-FixjI

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01134v2cs.CV공통 태그 Object Detection, Optical Character Recognition

전사된 벵골어 텍스트에서의 개방형 어휘 단어 인식

Open Vocabulary Word Recognition From Transcribed Bangla Texts

광학 문자 인식(OCR)은 기술을 활용하여 문서를 스캔하고 텍스트를 추출함으로써 사람들의 작업을 수월하게 만듭니다. 소프트웨어 산업에는 다양한 OCR 시스템이 존재하지만, 벵골어에 적합한 신뢰할 수 있는 솔루션을 찾는 것은 많은 노력이 필요합니다. 필기체 텍스트의 경우 상황은 훨씬 더 까다롭습니다. 단어 이미지에서 단어를 인식하는 것은 모든 OCR 프로세스에서 가장 중요한 단계이며, 텍스트 이미지에서 단어를 분할한 직후의 두 번째 단계에 해당합니다. 이 단계가 실패하면 다른 단계가 아무리 우수하게 수행되더라도 OCR의 전반적인 성능은 저하됩니다. 본 연구는 심층 학습(deep learning)을 활용하여 필기체 벵골어 단어 이미지에서 단어를 인식하는 것을 목표로 합니다. 필기체 단어 이미지를 학습하고 테스트하기 위해 MobileNetV2 기반의 SSD, InceptionResNetV2 기반의 Faster R-CNN, 그리고 이 두 가지를 결합한 앙상블 모델 등 세 가지 객체 검출(object detection) 모델을 사용했습니다. 모델 결과의 효과를 높이기 위해 수정된 비최대 억제(Non-Maximum Suppression)를 도입했습니다. 다양한 사람들의 서로 다른 필체 스타일을 포함하는 9,841개의 필기체 벵골어 단어 이미지로 구성된 맞춤형 데이터셋을 구축했습니다. 테스트 데이터셋을 통해 세 모델의 성능을 모두 검증한 결과, 앙상블 모델이 92.61%의 F1-점수를 기록하며 가장 인상적인 성능을 보였습니다. 또한 단어 수준에서 앙상블 모델은 단어의 96.12%를 일정 수준 정확하게 인식했습니다. 시스템에서 발생하는 오류를 수정하기 위한 후처리 단계를 도입함으로써 시스템을 더욱 향상시킬 수 있습니다.

arXiv:2607.22731v1cs.CV공통 태그 Clustering, Object Detection

실내 환경을 위한 보정 불필요 3D 다중 카메라 사람 추적

Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment

다중 카메라 사람 추적(MCPT)은 전통적으로 2D 검출 결과를 통합된 3D 월드 좌표계로 투영하기 위해 정밀한 카메라 내부 및 외부 보정에 의존한다. 그러나 수동 보정은 제약 없는 영상 아카이브로부터 대규모 데이터셋을 생성하는 데 주요 병목이 된다. 본 연구는 딥 파운데이션 모델을 사용하여 시각 데이터로부터 기하 구조를 직접 추론하는 통합 보정 불필요 3D MCPT 프레임워크를 제안한다. 시스템은 앵커-프리 검출(YOLOX), 강건한 추적(BoT-SORT), 전 스케일 외형 임베딩(OsNet), 자세 추정(MMPose를 통한 HRNet), Visual Geometry Grounded Transformer(VGGT)를 이용한 트랜스포머 기반 기하 재구성을 통합한다. 자세 유도 3D 리프팅 전략은 머리 키포인트를 재구성된 매니폴드에 투영하여 지면 평면 호모그래피(ground-plane homography)에 대한 의존을 제거한다. 전역 신원 연관은 엄격한 속도 게이팅을 적용한 외형-기하 결합 비용 하에서 계층적 응집 클러스터링으로 공식화된다. AI City Challenge 2024에서의 평가는 ground-truth 보정 행렬에 접근하지 않고 HOTA 점수 53.13%를 달성하여, 순수 비전 기반 3D 추적을 위한 강력한 기준선을 확립한다.

arXiv:2609.07780v3cs.CV공통 태그 Object Detection

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.