arXiv:1804.08859

Spatiotemporal Learning of Dynamic Gestures from 3D Point Cloud Data

Joshua Owoyemi, Koichi Hashimoto

제출 2018-04-24

원문 초록

In this paper, we demonstrate an end-to-end spatiotemporal gesture learning approach for 3D point cloud data using a new gestures dataset of point clouds acquired from a 3D sensor. Nine classes of gestures were learned from gestures sample data. We mapped point cloud data into dense occupancy grids, then time steps of the occupancy grids are used as inputs into a 3D convolutional neural network which learns the spatiotemporal features in the data without explicit modeling of gesture dynamics. We also introduced a 3D region of interest jittering approach for point cloud data augmentation. This resulted in an increased classification accuracy of up to 10% when the augmented data is added to the original training data. The developed model is able to classify gestures from the dataset with 84.44% accuracy. We propose that point cloud data will be a more viable data type for scene understanding and motion recognition, as 3D sensors become ubiquitous in years to come.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10782v1cs.CV공통 태그 Data Augmentation, Scene Understanding

VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경

VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning

검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.

arXiv:2607.19880v2cs.RO공통 태그 Data Augmentation, Scene Understanding

EA-Nav: 체화 인식 기반 안전한 시각 내비게이션 정책 학습

EA-Nav: Learning Safe Visual Navigation Policies with Embodiment Awareness

교차 체화(cross-embodiment) 내비게이션은 체화 지능(embodied intelligence)의 핵심 과제이다. 체화의 차이로 인해 동일한 시각 관측이 서로 다른 에이전트(agent)에게는 서로 다른 행동을 의미할 수 있으며, 시각에만 의존할 경우 예측이 모호해진다. 기존 연구는 주로 강화학습에 의존하며, 이는 대규모 상호작용과 세심한 보상 설계를 요구하여 확장 가능한 사전학습(pre-training)과 실세계 적응을 지원하기 어렵게 만든다. 반면 모방 학습(imitation learning) 기반 접근법은 여전히 제한적이다. 이러한 과제를 해결하기 위해, 우리는 모듈형 다단계 설계를 갖춘 모방 학습 기반의 체화 인식 내비게이션 프레임워크를 제안한다. 사전학습 단계에서, 우리는 인터넷 동영상으로부터 교차 체화 내비게이션 데이터셋을 구성하고, 동일한 관측 하에서 행동 모호성을 줄이기 위해 체화 기하학(embodiment geometry)을 조건부 토큰(token)으로 도입한다. 미세조정 단계에서, 우리는 분리형(decoupled) 아키텍처 기반의 멀티모달 정보 주입 메커니즘을 설계한다. 구체적으로, 고위험 샘플을 생성하는 궤적 증강(trajectory augmentation) 전략을 설계하고, 이를 공간 지각(spatial perception)과 위험 인식(risk-aware) 보정(correction) 학습에 각각 사용하여, 안전한 내비게이션을 위해 체화 기하학을 명시적으로 통합한다. 실험 결과, 제안 방법은 서로 다른 체화 설정에서 내비게이션 성능을 효과적으로 향상시키며, 체화 내비게이션에 체화 기하학을 통합하는 것의 효과를 보여준다.

arXiv:2607.22087v1cs.CV공통 태그 Data Augmentation, Scene Understanding

FAIR: AI 생성 가짜 이미지 탐지를 위한 특징 증강 암시적 정규화

FAIR: Feature-Augmented Implicit Regularization for AI-generated Fake Image Detection

AI 생성 이미지 탐지에서 일반화는 여전히 핵심 병목이다. 많은 최신 생성기가 독점적이거나 적대적으로 수정되어 있기 때문에, 기존 탐지기는 접근 가능한 학습 데이터의 저수준 텍스처 패턴에 과적합되어, 보지 못한 도메인에서 심각한 실패를 초래한다. 기존 정규화 기법(예: $L_1$/$L_2$ 노름, 드롭아웃)은 무차별적인 파라미터 제약을 적용하며, 생성기 간 견고성에 필요한 도메인 불변 구조를 제공하지 못한다. 이를 해결하기 위해, 우리는 Feature-Augmented Implicit Regularization(FAIR)을 제안한다. FAIR은 학습 중에 직교적이고 거시적 구조 사전(prior), 구체적으로 Scene Composition Structure(SCS)를 도입하여 모델의 최적화 궤적을 기하학적으로 제약한다. 도메인 불변 SCS 특징으로 주요 특징 공간을 증강함으로써, FAIR은 텍스처 편향 단축 학습을 명시적으로 억제한다. 중요하게도, 이 구조적 사전은 추론 시 완전히 폐기되어, 아키텍처 또는 계산 오버헤드 없이 평활화되고 일반화된 결정 경계를 제공한다. 다섯 개의 대규모 벤치마크에 걸친 광범위한 평가는 FAIR을 최신 탐지기에 통합하면 생성기 간 일반화가 크게 향상되어 정확도가 최대 8.04%까지 증가하고, 제로샷 전이 시나리오에서 새로운 최첨단 견고성을 확립함을 보여준다.

arXiv:2607.21137v1cs.CV공통 태그 Data Augmentation, Scene Understanding

스마트폰 기반 보조 내비게이션을 위한 안전 지향 인도 및 도로 분할

Safety-oriented sidewalk and road segmentation for smartphone-based assistive navigation

독립적인 인도 이동은 시각장애 및 저시력 보행자(BVIP)에게 필수적이지만, 스마트폰 기반 보조 내비게이션은 보행 가능한 인도와 인접한 위험 구역을 구분하는 지각 모델이 필요하다. 본 연구는 미래 모바일 안내를 위한 안전 지향 의미 분할(semantic segmentation) 프레임워크를 제시한다. 우리는 2,752개의 이미지-마스크 쌍과 9개 클래스의 내비게이션 관련 분류 체계를 갖춘 가슴 높이 보행자 시점 데이터셋 SENSATION-DS를 소개한다. 외부 도시 및 인도 데이터셋을 이 레이블 공간에 맞게 조화했으며, 마스크 조건 합성 이미지와 Segment Anything Model 2(SAM2) 의사 레이블을 사용한 단계적 타깃 도메인 적응(staged target-domain adaptation)으로 5가지 분할 아키텍처를 평가했다. 모델은 평균 교차율(mIoU), 도로 및 인도 특화 지표, 대리 거짓 안전(proxy false-safe) 척도인 Road-as-Sidewalk Error Rate, Android Open Neural Network Exchange(ONNX) 벤치마킹으로 평가되었다. 합성 증강은 일반적으로 분할 정확도를 향상시켰으며, SAM2 의사 레이블은 Road-as-Sidewalk 오류를 더 일관되게 감소시켰다. UPerNet-MobileNetV3는 최고 오프라인 mIoU(0.715 ± 0.006)를 달성했으며, DeepLabV3Plus-MobileNetV3는 최저 Road-as-Sidewalk Error Rate(0.079)와 512×384 해상도에서 최고 Android 런타임(7.383 FPS)을 달성했다. 이 결과는 보조 인도 지각이 분할 정확도, 대리 거짓 안전 행동, 스마트폰 배포 가능성을 함께 평가해야 함을 보여주며, 실제 세계적 이득은 BVIP 사용자와의 검증이 필요하다. 이 평가는 정확한 지각, 보수적 오류 행동, 실용적 런타임의 균형을 맞추는 모델 선택을 뒷받침한다.

arXiv:2607.22864v2cs.CV공통 태그 Scene Understanding

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.