arXiv:1902.06820

Motion Equivariant Networks for Event Cameras with the Temporal Normalization Transform

Alex Zihao Zhu, ZiYun Wang, Kostas Daniilidis

제출 2019-02-18

원문 초록

In this work, we propose a novel transformation for events from an event camera that is equivariant to optical flow under convolutions in the 3-D spatiotemporal domain. Events are generated by changes in the image, which are typically due to motion, either of the camera or the scene. As a result, different motions result in a different set of events. For learning based tasks based on a static scene such as classification which directly use the events, we must either rely on the learning method to learn the underlying object distinct from the motion, or to memorize all possible motions for each object with extensive data augmentation. Instead, we propose a novel transformation of the input event data which normalizes the $x$ and $y$ positions by the timestamp of each event. We show that this transformation generates a representation of the events that is equivariant to this motion when the optical flow is constant, allowing a deep neural network to learn the classification task without the need for expensive data augmentation. We test our method on the event based N-MNIST dataset, as well as a novel dataset N-MOVING-MNIST, with significantly more variety in motion compared to the standard N-MNIST dataset. In all sequences, we demonstrate that our transformed network is able to achieve similar or better performance compared to a network with a standard volumetric event input, and performs significantly better when the test set has a larger set of motions than seen at training.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09816v4cs.LG공통 태그 Data Augmentation, General Classification

RUBRIC: 불균형 분류를 위한 사실성-효용 균형 순위화

RUBRIC: Realism--Utility Balanced Ranking for Imbalanced Classification

클래스 불균형은 사기 탐지 및 의료 진단과 같이 소수 클래스 샘플이 희소하지만 정확한 분류에 결정적인 위험 민감 응용 분야에서 근본적인 문제를 야기합니다. 기존 오버샘플링(oversampling) 기법들은 클래스 분포의 균형을 맞추기 위해 합성 샘플을 생성하지만, 결정 경계를 왜곡하거나 인위적 아티팩트를 도입하는 저품질 후보를 대량 생성하여 과적합과 일반화 성능 저하를 초래하는 경우가 많습니다. 본 연구에서는 합성 샘플 선택을 '양보다 질' 최적화 문제로 정형화하는 생성기 무관(generator-agnostic) 필터링 프레임워크인 \textbf{RUBRIC}을 소개합니다. RUBRIC은 사실성-효용 트레이드오프를 활용하여 후보들의 순위를 매깁니다. 사실성은 각 후보가 실제 소수 클래스 샘플과 닮은 정도로부터 신경 밀도비 판별자(neural density-ratio discriminator)를 통해 추정되며, 효용은 오목한 마진 기반 점수 함수 $g_-(t)=-\log(1+e^{-t/τ})$를 통해 결정 경계와의 근접성을 포착합니다. 판별자는 모든 벤치마크에서 동일한 아키텍처와 학습 프로토콜을 사용하며, 각 데이터셋의 실제 소수 클래스 대 합성 풀에 대해 독립적으로 적합됩니다. 본 연구에서는 온건한 정규성 조건 하에서, 제안된 필터링 프레임워크가 분포 변화(distribution shift)를 줄이고 준음성 꼬리(near-negative tail) 기여를 억제함으로써 마진 기반 분류기의 일반화 한계(generalization bound)를 단조롭게 강화함을 보입니다. 표준 공개 불균형 분류 벤치마크에 대한 광범위한 실험을 통해, RUBRIC이 여러 데이터 생성기에 걸쳐 전반적인 판별 능력을 유지하면서 소수 클래스 재현율을 향상시킴을 입증합니다. $λ$ 및 선택 예산 $K$에 대한 민감도 분석은 순위화 품질 중심의 성능 트레이드오프를 더욱 명확히 규명합니다.

arXiv:2609.24384v1cs.CV공통 태그 Data Augmentation, General Classification

손으로 그린 기하학적 도형의 실시간 인식을 위한 경량 합성곱 신경망

A Lightweight Convolutional Neural Network for Real-Time Recognition of Hand-Drawn Geometric Shapes

손으로 그린 기하학적 도형을 인식하는 것은 스케치 인식의 기초적인 하위 문제로, 교육, 인간-컴퓨터 상호작용(HCI), 다이어그램 디지털화 등에 응용될 수 있다. 본 논문에서는 소형 합성곱 신경망(CNN)을 사용하여 원, 정사각형, 직사각형, 삼각형의 네 가지 기본 손그림 기하학적 도형을 인식하는 데스크톱 애플리케이션의 설계, 구현 및 평가를 제시한다. 라벨링된 28x28 픽셀 크기의 도형 이미지 2,000개로 구성된 데이터셋을 독립적으로 수집하여 공개하였다. 분류기는 맥스 풀링을 포함하는 3개의 합성곱 블록(16, 32, 64개 필터), 모델 내 데이터 증강 단계(무작위 좌우 반전, 회전 및 확대), 드롭아웃 정규화가 적용된 128개 유닛의 완전 연결층, 그리고 4방향 선형 출력층으로 구성되어 총 97,956개의 학습 가능한 파라미터를 가진다. 해당 신경망은 로짓(logits)에서 직접 계산되는 희소 범주형 교차 엔트로피(sparse categorical cross-entropy) 목적 함수를 바탕으로 Adam 옵티마이저를 통해 학습된다. 80/20의 학습-검증 분할에서 이 모델은 0.1437의 검증 손실과 함께 94.80%의 학습 정확도 및 96.01%의 검증 정확도를 달성한다. Tkinter 기반 그래픽 인터페이스를 통해 사용자는 마우스로 도형을 그리고 신뢰도 점수와 함께 즉각적인 클래스 예측 결과를 확인할 수 있다. 본 연구에서는 이 시스템을 보다 광범위한 스케치 및 도형 인식 문헌에 위치시키고, 관련 손그림 도형 분류 연구들과 정확도를 비교하며, 소규모 단일 기여자 데이터셋에 내재된 한계점을 논의한다. 재현성을 지원하기 위해 전체 소스 코드, 학습된 모델, 클래스별 데이터셋을 공개한다.

arXiv:2607.08770v1cs.CV공통 태그 Data Augmentation, Optical Flow Estimation

LongE2V: 비디오 확산 모델을 활용한 장기 이벤트 기반 비디오 복원, 예측 및 프레임 보간

LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

희소 이벤트 스트림에서 고품질 비디오를 복원하는 것은 어려운 과제이다. 회귀 방법은 텍스처를 흐릿하게 만드는 경향이 있으며, 기존 생성 모델은 장기 안정성 확보에 어려움을 겪는다. 우리는 사전학습된 비디오 확산 사전 지식(prior)을 활용하여 이벤트 기반 비디오 복원, 예측, 프레임 보간을 통합적으로 처리하는 새로운 접근법인 LongE2V를 제안한다. 기반 비디오 모델을 미세조정함으로써, 우리의 접근법은 높은 데이터 효율성과 우수한 지각적 품질을 달성한다. 극도로 긴 시퀀스에서의 시간적 드리프트를 완화하기 위해 자기회귀적 언롤링(Autoregressive Unrolling)과 적응형 컨텍스트 전환(Adaptive Context Switching)을 도입한다. 또한 프레임 보간 시 정밀한 양방향 일관성을 보장하기 위해 교차 잔차 보정을 포함한 재인코딩 정렬(Reencoding Alignment with Cross Residual Correction)을 제안한다. 나아가, 이벤트 복셀 밀도 증강(Event Voxel Density Augmentation)은 다양한 센서 해상도에 걸쳐 강건성을 보장한다. 실세계 벤치마크에서의 광범위한 실험을 통해 LongE2V가 세 가지 과제 모두에서 최첨단 방법을 능가하며, 뛰어난 시간적 일관성과 제로샷 일반화 능력을 보임을 입증한다. 프로젝트 페이지: https://cdfan0627.github.io/LongE2V-page/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.