arXiv:2112.03325

Self-Supervised Camera Self-Calibration from Video

Jiading Fang, Igor Vasiljevic, Vitor Guizilini, Rares Ambrus, Greg Shakhnarovich, Adrien Gaidon, Matthew R. Walter

제출 2021-12-06

원문 초록

Camera calibration is integral to robotics and computer vision algorithms that seek to infer geometric properties of the scene from visual input streams. In practice, calibration is a laborious procedure requiring specialized data collection and careful tuning. This process must be repeated whenever the parameters of the camera change, which can be a frequent occurrence for mobile robots and autonomous vehicles. In contrast, self-supervised depth and ego-motion estimation approaches can bypass explicit calibration by inferring per-frame projection models that optimize a view synthesis objective. In this paper, we extend this approach to explicitly calibrate a wide range of cameras from raw videos in the wild. We propose a learning algorithm to regress per-sequence calibration parameters using an efficient family of general camera models. Our procedure achieves self-calibration results with sub-pixel reprojection error, outperforming other learning-based methods. We validate our approach on a wide variety of camera geometries, including perspective, fisheye, and catadioptric. Finally, we show that our approach leads to improvements in the downstream task of depth estimation, achieving state-of-the-art results on the EuRoC dataset with greater computational efficiency than contemporary methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02697v1cs.RO공통 태그 Computational Efficiency, Depth Estimation

GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습

GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation

최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.

arXiv:2609.26590v2cs.CV공통 태그 Computational Efficiency, Depth Estimation

GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환

GTR: Gated Token Recurrence for Efficient Dense Prediction

셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/

arXiv:2609.27988v1cs.CV공통 태그 Computational Efficiency, Depth Estimation

비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭

Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces

비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/

arXiv:2609.24757v1cs.AR공통 태그 Computational Efficiency, Autonomous Vehicles

NPU 가속기: FINN을 활용한 PYNQ-Z1 기반의 양자화된 실시간 차량 검출

NPU Accelerator: Quantized Real-Time Vehicle Detection on PYNQ-Z1 Using FINN

본 논문에서는 자원 제약이 있는 PYNQ-Z1 보드의 Xilinx Zynq XC7Z020 디바이스에서 실시간 차량 검출을 수행하기 위한 신경망 처리 장치(NPU) 가속기의 설계, 최적화, 구현 및 보드 상 검증(on-board validation)을 제시합니다. 본 연구는 양자화 인식 학습(QAT), 경량 YOLO 기반 검출기, Brevitas/QONNX 모델 익스포트, FINN 데이터플로우 컴파일, Vivado 구현, 그리고 대상 보드에서의 물리적 벤치마킹을 결합한 하드웨어/소프트웨어 통합 설계 방법론을 따릅니다. 성공적인 배포를 정의하는 네 가지 동시 엔지니어링 요구 조건은 30 FPS 이상의 처리량(throughput), 7 FPS/W 이상의 에너지 효율, 50 ms 미만의 프로그래머블 로직(PL) 하드웨어 지연 시간(latency), 0.55 [email omitted] 초과하는 Pascal VOC 검출 정확도입니다. 설계 공간에는 LP-YOLO 및 LP-YOLO Slim 변형, 커스텀 YOLOv3-tiny 레퍼런스, 4비트 및 혼합 저비트 양자화, 320$\times$320 및 256$\times$256 입력, 수동 및 자동 FIFO 사이징, 100~200 MHz 범위의 프로그래머블 로직 클럭이 포함됩니다. 최종 LP-YOLO Slim 구성은 256$\times$256 입력, w2a4 양자화, 142.86 MHz PL 클럭을 사용합니다. 배치 100에서 2.91 W 전력으로 35.66 FPS에 도달하여 12.25 FPS/W를 달성하였으며, 측정된 PL 지연 시간은 45.11 ms, VOC [email omitted] 0.594입니다. 이는 제공된 측정값 기준으로 네 가지 요구 조건을 동시에 만족하는 유일하게 평가된 구성입니다. 이러한 결과는 저비트 QAT, 아키텍처 슬리밍, FINN 폴딩 및 FIFO 최적화, 그리고 적절한 클럭 스케일링이 결합되어 소형 Zynq FPGA 상에서 실용적인 실시간 검출기를 제공할 수 있음을 보여줍니다.

arXiv:2609.24595v1cs.CV공통 태그 Computational Efficiency, Depth Estimation

신경 세포자동기(NCA)의 응용: 최신 동향, 과제 및 기회

Applications of Neural Cellular Automata: State of the Art, Challenges and Opportunities

신경 세포자동기(NCA)는 극히 작은 모델 크기에서도 정확하고 견고한 추론을 가능하게 하는 새로운 유형의 신경망 아키텍처이다. 최근 NCA는 이미지 분석, 합성 이미지 생성, 시뮬레이션 등 다양한 작업에서 합성곱 및 어텐션 기반 아키텍처에 대한 흥미로운 저자원 대안으로 발전해 왔다. 급속한 발전과 연구 관심의 증가는 이 신흥 기술에 대한 포괄적인 검토를 필요로 한다. 본 리뷰는 NCA의 기초, 의료 영상에 대한 응용, 그리고 최신 동향에 대한 통찰을 개괄적으로 제공한다. 우리는 최초로 제안된 NCA 아키텍처에 대한 최근 수정 사항을 효율성과 정확도 측면에서 분석한다. 또한 의료 영상 분석, 세분화(segmentation), 분류, 정합(registration), 깊이 추정, 이미지 합성에 초점을 맞추어 실제 시나리오에서의 실용적 응용을 검토한다. 마지막으로 NCA의 여러 장점과 연구 공백을 식별하고, 제한된 환경이거나 견고성 또는 효율적인 데이터 처리에 특별한 요구가 있는 영역에서의 의료 응용을 위한 NCA의 미래 기회를 분석하며 결론을 내린다.

arXiv:2609.24825v1cs.CV공통 태그 Autonomous Vehicles, Depth Estimation

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.