arXiv:2303.01196

STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model

Houssem Boulahbal, Adrian Voicila, Andrew Comport

제출 2023-03-02

원문 초록

In this paper, a self-supervised model that simultaneously predicts a sequence of future frames from video-input with a novel spatial-temporal attention (ST) network is proposed. The ST transformer network allows constraining both temporal consistency across future frames whilst constraining consistency across spatial objects in the image at different scales. This was not the case in prior works for depth prediction, which focused on predicting a single frame as output. The proposed model leverages prior scene knowledge such as object shape and texture similar to single-image depth inference methods, whilst also constraining the motion and geometry from a sequence of input images. Apart from the transformer architecture, one of the main contributions with respect to prior works lies in the objective function that enforces spatio-temporal consistency across a sequence of output frames rather than a single output frame. As will be shown, this results in more accurate and robust depth sequence forecasting. The model achieves highly accurate depth forecasting results that outperform existing baselines on the KITTI benchmark. Extensive ablation studies were performed to assess the effectiveness of the proposed techniques. One remarkable result of the proposed model is that it is implicitly capable of forecasting the motion of objects in the scene, rather than requiring complex models involving multi-object detection, segmentation and tracking.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26590v2cs.CV공통 태그 Object Detection, Depth Estimation

GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환

GTR: Gated Token Recurrence for Efficient Dense Prediction

셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/

arXiv:2609.22277v1cs.AI공통 태그 Object Detection, Depth Estimation

시각장애인 다중모달 이동 보조를 위한 저렴한 AI 통합 스마트 지팡이

An Affordable AI-Integrated Smart Cane for Multimodal Mobility Assistance of Visually Impaired Users

전 세계 22억 명 이상이 시각장애를 겪고 있으나, 기존 흰 지팡이는 높이 있는 위험 요소를 감지하거나 의미론적 환경 맥락을 제공할 수 없다. 기존 AI 보조 내비게이션 시스템은 일반적으로 고가의 하드웨어 또는 클라우드 연결에 의존하여, 자원이 제한된 환경에서의 접근성을 제한한다. 본 논문은 초저전력 Raspberry Pi Zero 2W에서 다중모달 이동 보조를 위해 설계된 저렴한(88 USD) 완전 오프라인 AI 통합 스마트 지팡이를 제안한다. 시스템은 RGB 비전 감지와 Time-of-Flight(ToF) 거리 추정을 융합하고, INT8 양자화 SSD MobileNet V1 모델을 거리 인식 진동 촉각 피드백 및 실시간 오디오 알림과 결합한다. 제한된 하드웨어에서의 운영 견고성을 위해, 멀티프로세싱 아키텍처가 센서 획득, 신경망 추론, 햅틱 피드백을 장애 안전 센싱 지원과 함께 독립 프로세스로 분리한다. 실내 이동 시나리오에 걸친 실험 평가는 macro-averaged F1-score 0.82(정밀도: 0.85, 재현율: 0.81), 평균 end-to-end 지연 330 ms, 최대 전력 소모 2.8 W를 보여준다. 12명 참가자(SUS: 78.5, NASA-TLX)를 대상으로 한 예비 사용성 연구는 긍정적인 사용자 인식과 향상된 장애물 인식을 보여주었다. 제안된 프로토타입은 비용에 민감한 이동 보조를 위한 프라이버시 보존형 엣지 네이티브 보조 지능 배포의 타당성을 검증한다.

arXiv:2607.21243v1cs.CV공통 태그 object-detection, Object Detection

탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.

arXiv:2607.12231v1cs.CV공통 태그 Object Detection, Depth Estimation

GEST-Engine: 이벤트 그래프에서 합성 비디오까지. 전체 기술 보고서

The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report

본 논문은 자연어 텍스트부터 완전히 주석이 달린 다중 행위자(multi-actor) 비디오까지 이르는 완전한 시스템인 GEST-Engine을 제시한다. 핵심에는 명시적 월드 모델(explicit world model)이 있다. 상태를 학습된 잠재 표현(learned latent)으로 인코딩하는 대신, 엔진은 세계의 완전하고 검사 가능한 표현—어떤 행위자가 존재하는지, 어디에 있는지, 무엇을 하고 있는지, 어떤 물체를 들고 있는지, 이벤트가 시간과 공간에서 어떻게 연관되는지—을 유지하며, 이를 공간과 시간 속 이벤트 그래프(Graph of Events in Space and Time, GEST)로 형식화하여 표현하고, 오픈소스 멀티플레이어 스크립팅 프레임워크를 통해 구동되는 상용 게임 엔진의 개방형 세계 안에서 결정론적으로 구현한다. GEST는 절차적 방식으로 생성되거나, 대규모 언어 모델(LLM) Director가 프로그램적 상태 백엔드에 의해 검증된 도구 호출을 통해 이야기를 계획하는 에이전트형(agentic) text-to-GEST 시스템을 통해 생성되므로, 생성된 모든 명세는 구성상(by construction) 실행 가능하다. GEST는 이후 4단계 실행 파이프라인—그래프 파싱 및 검증, 엔티티 및 액션 그라운딩(grounding), 시간적 오케스트레이션(Allen 스타일 제약을 Floyd-Warshall 전이 폐쇄로 해결), 실행 및 캡처—에 진입한다. 단일 시뮬레이션 패스에서 엔진은 프레임 정렬 RGB 비디오, 픽셀 단위 밀집 깊이(dense per-pixel depth), 인스턴스 분할(instance segmentation), 행위자별 스켈레톤 포즈, 프레임별 쌍방 공간 관계 그래프, 2D 경계 상자(bounding box), 이벤트-프레임 시간 매핑, 자연어 설명을 모두 출력하며, 이 모든 것의 한계적 주석 비용은 0이다. 또한 게임 내 월드 에디터, 런타임 역량 추출, 텍스트 생성 파이프라인, 병렬 가상 머신에 걸쳐 대규모로 코퍼스를 렌더링하는 프로덕션 시스템을 설명한다. 모든 프레임이 의미론적 명세에 역추적되기 때문에, 엔진은 구성상 물체 영속성(object permanence), 다중 행위자 조율, 시간적 일관성을 보장하며, 이로 인해 출력은 비디오 이해를 위한 학습 데이터, 평가 벤치마크, 진단 도구로서 가치가 있다.

arXiv:2607.10993v1cs.CV공통 태그 object-detection, Object Detection

오픈-어휘 탐지에서의 신뢰도 점수는 스케일과 의미론의 바이어스된 혼합이다

Confidence Scores in Open-Vocabulary Detection Are a Biased Mixture of Scale and Semantics

CLIP과 같은 파운데이션 모델(foundation model)은 비전-언어(vision-language) 유사도를 통해 새로운 카테고리로 일반화하는 오픈-어휘(open-vocabulary) 객체 탐지기를 가능하게 했다. 그러나 이러한 탐지기가 생성하는 신뢰도 점수는 신뢰할 수 있는 위치화 확률 추정값이 아니다: 시각적 스케일과 의미론적 쿼리 특이성이 실제 탐지 신호와 혼재되기 때문이다. 세 가지 파운데이션 모델 기반 탐지기(GroundingDINO, OWL-ViT, YOLO-World)를 대상으로 COCO에서 수행한 통제 실험과, GroundingDINO를 사용하여 LVIS(1,203개 카테고리)에서 스케일 바이어스 결과를 추가로 재현한 실험을 통해, s=cos(v,t)가 두 가지 효과의 바이어스된 혼합임을 보인다. 스케일 바이어스(alpha = +0.064, r = 0.579, p = 1.29 x 10^-58)는 큰 객체에 대한 점수를 체계적으로 부풀린다. 의미론적 바이어스(beta = -0.705, p = 5.23 x 10^-41)는 일반적인 쿼리에 대한 점수를 억제한다. 두 바이어스 모두 CLIP의 이미지 수준 사전학습으로 인해 구조적으로 불가피하다. 임계값 조정으로는 이를 제거할 수 없다: 오라클(oracle) 스케일별 임계값 조정은 작은 객체에서 Delta F1 = +0.001, 큰 객체에서 +0.102를 산출한다. 매개변수 없는 온도 스케일링(temperature scaling) 보정은 재학습 없이 소형 객체의 Recall@10을 19.6%(p < 0.01) 향상시킨다. 다만 이는 풀링된 랭킹 정밀도에 적지만 측정 가능한 비용을 수반하므로, 바이어스는 추론 시점에 부분적으로만 역전될 뿐 완전히 제거되지는 않는다. 이러한 발견은 이미지 수준 파운데이션 모델을 영역 수준 탐지 태스크에 적용하는 것의 근본적인 한계를 드러낸다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.