arXiv:2609.24312v1 cs.CV

AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학

AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission

Andr\'e Amorim, Pedro F. Proen\c{c}a

제출 2026-09-22

한국어 초록

아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.

원문 초록

Analog video transmission (VTX) remains widespread in FPV drones due to low latency, weight and low cost. However analog VTX suffers from complex spatially structured image degradation which differ fundamentally from digital image corruption (e.g. AWGN) used in standard training augmentation. This work shows that this type of noise severely degrades the accuracy of Depth Anything 3 (DA3), a state-of-the-art feed forward visual geometry foundation model. To address this gap, we present AnalogDepth, a parameter-efficient training pipeline that adapts DA3 to analog FPV imagery using student-teacher knowledge distillation with Low-Rank Adaptation (LoRA) injected into the DINOv2 backbone. Rather than synthesizing noise analytically, we build a noise bank from static FPV recordings under diverse conditions and compare real-noise injection against PSD-matched Gaussian synthesis and AWGN as baselines. Experiments on six real FPV flight sequences across three indoor scenes show that training with our noise bank consistently reduces per-frame depth RMSE and 3D reconstruction Chamfer distance compared to the pretrained DA3 baseline and both Gaussian noise variants. These results demonstrate that replicating the spatial structure of real analog transmission noise is critical for effective adaptation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24312v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15761v1cs.CL공통 태그 Data Augmentation, Domain Adaptation

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Domain Adaptation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.10564v1cs.RO공통 태그 3D Reconstruction, Depth Estimation

텍스처가 부족할 때 동적 포인트 필터링이 도움이 되는가? 합성 실내 장면에서의 ORB-SLAM2 프론트엔드 통제 연구

Does Dynamic-Point Filtering Help When Texture Is Scarce? A Controlled Study of ORB-SLAM2 Front-Ends in Synthetic Indoor Scenes

특징(feature) 기반 비주얼 SLAM에는 동적 포인트 필터가 일상적으로 추가되며, 최근 몇몇 시스템에서는 동적 특징을 제거하면 저텍스처 영역에 남는 정적 특징이 너무 적어질 수 있다고 주장합니다. 지금까지 이러한 시스템들은 텍스처가 풍부한 벤치마크 시퀀스에서만 평가되었습니다. 본 연구에서는 이러한 상호작용을 분리하여 분석하는 통제 연구를 제시합니다. 표면 텍스처(FAST 코너 밀도와 이미지 그래디언트(gradient) 엔트로피로 정량화된 4단계)와 장면 동역학(3단계)을 동일한 카메라 궤적을 따라 요인별로 변화시키고, 스테레오, RGB-D, 정답(ground-truth) 포즈 및 동적 마스크를 포함하는 합성 실내 시퀀스를 렌더링합니다. 이 그리드 상에서 필터링이 없는 ORB-SLAM2, 옵티컬 플로우 및 에피폴라 잔차 기반 필터(FLOW), 다중 뷰 깊이 일관성 필터(GEOM)를 비교하고, 5회 실행에 걸친 궤적 오차, 트래킹 완료도, 잔여 정적 특징을 보고합니다. 마스크를 통해 키포인트별 정답을 얻을 수 있으므로, 메커니즘 차원의 설명을 직접 검증할 수 있도록 각 필터의 동적 포인트 정밀도(precision)와 재현율(recall), 정적 특징 오제거율도 측정합니다. 본 연구는 새로운 필터를 제안하지는 않습니다. 24개 시퀀스에 걸친 720회의 실행 결과, 필터링은 주로 동역학이 가장 큰 조건에서 도움이 되었습니다. 그 이점은 텍스처에 따라 단조 감소하지 않았으나, 가장 낮은 텍스처 수준에서 필터링은 트래킹 완료도를 저하시켰으며, 정적 L3 장면에서는 ORB-SLAM2가 전혀 초기화되지 못했습니다. 가설과 달리, GEOM은 FLOW보다 더 많은 정적 키포인트를 제거했습니다(오제거율 중앙값: RGB-D에서 6.8% 대 1.5%, 스테레오에서 19.6% 대 1.5%). GEOM의 RGB-D상 이점은 동적 포인트 재현율을 따랐으며 스테레오 모드에서는 사라졌습니다. 데이터와 코드는 https://github.com/felixxxue/texture-dynamics-slam 에서 제공됩니다.

arXiv:2610.02343v1cs.CV공통 태그 3D Reconstruction, Depth Estimation

SCOPE-4D: 내시경 4D 기하학 파운데이션 모델

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.

arXiv:2610.03473v1cs.CV공통 태그 3D Reconstruction, Depth Estimation

UniDynamics: 통합 미래 4D 동적 장면 생성을 위한 이벤트-RGB 융합

UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation

본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.

arXiv:2610.01206v1cs.CV공통 태그 3D Reconstruction, Depth Estimation

전경 뷰 및 가려진 장면 복원을 위한 혼합 단일 광자 라이다 반환 신호 분해

Resolving Mixed Single-Photon LiDAR Returns for Foreground-View and Hidden Scene Reconstruction

부분 투과성 스크린과 보호 덮개는 로봇 검사에서 흔히 사용되지만, 전경 물질과 그 뒤의 장면 모두로부터 혼합된 라이다(LiDAR) 반환 신호를 생성합니다. 기존의 피크 기반 라이다는 대체로 약한 숨겨진 반환 신호를 폐기하는 반면, 단일 광자 라이다(single-photon LiDAR)는 감쇄되거나 중첩된 에코를 보존하는 시간 분해 히스토그램을 기록합니다. 그러나 기존의 트랜지언트(transient) 복원 방법들은 일반적으로 측정된 파형(waveform)에 단일 장면 표현을 피팅합니다. 가림(occlusion) 환경에서는 약하거나 인접한 전경-숨겨진 에코가 넓은 피크나 미세한 숄더(shoulder)를 형성할 수 있습니다. 이러한 파형은 위치가 이동된 단일 표면이나 두꺼운 밀도 분포로도 설명될 수 있으므로, 정확한 트랜지언트 피팅이 반드시 올바른 기하학적 구조를 의미하지는 않습니다. 본 논문에서는 가려진 단일 광자 히스토그램으로부터 전경 뷰와 가려진 장면을 복원하기 위한 상태 인식(state-aware) 프레임워크를 제안합니다. 각 광선(ray)에 대해 신뢰할 수 있는 표면 근거가 없는 경우, 단일 반환 근거가 있는 경우, 또는 두 개의 반환 근거가 있는 경우를 식별하여 국소 에코 근거를 추정합니다. 추정된 에코 상태는 2-헤드 신경 필드(two-head neural field)의 지도 학습 경로를 지정합니다. 즉, 모든 광선은 파형 재구성을 제약하는 반면, 신뢰할 수 있는 앵커는 기하학적 위치 추정을 제공합니다. 또한 고정된 포즈에서 가려진 캡처와 깨끗한 캡처를 포함하는 실제 쌍을 이룬 단일 광자 라이다 가림 데이터셋(dataset)을 제시합니다. 실제 데이터셋에 대한 실험 결과, 베이스라인 대비 향상된 가려진 장면 깊이 및 포인트 클라우드 정확도를 보여줍니다. 본 연구 결과는 단일 광자 계층형 복원이 부분 투과성 가림체를 통한 3D 인식의 실용적인 경로임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.