arXiv:1411.6326

Vision and Learning for Deliberative Monocular Cluttered Flight

Debadeepta Dey, Kumar Shaurya Shankar, Sam Zeng, Rupesh Mehta, M. Talha Agcayazi, Christopher Eriksen, Shreyansh Daftry, Martial Hebert, J. Andrew Bagnell

제출 2014-11-24

원문 초록

Cameras provide a rich source of information while being passive, cheap and lightweight for small and medium Unmanned Aerial Vehicles (UAVs). In this work we present the first implementation of receding horizon control, which is widely used in ground vehicles, with monocular vision as the only sensing mode for autonomous UAV flight in dense clutter. We make it feasible on UAVs via a number of contributions: novel coupling of perception and control via relevant and diverse, multiple interpretations of the scene around the robot, leveraging recent advances in machine learning to showcase anytime budgeted cost-sensitive feature selection, and fast non-linear regression for monocular depth prediction. We empirically demonstrate the efficacy of our novel pipeline via real world experiments of more than 2 kms through dense trees with a quadrotor built from off-the-shelf parts. Moreover our pipeline is designed to combine information from other modalities like stereo and lidar as well if available.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03875v2cs.CV공통 태그 Depth Estimation

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.01539v3cs.NE공통 태그 feature selection

MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화

MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning

본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.

arXiv:2606.24450v2cs.RO공통 태그 Depth Estimation

NoContactNoWorries: 시각과 고유수용감각을 통한 손 안 정교 조작용 접촉 추정

NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation

물리적 접촉을 지각하는 것은 정교한 조작의 기본이다. 로봇은 흔히 전용 하드웨어 촉각 센서에 의존하지만, 인간은 시각 정보를 신체의 자세와 움직임에 대한 타고난 감각과 통합하여 접촉을 추론하는 뛰어난 능력을 보인다. 이러한 체화된 지각 능력에서 착안하여, 본 연구는 로봇이 시각으로부터 접촉을 추론하도록 학습할 수 있는지를 탐구한다. 이 접근은 비용, 취약성, 통합 측면의 현실적 어려움이 있는 촉각 하드웨어에 대해, 특히 이진 접촉 추정을 위한 확장 가능한 대안이 되기도 한다. 우리는 RGB-D 시각 정보와 로봇의 고유수용감각을 융합하여 손-물체 상호작용에 대한 의사 촉각 신호로서 이진 접촉 상태를 추론하는 트랜스포머 기반 멀티모달 프레임워크인 NoContactNoWorries를 제시한다. 여러 물체에 대해 단일 접촉 예측 모델을 학습하여 검증하였으며, 추론된 접촉 신호가 손 안 물체 재배향을 위한 하위 강화학습 에이전트를 뒷받침하고 새로운 물체로도 일반화됨을 보인다. 시뮬레이션과 실제 로봇 모두에서의 실험은 제안 방법을 검증하며, 시각과 고유수용감각으로부터 접촉을 추론하는 것이 실현 가능함을 보여준다. 프로젝트 페이지: https://soham2560.github.io/no-contact-no-worries/

arXiv:2607.22535v2cs.RO공통 태그 Depth Estimation

로봇 렌더링을 통한 로봇 요인 분리 월드 모델

Robot-Factored World Models via Robot Rendering

행동 조건부 비디오 월드 모델은 초기 관측과 행동 신호로부터 미래 관측을 예측한다. 우리는 행동 실현과 장면 반응 예측을 분리하기 위해 두 가지 로봇 특유의 요인을 월드 모델 밖으로 옮기는 로봇 분해형 월드 모델(RoFacto)을 제안한다. 첫째는 행동 실현으로, 각 명령 시퀀스를 장면 접촉 없이 로봇 자체의 제어기와 기구학을 통해 전개하여, 미래의 실현된 상태를 요구하지 않는 배포 가능한 공칭 궤적을 얻는다. 둘째는 로봇 렌더링으로, 이 공칭 궤적을 로봇 URDF를 통해 렌더링함으로써 로봇의 형상, 기구학, 외형을 모델에서 분리하여 명시적인 렌더링된 로봇 기하로 옮긴다. 쌍을 이루는 엔드 이펙터 및 장면 깊이는 접촉과 가림에 대한 기하학적 단서를 제공하며, 카메라를 고려한 정적 RGB 문맥과 렌더링된 로봇 기하는 시점과 형태를 가로지르는 공유 시각 인터페이스를 이루고, 모델은 이를 통해 장면 반응을 학습한다. 실험 결과, 렌더링 인터페이스는 벡터 조건부 기준선을 능가하고, 보지 못한 로봇 형태로의 전이를 지원하며, 리타기팅된 인간 시연으로부터 로봇 조작 비디오를 생성한다.

arXiv:2606.30410v2cs.LG공통 태그 feature selection

IID를 넘어서: 표 형식 파운데이션 모델은 실제로 얼마나 일반적인가?

Beyond IID: How General Are Tabular Foundation Models, Really?

표 형식 데이터에 대한 예측 기계학습용 파운데이션 모델은 최근 학계와 산업계에서 큰 주목을 받고 있다. 여러 분야의 연구 커뮤니티가 다양한 데이터셋과 과제에서 표 형식 파운데이션 모델을 점점 더 많이 평가하고 있다. 그러나 벤치마크 소프트웨어와 평가 프로토콜이 파편화되어 있어, 이러한 과제별·분야별 평가는 모델 연구자가 거의 접근할 수 없다. 그 결과 모델 연구자는 표준 벤치마크에 의존하는데, 이는 대부분 표 형식 파운데이션 모델이 이미 뛰어난 과제를 대상으로 정의되어 있다. 가장 어려운 시나리오는 제외되어, IID 데이터에서의 미미한 개선에 집중하고 더 폭넓고 까다로운 과제를 소홀히 함으로써 이 분야의 의미 있는 진전을 제한한다. 이를 극복하기 위해 우리는 다양한 과제 유형(IID, 시간, 그룹), 표본 크기와 특징 차원 규모, 다양한 특징 유형(텍스트 포함, 높은 카디널리티 포함)을 폭넓은 분야에 걸쳐 지원하는 표 형식 데이터용 최초의 통합 총체적 벤치마크 BeyondArena를 소개한다. 표준 벤치마크를 넘어선 통합 벤치마킹을 가능하게 하기 위해, 예측 기계학습용 표 형식 데이터셋을 큐레이션하는 파이썬 프레임워크이자 메타데이터 스키마인 DataFoundry를 소개한다. 11개 모델과 142개의 선별된 데이터셋에 걸친 결과는, 현재의 오픈소스 표 형식 파운데이션 모델이 최대 10만 행의 데이터셋에서 경쟁력이 있거나 뛰어난 반면, 그룹형 또는 대규모 데이터에서는 전통적인 트리 기반 모델과 딥러닝 모델이 여전히 우세함을 보여준다. BeyondArena는 표 형식 데이터의 가장 까다로운 과제를 위한 모델 연구를 이끌어, 진정한 파운데이션 표 형식 모델로 나아가는 진전을 가능하게 한다.

arXiv:2609.24850v2cs.CV공통 태그 Depth Estimation

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.