DISeR: Designing Imaging Systems with Reinforcement Learning
원문 초록
Imaging systems consist of cameras to encode visual information about the world and perception models to interpret this encoding. Cameras contain (1) illumination sources, (2) optical elements, and (3) sensors, while perception models use (4) algorithms. Directly searching over all combinations of these four building blocks to design an imaging system is challenging due to the size of the search space. Moreover, cameras and perception models are often designed independently, leading to sub-optimal task performance. In this paper, we formulate these four building blocks of imaging systems as a context-free grammar (CFG), which can be automatically searched over with a learned camera designer to jointly optimize the imaging system with task-specific perception models. By transforming the CFG to a state-action space, we then show how the camera designer can be implemented with reinforcement learning to intelligently search over the combinatorial space of possible imaging system configurations. We demonstrate our approach on two tasks, depth estimation and camera rig design for autonomous vehicles, showing that our method yields rigs that outperform industry-wide standards. We believe that our proposed approach is an important step towards automating imaging system design.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
학습이 필요 없는 분포 외 세그멘테이션을 위한 파운데이션 모델 신뢰도 및 단안 깊이 결합
Combining Foundation Model Confidence and Monocular Depth for Training-Free Out-of-Distribution Segmentation
개방형 환경(open-world) 시나리오에서 주행하는 자율주행 차량은 이국적인 동물이나 떨어진 화물과 같이 이전에 본 적 없는 객체에 불가피하게 직면하게 됩니다. 따라서 이러한 분포 외(OOD, Out-of-Distribution) 객체를 안정적으로 감지하고 분할(segmentation)하는 것은 안전한 환경 이해와 의사결정을 위해 매우 중요합니다. 대부분의 기존 접근 방식은 OOD 학습 샘플에 대한 접근, 세그멘테이션 백본(backbone)의 재학습, 또는 전용 보조 아키텍처를 필요로 하므로 실제 적용 가능성이 제한됩니다. 본 논문에서는 작업 특화된 미세조정(fine-tuning)이나 이상 데이터에 대한 접근 없이도, 파운데이션 세그멘테이션 모델의 신뢰도 예측으로부터 직접 조밀한(dense) OOD 점수를 도출하는 학습이 필요 없는(training-free) 방법을 제안합니다. OOD 세그멘테이션의 견고성을 향상하기 위해, 단안 깊이 추정(monocular depth estimation)을 통한 기하학적 정보를 의사결정 과정에 통합하여 불확실성 기반 예측에 상호보완적인 단서를 제공합니다. 제안된 방법을 SegmentMeIfYouCan 벤치마크에서 평가하고, 실제 인식 시스템의 시간적 특성을 반영하여 비디오 시퀀스에서의 OOD 추적 성능을 추가로 평가합니다. 이 방법은 도로 중심 벤치마크에서 강력한 성능을 발휘합니다.
ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크
ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion
지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.
Reasoning on a Budget: Miniaturizing DeepSeek R1 with SFT-GRPO Alignment for Instruction-Tuned LLMs
Meta Reinforcement Learning for Multi-Task Offloading in Vehicular Edge Computing
Investigating the Performance and Reliability, of the Q-Learning Algorithm in Various Unknown Environments
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
토론
이 논문과 연결된 포럼 글이 아직 없습니다.