arXiv:1910.06219

ICPS-net: An End-to-End RGB-based Indoor Camera Positioning System using deep convolutional neural networks

Ali Ghofrani, Rahil Mahdian Toroghi, Sayed Mojtaba Tabatabaie

제출 2019-10-14

원문 초록

Indoor positioning and navigation inside an area with no GPS-data availability is a challenging problem. There are applications such as augmented reality, autonomous driving, navigation of drones inside tunnels, in which indoor positioning gets crucial. In this paper, a tandem architecture of deep network-based systems, for the first time to our knowledge, is developed to address this problem. This structure is trained on the scene images being obtained through scanning of the desired area segments using photogrammetry. A CNN structure based on EfficientNet is trained as a classifier of the scenes, followed by a MobileNet CNN structure which is trained to perform as a regressor. The proposed system achieves amazingly fine precisions for both Cartesian position and Quaternion information of the camera.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2610.15745v1cs.CV공통 태그 Autonomous Driving

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2610.15843v1cs.CL공통 태그 Position

신경망 모델과 인간 뇌에서의 음소 정체성과 위치의 결합

Binding Phoneme Identity to Position in Neural Models and the Human Brain

인지과학과 신경 계산 분야의 근본적인 난제 중 하나는 결합 문제(binding problem)이다. 조합적 일반화(compositional generalization)는 표상을 역할(role, 예: 순서 위치나 구문적 기능과 같은 표상의 구조적 슬롯)과 필러(filler, 예: 음소나 단어와 같이 슬롯을 차지하는 내용물)로 인수분해하여 달성할 수 있으며, 이 둘을 자유롭게 재조합함으로써 새로운 조합을 표현할 수 있다. 그러나 신경계가 역할-필러 결합을 어떻게 구현하는지는 여전히 알려져 있지 않다. 가장 단순한 사례 중 하나는 음소 시퀀싱으로, /gum/과 /mug/가 서로 다르게 표현되도록 음소 정체성(필러)이 위치(역할)에 결합되어야 한다. 자연어 처리(NLP) 분야에서 제안된 '양파 가설(onion hypothesis)'(Csordas et al., 2024)은 신경 집단 상태의 방향이 토큰 정체성을 부호화하고 그 크기가 위치를 부호화한다고 주장한다. 이 가설은 무작위 토큰 시퀀스를 대상으로 정립되었으며, 본 연구에서는 이를 자연어로 확장하여 신경망 모델과 인간의 뇌에서 검증한다. 먼저 표상 기하학 분석과 인과적 개입을 활용하여 영어 단어를 반복하도록 학습된 인코더-디코더 모델에서 이를 평가했다. 그 결과 크기만으로는 불완전함이 입증되었다. 위치는 크기와 함께 상태 방향의 체계적인 회전에 의해 부호화되며, 본 연구는 이러한 기제를 '나선 가설(spiral hypothesis)'로 공식화한다. 이어 짧은 문장을 듣는 20명의 참가자의 청각 피질에서 기록된 두개내 뇌파(intracranial recordings)를 분석했다. 상측두회(superior temporal gyrus) 전극 전반에서 연속된 음소 간의 집단 반응 변화는 위치가 진행됨에 따라 크기가 감소했으며, 그 방향은 자음군 내부 및 모음군 내부에서 정렬되었으나 두 부류 간에는 거의 직교하여 두 가설이 공유하는 크기 코딩을 뒷받침했다. 이러한 결과는 신경계가 음소 정체성을 위치에 결합하는 방식에 대한 기하학적 설명을 제공하며, 신경망 모델 가설이 인간 신경 계산에 대한 검증 가능한 예측을 어떻게 도출할 수 있는지를 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.