arXiv:2403.16141

Entity-NeRF: Detecting and Removing Moving Entities in Urban Scenes

Takashi Otonari, Satoshi Ikehata, Kiyoharu Aizawa

제출 2024-03-24

원문 초록

Recent advancements in the study of Neural Radiance Fields (NeRF) for dynamic scenes often involve explicit modeling of scene dynamics. However, this approach faces challenges in modeling scene dynamics in urban environments, where moving objects of various categories and scales are present. In such settings, it becomes crucial to effectively eliminate moving objects to accurately reconstruct static backgrounds. Our research introduces an innovative method, termed here as Entity-NeRF, which combines the strengths of knowledge-based and statistical strategies. This approach utilizes entity-wise statistics, leveraging entity segmentation and stationary entity classification through thing/stuff segmentation. To assess our methodology, we created an urban scene dataset masked with moving objects. Our comprehensive experiments demonstrate that Entity-NeRF notably outperforms existing techniques in removing moving objects and reconstructing static urban backgrounds, both quantitatively and qualitatively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.01628v1cs.CV공통 태그 Segmentation, NeRF

가상 드론 발사를 통한 온라인 3D 가우시안 세그먼테이션

Online Segment 3D Gaussians via Launching Virtual Drones

3D 가우시안 스플래팅(3DGS)의 실시간 렌더링 능력 덕분에, 3D 가우시안의 인터랙티브 세그먼테이션은 3D 장면을 실시간으로 조작할 수 있는 매력적인 기회를 제공한다. 그러나 기존 방법들은 원시 3DGS 장면에서 인터랙티브 세그먼테이션을 시작하기 전에 일반적으로 수십 초에서 수 분이 소요되는 장면별 사전 설정 과정을 필요로 한다. 이 설정 과정에는 다시점 마스크 준비, 마스크 리프팅, 특징(feature) 증류가 포함되어 있어 온라인 애플리케이션의 주요 병목이 되고 있다. 이러한 한계를 해결하기 위해, 우리는 세그먼테이션 시간을 실용적인 수준(1초 이내)으로 유지하면서 인터랙티브 3DGS 세그먼테이션의 설정 단계를 완전히 제거하는 것을 목표로 한다. 본 연구에서는 인터랙티브 3DGS 세그먼테이션을 위한 새로운 설정 불필요 프레임워크인 SAGO(Segment Any Gaussians Online)를 제안한다. 가상 드론을 도입함으로써, 우리의 방법은 3D 세그먼테이션 문제를 마르코프 과정 내에서 정식화된 온라인 최적 다음 시점(Next-Best-View, NBV) 계획 태스크로 재구성한다. 광범위한 실험을 통해 SAGO가 1초 미만의 지연 시간으로 3D 가우시안에서 직접 깔끔한 3D 에셋을 추출할 수 있음을 입증하며, 이를 통해 객체 조작 및 장면 편집과 같은 광범위한 다운스트림 애플리케이션을 가능하게 한다. 또한 우리의 방법은 기존 설정 불필요 3DGS 세그먼테이션 프레임워크 대비 50배 이상의 속도 향상을 달성한다.

arXiv:2606.18623v1cs.CV공통 태그 Segmentation, NeRF

장면 단서를 이용한 내재적 4D 가우시안 분할

Intrinsic 4D Gaussian Segmentation from Scene Cues

동적 4D 가우시안 스플래팅(Dynamic 4D Gaussian Splatting)은 변형하는 장면을 고충실도로 재구성하며, 동적 3D 장면의 표현으로 점차 채택되고 있습니다. 편집, 조작 또는 동작 분석과 같이 이러한 장면을 활용하려면 먼저 분할(segmentation)이 필요합니다. 즉, 가우시안 프리미티브를 응집된 객체로 그룹화하는 것입니다. 현재 파이프라인은 SAM과 같은 파운데이션 모델(foundation model)에서 2D 마스크를 가져와서 가우시안 표현으로 리프팅하거나 증류하여 이 그룹화를 수행합니다. 동적 장면에서는 이러한 마스크를 많은 프레임과 시점에 걸쳐 생성해야 하므로 비용이 많이 들며, 결과적인 분할은 외부 마스크의 품질과 일관성에 강하게 의존할 수 있습니다. 우리는 가우시안 자체에서 객체 수준의 구조를 얼마나 복원할 수 있는지 질문하고, Intrinsic-GS를 제안합니다. Intrinsic-GS는 학습(training)이나 마스크가 필요 없는 방법으로, 외관, 방향, 크기, 변형 궤적 및 학습되지 않은 렌더링 경계 단서로부터 가우시안 프리미티브에 대한 희소 유사도 그래프를 구축합니다. 이 그래프는 Leiden 커뮤니티 탐지를 통해 분할되며, 파운데이션 모델이나 학습된 특징(feature) 필드가 필요하지 않습니다. 표준 4D 가우시안 분할 벤치마크인 Neu3D 및 HyperNeRF에서 Intrinsic-GS는 마스크 감독 없이 상당한 객체 구조를 복원하여 Neu3D에서 0.746 mIoU, HyperNeRF에서 0.575를 달성했습니다. Neu3D에서는 기하학 전용 변형이 0.902 mIoU에 도달하여 SAM 지도 TRASE와 대등합니다. HyperNeRF에서 Intrinsic-GS는 마스크 지도 파이프라인에서 사용되는 마스크 생성 및 특징(feature) 렌더링 단계보다 12.5배 더 빠르게 실행됩니다. 이러한 결과는 분할 신호의 상당 부분이 이미 가우시안 자체에 인코딩되어 있음을 시사하며, 외부 마스크가 신뢰할 수 없거나 비용이 많이 드는 환경에서 더 일반화 가능하고 견고한 분할을 향한 방향을 시사할 수 있는 3D 및 4D 가우시안 분할을 위한 빠르고 마스크 없는 방향을 제공합니다.

arXiv:2606.17520v1cs.RO공통 태그 Segmentation, NeRF

GASE: 구현형 시뮬레이션 환경 재구성을 위한 가우시안 스플래팅 기반 자동화 시스템

GASE: Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments

현실 세계에서 구현형 에이전트를 학습(training)시키는 데는 숙련된 운영자와 비싼 하드웨어가 필요합니다. 시뮬레이션 환경은 대규모의 비용 효율적인 데이터 증강(data augmentation)을 가능하게 하여 매력적인 대안을 제공합니다. 결과적으로, 시뮬레이션-현실(sim-to-real) 간의 격차를 최소화하면서 고품질의 시뮬레이션 장면을 신속하게 구축하는 것이 로봇 학습의 중요한 목표가 되었습니다. 재구성 기반 방법은 우수한 시각적 품질을 제공하지만, 현재 워크플로우는 비효율적인 데이터 수집과 미흡한 전경 객체 추출로 인해 제약이 있습니다. 따라서 우리는 시뮬레이션 장면 구축을 위한 고도로 자동화된 시스템인 GASE를 제안합니다. GASE는 파노라마 카메라 배열에서의 다중 뷰 비디오 스트림을 활용하여 빠른 환경 스캔을 가능하게 합니다. 고품질 자산 생성을 보장하기 위해, 우리의 파이프라인은 2D 도메인에서 프레임 간 객체를 견고하게 추출하는 카메라 포즈 기반 전략을 도입하고, 이어 고품질 장면 인페인팅(inpainting)을 수행합니다. 전경 객체와 정적 배경은 그 후 독립적으로 재구성되어 정책 학습을 위해 물리 시뮬레이터에 매끄럽게 가져와집니다. 광범위한 실험을 통해 GASE는 최첨단 인페인팅 품질을 달성하면서 기존 3D 가우시안 기반 방법보다 분할 정확도에서 10% 이상 우수함을 입증했습니다. 또한, 조작(manipulation) 및 내비게이션(navigation) 작업에 걸친 실제 로봇 배포 결과, 순수하게 현실 세계 데이터로 학습된 정책과 비교하여 10% 미만의 성능 격차를 유지했습니다. 이러한 결과는 GASE가 시뮬레이션-현실(sim-to-real) 격차를 해소하기 위한 효율적이고 매우 효과적인 솔루션을 제공함을 확인시켜 줍니다. 코드는 공개될 예정입니다.

arXiv:2607.07984v2cs.AI공통 태그 Segmentation

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2606.09289v4cs.LG공통 태그 Segmentation

시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별

Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning

연속적인 이동 궤적으로부터 의도를 인식하는 것은 시공간 데이터 마이닝에서 중요한 문제이다. 이는 행동이 시간에 따라 변하고 그 경계를 직접 관측할 수 없을 때 어려워진다. 축구는 점유 중 여러 선수의 조율된 움직임에서 전술적 의도가 나타나므로 이 문제를 연구하기에 유용한 환경이다. 경기 국면 인식을 위한 기존 방법은 개별 프레임을 분류하거나, 사전 정의된 공간 규칙을 사용하거나, 일부 선택된 전술 패턴만 식별한다. 따라서 전술적 의도가 시간에 따라 변하는 연속적인 점유 시퀀스를 충분히 기술하지 못한다. 우리는 점유 중 경기 국면의 식별을 계층적 시퀀스 분할 과제로 다룸으로써 이 간극을 해결한다. 이 틀은 세 가지 전술적 의도(상대 공간 침투, 점유 유지, 득점)와 여섯 가지 국면(빌드업, 전진, 역습, 유지, 지속적 위협, 마무리)을 포함한다. 우리는 선수 상호작용 그래프, 맥락 특징, 트랜스포머 기반 시간 모델링을 결합한 시간적 그래프 어텐션 네트워크(T-GAN)를 제안한다. 이 틀은 분데스리가 7개 경기에 대해 한 경기 제외(leave-one-match-out) 검증으로 평가되었으며, 프레임 수준과 시퀀스 수준 모두에서 규칙 기반, 랜덤 포레스트, GNN, 트랜스포머 기준선과 비교되었다. 결과는 일관된 국면 분할에 시간적 모델링이 중요하며, 그래프 모델링은 역습과 같은 전환 국면에 추가적인 가치를 제공함을 보여 준다. 이 틀은 연속적인 선수 추적 데이터로부터 의도 기반 행동 구간을 발견하는 해석 가능한 방법을 제공하며 축구의 자동화된 전술 분석을 지원한다.

arXiv:2607.01164v2cs.LG공통 태그 NeRF

정형 및 비정형 볼륨의 빠르고 메시가 필요 없는 압축을 위한 명시적 3D 가우시안 모델

Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes

최근 연구는 암시적 신경 표현(INR)이 정형 및 비정형 볼륨 데이터를 효과적으로 압축하도록 학습될 수 있으며, 줄어든 메모리 사용량으로 데이터를 직접 질의할 수 있음을 보였다. 그러나 비정형 볼륨에 대한 기존 INR은 기하 정보를 인코딩하지 않으므로 이후 샘플링을 위해 일부 메시를 저장해야 하며, 이는 달성 가능한 압축을 제한한다. 한편 새로운 시점 합성 방법은 3D 가우시안의 명시적 집합으로 볼륨 데이터를 정확하게 시각화할 수 있음을 보였다. 본 연구에서는 3D 가우시안 프리미티브에 기반한 볼륨 데이터 압축용 명시적 모델을 소개한다. 우리는 3D 가우시안 집합을 볼륨 스칼라 장의 명시적 표현으로 재해석하고, 교차하는 가우시안의 가중 집계를 통해 공간 위치에서 스칼라 값을 복원하는 샘플링 전략을 사용한다. 또한 정형 및 비정형 모델 샘플링을 위한 최적화된 CUDA 가속 파이프라인, 모델의 정확한 영역 커버리지를 유도하는 손실 함수, 샘플링 오차 기반의 새로운 밀도화 전략을 개발한다. 우리의 명시적 정식화는 영역 기하를 자연스럽게 인코딩하여 비정형 볼륨에서 메시 저장의 필요를 없애고 훨씬 높은 압축 가능성을 제공한다. 기존 INR과 비교하여, 우리의 명시적 모델은 정형 및 비정형 볼륨 모두에서 학습 속도와 복원 품질을 크게 개선하며, 비정형 볼륨에서는 기존 연구보다 훨씬 높은 압축률을 가능하게 함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.