Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation
원문 초록
Semantic segmentation of night-time images holds significant importance in computer vision, particularly for applications like night environment perception in autonomous driving systems. However, existing methods tend to parse night-time images from a day-time perspective, leaving the inherent challenges in low-light conditions (such as compromised texture and deceiving matching errors) unexplored. To address these issues, we propose a novel end-to-end optimized approach, named NightFormer, tailored for night-time semantic segmentation, avoiding the conventional practice of forcibly fitting night-time images into day-time distributions. Specifically, we design a pixel-level texture enhancement module to acquire texture-aware features hierarchically with phase enhancement and amplified attention, and an object-level reliable matching module to realize accurate association matching via reliable attention in low-light environments. Extensive experimental results on various challenging benchmarks including NightCity, BDD and Cityscapes demonstrate that our proposed method performs favorably against state-of-the-art night-time semantic segmentation methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Convolutional Neural Network for Point Cloud Instance Segmentation in Cluttered Scene Trained by Synthetic Data Without Color
망막 혈관 분할에서의 관찰자 선택과 임계값 선택: 피험자 분리 평가
Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation
분할 임계값(threshold)을 선택하는 데 사용되는 주석(annotation)은 평가 프로토콜의 일부이지만, 그 효과는 모델 품질과 쉽게 혼동된다. 우리는 CHASE DB1의 전체 28개 이미지와 두 명의 사람 주석자(human annotations) 모두를 사용하여 망막 혈관 분할에서 이러한 선택을 조사한다. 고정된 7-폴드(seven-fold) 프로토콜은 14명의 피험자 각각의 양쪽 눈을 함께 유지한다. 랜덤 포레스트(Random Forest)와 Extra Trees는 관찰자 1을 기준으로 세 개의 무작위 시드(random seed)로 학습되어 총 42개의 적합(fit) 결과를 산출했다. 다섯 가지 임계값 정책은 동일한 점수 맵(score map)을 공유한다: 고정값 0.50, 관찰자 1 튜닝, 관찰자 2 튜닝, 평균 관찰자 튜닝, 그리고 이미지별 낮은 관찰자 Dice의 맥시민(maximin) 튜닝. 랜덤 포레스트의 경우, 맥시민은 21개 적합 중 19개에서 임계값을 변경했지만, 최악 관찰자(worst-observer) Dice는 70.53%에서 70.45%로 감소했다. 쌍별 차이(paired difference)는 -0.073 퍼센트 포인트이며, 조건부 피험자 부트스트랩(subject-bootstrap) 95% 구간은 [-0.384, 0.238]이다. Extra Trees도 동일한 방향을 보인다. 동일한 관찰자-1 튜닝된 랜덤 포레스트 마스크는 관찰자 1 대비 73.66%, 관찰자 2 대비 71.06%의 점수를 기록했다. 이 결과는 임계값 선택 기준(reference)과 평가 기준 모두를 명시적으로 보고해야 한다는 것을 지지하지만, 이 코호트(cohort)에서 맥시민 튜닝으로 인한 정확도 향상을 지지하지는 않는다. 모든 분할(split), 원시 예측(raw prediction), 지표(metric) 및 코드가 함께 제공된다. AI의 도움을 받았음을 명시한다.
DSSR-3D: 3D 가우시안에서 시점 의존적 참조를 위한 분리 추론
DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians
3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.
Lang3DSeg: 포인트 트랜스포머 기반의 주석 없는 오픈 보캐블러리 3D 분할
Lang3DSeg: Annotation-Free Open-Vocabulary 3D Segmentation with Point Transformers
정확한 3D 시맨틱 인지는 안전한 자율 주행에 매우 중요합니다. 그러나 지도학습 기반 LiDAR 분할(segmentation)은 닫힌 분류 체계(closed taxonomy)와 포인트별 수동 주석(annotation) 비용에 여전히 얽매여 있습니다. 오픈 보캐블러리(open-vocabulary) 방식은 2D 비전-언어 모델(vision-language model)의 출력을 LiDAR에 투영하고 이를 3D 네트워크로 증류함으로써 이러한 비용을 피합니다. 이러한 방식들은 거의 전적으로 복셀 기반 희소 합성곱(sparse convolution)에 의존하며, 포인트 트랜스포머(point transformer)는 지금까지 3D 데이터가 조밀하고 경계가 제한된 실내 환경으로 국한되어 왔습니다. 본 논문에서는 포인트 트랜스포머를 실외 3D LiDAR의 주석 없는(annotation-free) 오픈 보캐블러리 분할 백본으로 확립하고, 기하학적 사전학습(pre-training) 없이 처음부터 학습(training)하는 Lang3DSeg를 제시합니다. 이러한 학습 패러다임은 2D-to-3D 레이블 투영에 내재된 노이즈를 해결해야만 합니다. 구체적으로 단순한 투영은 깊이 모호성(depth ambiguity)으로 인해 물체 뒤에 있는 포인트에 해당 물체의 시맨틱 레이블이 잘못 할당되는 문제가 자주 발생합니다. 따라서 본 연구에서는 명시적인 클래스 우선순위 규칙을 사용해 마스크를 합성하고, 투영된 각 인스턴스를 깊이 분포의 첫 번째 간극에서 잘라냄으로써(truncate), 정합된 시퀀스 전체에 걸쳐 평균을 내는 대신 투영 오류를 직접적으로 보정합니다. Lang3DSeg는 nuScenes 검증(validation)에서 52.8% mIoU, SemanticKITTI에서 41.4%를 달성하여 두 벤치마크 모두에서 발표된 주석 없는 방법 중 가장 높은 성능을 기록했습니다. 모든 3D 시맨틱 분할은 단일 LiDAR 스윕(sweep)에서 수행되며, 추론(inference)은 비전-언어 모델을 실행하지 않고 실시간으로 동작합니다.
Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
프레임 간 분할을 위한 이벤트 유도 모션 기반 이벤트-프레임 융합
Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion
자율 주행에는 정밀하고 효율적인 시맨틱 분할(semantic segmentation)이 필요하지만, 기존의 프레임 기반 접근법은 모션 블러(motion blur), 글레어(glare), 지연(latency), 그리고 일반 카메라의 낮은 시간 해상도(20-30 FPS)로 인해 여전히 한계를 가지며, 이는 프레임 간 정보 손실로 이어진다. 이벤트 카메라(event camera)는 비동기적으로 밝기 변화를 캡처하며 높은 시간 해상도, 높은 다이내믹 레인지(dynamic range), 희소(sparse) 출력을 제공하는 대안적 센싱 방식으로 부상하였다. 그러나 대부분의 분할 방법이 조밀한(dense) 프레임 데이터를 위해 설계되어 있기 때문에, 이벤트 기반 알고리즘은 정확도 면에서 여전히 프레임 기반 알고리즘에 미치지 못한다. 이러한 한계를 극복하기 위해, 우리는 기존의 프레임 기반 카메라와 이벤트 기반 카메라를 결합한 하이브리드 비전 아키텍처를 제안한다. 이 시스템은 두 가지 상호 보완적인 구성 요소를 통합한다: (1) 모션 추정을 위한 42k 파라미터의 컴팩트한 스파이킹 신경망(Spiking Neural Network, SNN), (2) 프레임 기반 시맨틱 분할을 위한 0.84M 파라미터의 경량 이벤트 기반 SNN으로, 프레임 사이의 모션을 보간(interpolate)하여 분할 결과를 정제한다. 프레임 간(inter-frame) 분할을 예측함으로써, 본 프레임워크는 추론당 1.87 mJ 미만의 에너지 소비로 최대 500 Hz의 분할 속도를 달성하며, 동시에 최대 200 Hz 주파수에서 실시간 GPU 실행을 유지한다. 또한, 본 접근법은 블러나 과다 노출의 영향을 받은 프레임에서 발생하는 정보 손실을 보상하여, 까다로운 조건에서도 더욱 강건한 인지(perception)를 가능하게 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.