arXiv:2111.08401

Weakly-supervised fire segmentation by visualizing intermediate CNN layers

Milad Niknejad, Alexandre Bernardino

제출 2021-11-16

원문 초록

Fire localization in images and videos is an important step for an autonomous system to combat fire incidents. State-of-art image segmentation methods based on deep neural networks require a large number of pixel-annotated samples to train Convolutional Neural Networks (CNNs) in a fully-supervised manner. In this paper, we consider weakly supervised segmentation of fire in images, in which only image labels are used to train the network. We show that in the case of fire segmentation, which is a binary segmentation problem, the mean value of features in a mid-layer of classification CNN can perform better than conventional Class Activation Mapping (CAM) method. We also propose to further improve the segmentation accuracy by adding a rotation equivariant regularization loss on the features of the last convolutional layer. Our results show noticeable improvements over baseline method for weakly-supervised fire segmentation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19877v1cs.CV공통 태그 Segmentation, Semantic Segmentation, Weakly supervised segmentation

약지도 볼륨 분할을 위한 강건한 활성화 맵 보정: 시간적 일관성이라는 공짜 점심

Robust Activation Map Rectification for Weakly Supervised Volumetric Segmentation: Temporal Coherence as a Free Lunch

약지도 분할은 목표 영역을 초기에 국한화하기 위해 클래스 활성화 맵(CAM)에 크게 의존한다. 그러나 CAM은 종종 노이즈가 많고 치명적 실패에 취약하다. 기존 해결책은 보통 추가 학습 단계나 프로토타입 학습을 도입하여 계산 비용을 늘리고 강건성을 저하시킨다. 본 논문에서는 볼륨 데이터의 시간적·구조적 일관성을 공짜 점심으로 활용하여 신뢰할 수 없는 CAM을 보정하는, 학습 없이(training-free) 프로토타입 없이(prototype-free) 동작하는 프레임워크를 제안한다. 우리 접근법은 두 가지 핵심 구성 요소로 이루어진다. 첫째, 노이즈를 억제하고 일관된 의미 신호를 증폭하는 분산 감소 활성화 집계(Variance-Reduced Activation Aggregation, VRAA)를 도입한다. CAM을 고차원 랜덤 벡터로 모델링하고 집계가 입증 가능한 분산 감소를 가져온다는 이론적 근거를 제시한다. 둘째, 양방향 극단값 검사를 통해 비현실적인 활성화를 탐지·보정하는 양방향 극단값 보정(Bidirectional Extremity Rectification, BER) 메커니즘을 설계하여, 추가 파라미터 학습 없이 극단값 실패를 효과적으로 완화한다. 제안 방법은 모델에 구애받지 않으며(model-agnostic) 기존 파이프라인에 원활하게 통합할 수 있다. 여러 공개 벤치마크에 대한 광범위한 실험에서 최신 약지도 방법 대비 Dice 최대 20%, mIoU 최대 40% 향상과 추론 시간 5배 이상 단축을 포함한 유의미한 개선을 보여준다. 이 결과는 일관성을 암묵적 귀납적 바이어스(implicit inductive bias)로 활용하는 것이 약지도 볼륨 분할을 안정화하는 원칙적이고 효율적인 접근임을 시사한다. 코드는 공개 예정이다.

arXiv:2607.20326v1cs.CV공통 태그 Image Segmentation, Segmentation, Semantic Segmentation

신뢰할 수 있는 RGB-D 의미 분할을 햽하여: Condition Dropout을 통한 결측 모달리티 처리

Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout

RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.