arXiv:1812.10956

Salient Object Detection via High-to-Low Hierarchical Context Aggregation

Yun Liu, Yu Qiu, Le Zhang, Jia-Wang Bian, Guang-Yu Nie, Ming-Ming Cheng

제출 2018-12-28

원문 초록

Recent progress on salient object detection mainly aims at exploiting how to effectively integrate convolutional side-output features in convolutional neural networks (CNN). Based on this, most of the existing state-of-the-art saliency detectors design complex network structures to fuse the side-output features of the backbone feature extraction networks. However, should the fusion strategies be more and more complex for accurate salient object detection? In this paper, we observe that the contexts of a natural image can be well expressed by a high-to-low self-learning of side-output convolutional features. As we know, the contexts of an image usually refer to the global structures, and the top layers of CNN usually learn to convey global information. On the other hand, it is difficult for the intermediate side-output features to express contextual information. Here, we design an hourglass network with intermediate supervision to learn contextual features in a high-to-low manner. The learned hierarchical contexts are aggregated to generate the hybrid contextual expression for an input image. At last, the hybrid contextual features can be used for accurate saliency estimation. We extensively evaluate our method on six challenging saliency datasets, and our simple method achieves state-of-the-art performance under various evaluation metrics. Code will be released upon paper acceptance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27413v1cs.CV공통 태그 Object Detection, Salient Object Detection

S2A: 사전 정합 불필요 RGB-T 현저 객체 검출을 위한 의미-공간 정렬

S2A:Semantic-to-Spatial Alignment for Alignment-Free RGB-T Salient Object Detection

사전 정합 불필요 RGB-T 현저 객체 검출(RGB-T SOD)은 비용이 큰 사전 정합 없이 정합되지 않은 RGB 및 열화상 영상 쌍에서 현저 객체를 식별하는 것을 목표로 한다. 그러나 공간적 비정합은 픽셀 단위 대응을 깨뜨리고 교차 모달 융합 과정에서 특징 오염을 유발한다. 이 문제를 해결하기 위해, 우리는 사전 정합 불필요 RGB-T SOD를 위한 의미-공간 정렬 프레임워크인 S2A를 제안한다. 구체적으로, 전역 유도 계층적 융합 모듈(GGHF)이 먼저 전역 의미(semantic) 유도를 활용하여 배경 간섭을 억제하고 계층적 모달 내 특징을 정제한다. 이어서, 정합 불필요 교차 모달 채널 어텐션 모듈(AFCA)이 채널 단위 상호작용을 통해 상호 보완적 의미 정보를 전역적으로 교환하여, 국소 공간 비정합으로 인한 간섭을 효과적으로 극복한다. 마지막으로, 공간 변형 가능 교차 어텐션 모듈(SDCA)이 적응형 샘플링 오프셋을 예측하여 국소 교차 모달 공간 대응을 복원한다. 이러한 의미-공간 패러다임을 통해 S2A는 먼저 신뢰할 수 있는 교차 모달 의미 상호작용을 가능하게 한 뒤 국소 공간 보정을 수행하여, 비정합으로 인한 특징 오염을 효과적으로 줄인다. 불필요한 부가 기법 없이 S2A는 여러 공개 사전 정합 불필요 RGB-T 벤치마크에서 매우 경쟁력 있는 성능을 달성하며, 비정합 유발 특징 오염 완화에서의 효과를 보여준다.

arXiv:2607.21032v1cs.CV공통 태그 Object Detection, Salient Object Detection

초분광 현저 객체 검출을 위한 스펙트럴-공간 시너지 유도 네트워크

Spectral-Spatial Synergistic Guided Network for Hyperspectral Salient Object Detection

초분광 현저 객체 검출은 초분광 영상에서 시각적으로 현저한 영역을 식별하는 것을 목표로 한다. 기존 방법은 종종 데이터를 근본적으로 오해하여, 조명과 같은 외부 요인에 의한 부수적인 스펙트럴 변화를 객체의 고유 재료 특성에 의한 본질적인 스펙트럴 차이와 혼동하기 때문에 실패하는 경우가 많다. 이는 취약한 표현과 노이즈가 많은 예측으로 이어진다. 이를 위해 우리는 구조 인식을 핵심으로 하여 스펙트럼 견고 모델링, 교차 스트림 공동 인식, 다중 스케일 정제 디코딩을 중심으로 한 닫힌 루프 정보 흐름을 구축하는 경량且 효율적인 스펙트럴-공간 시너지 유도 네트워크(S3GNet)를 제안한다. S3GNet은 스펙트럴 미분과 영역 계층적 모델링을 활용하여 조명 변화에 대한 견고성의 고유 특징을 추출하는 매개변수 없는 스펙트럴 구조 인식 모듈(Spectral Structure-Aware Module)을 도입한다. 우리의 스트림 인식 어텐션 모듈(Stream-Aware Attention Module)은 스트림 간 전역 상호작용과 스트림 내 공간 유도를 통해 효과적인 스펙트럴-공간 협력을 달성한다. 또한 점진적 게이트 정제 디코더(Progressive Gated Refinement Decoder)는 다중 스케일 특징을 최적으로 통합하여 정밀한 객체 경계와 디테일 복원을 보장한다. 실험 결과, S3GNet은 기존 방법과 비교하여 계산 효율성과 검출 정확도 모두에서 우수한 성능을 달성함을 보여준다.

arXiv:2607.03696v1cs.CV공통 태그 Object Detection, Salient Object Detection

IPDiff: 정보 재구성 및 다중 사전 안내를 통한 확산 기반 광학 원격탐사 영상 현저 객체 검출

IPDiff: Diffusion-driven ORSI Salient Object Detection with Information Reconstruction and Multi-Prior Guidance

광학 원격탐사 영상의 현저 객체 검출(ORSI-SOD) 기존 방법들은 주로 정적 추론 전략을 채택하는데, 이는 테스트 단계에서 고정된 학습 모델 매개변수를 사용하여 현저성 추론을 수행한다. 이는 생성된 현저성 맵에 오류가 있더라도 추가적인 최적화가 불가능함을 의미한다. 본 논문에서는 정보 재구성 및 다중 사전 안내를 갖춘 확산 기반 ORSI-SOD 방법인 새로운 IPDiff를 제안한다. IPDiff는 독자적인 동적 최적화 전략을 기반으로 구축되어, 동적 매개변수를 통해 현저성 맵을 반복적으로 최적화하는 능력을 갖는다. 구체적으로, IPDiff에서 ORSI-SOD를 조건부 확산 문제로 정식화한다. IPDiff는 먼저 정보 재구성 기반 어텐션 모듈의 도움을 받아 사전 네트워크에서 ORSI로부터 현저성 사전(saliency prior) 및 계층적 사전(hierarchical priors)을 포함한 정보성 조건부 사전을 추출한다. 현저성 사전은 현저 객체의 위치 정보를 제공하고, 계층적 사전은 현저 객체의 세부 및 의미론적 정보를 제공한다. 이러한 사전들의 안내 하에, IPDiff는 타임스텝이 동적으로 변화하는 동안 디노이징 네트워크에서 무작위 노이즈를 반복적으로 디노이징하여 실제값에 가까운 현저성 맵을 생성한다. 특히, 효율적인 네트워크 학습을 달성하기 위해 하이브리드 손실 함수를 통해 공간 및 스펙트럼 영역 모두에서 IPDiff를 동시에 감독한다. 공개 ORSSD, EORSSD, ORSI-4199 데이터셋에 대한 포괄적인 실험을 통해, 제안된 IPDiff가 46개의 최신 방법들과 비교하여 최고 성능을 달성함을 입증한다. 본 방법의 코드 및 결과는 https://github.com/MathLee/IPDiff에서 확인할 수 있다.

arXiv:2607.01825v1cs.CV공통 태그 Object Detection, Salient Object Detection

수중 현저 객체 검출을 위한 조건부 생성의 재고찰

Rethinking Conditional Generation for Underwater Salient Object Detection

수중 이미지에서의 현저 객체 검출(Salient Object Detection, SOD)은 산란 및 흡수 효과로 인한 낮은 대비, 불균일한 조명, 색상 왜곡으로 인해 여전히 어려운 과제로 남아 있으며, 이는 기존 SOD 방법의 수중 환경 적용 효과를 제한한다. 이러한 문제를 해결하기 위해, 우리는 수중 현저성 생성을 위한 신뢰할 수 있는 조건부 특징을 구성하도록 설계된 열화 인식 조건부 생성 네트워크(Degradation-aware Conditional Generation Network, DCGNet)를 제안한다. 먼저, 경계가 흐릿한 다양한 크기의 현저 객체를 강인하게 검출하기 위해 인간 시각 시스템에 기반한 동적 다중 세분성 모듈(Dynamic Multi-Granularity, DMG)을 설계한다. 다음으로, 의사 깊이(pseudo-depth) 가이던스를 활용하여 수중 광 감쇠 및 역산란을 추정하는 수중 물리 사전 모듈(Underwater Physics-Prior, UPP)을 개발하여, 열화 인식 RGB 특징을 복원하고 색상 왜곡과 경계 모호성을 완화한다. 물리 기반 표현을 토대로, 가장 강한 가이딩 응답으로부터 공간적 가우시안 현저성 사전(spatial Gaussian saliency prior)을 구성하는 수중 공간 가우시안 모듈(Underwater Spatial Gaussian, USG)을 도입하여 객체 중심의 현저 영역을 강화하고 복잡한 수중 배경을 억제한다. 또한, 경량의 타임스텝 적응형 확산 트랜스포머(Diffusion Transformer, DiT) 병목 구조를 디노이징 디코더에 삽입하여 서로 다른 확산 타임스텝에서 융합 특징을 정제한다. USOD10K, USOD, CSOD10K, MAS3K, RMAS에 대한 포괄적인 실험을 통해 DCGNet이 기존 최첨단 방법들을 크게 능가함을 입증하며, 복잡한 수중 시각 응용에 대한 잠재력을 확인한다.

arXiv:2606.26849v1cs.CV공통 태그 Object Detection, Salient Object Detection

일반 현저 객체 검출을 위한 이질적 표현의 리퀴드 퓨전

Liquid Fusion of Heterogeneous Representations Towards General Salient Object Detection

일반 현저 객체 검출(General Salient Object Detection, SOD)은 단일 모달리티 또는 다중 모달리티 장면에서 시각적으로 흥미로운 객체를 식별하고 분할하는 것을 목표로 하며, 최근 최첨단 상태 공간 모델(State Space Models, SSM)에 의해 발전해 왔다. 그러나 현재 접근법의 중요한 한계는 서로 다른 신경망 패러다임이 보이는 고유한 스펙트럼 편향을 무시한다는 점이다. CNN(Convolutional Neural Network)과 SSM에 대한 데이터셋 수준의 스펙트럼 분석을 심층 탐구한 결과, 상보적인 주파수 선호에 기반하여 그들의 의미적 표현이 본질적으로 상호 보완적임을 알 수 있다. 이에 영감을 받아, 우리는 일반 현저 객체 검출을 위해 SSM과 CNN의 스펙트럼 편향을 연결하기 위해 이질적 표현을 조화시킨다. 이를 위해 Liquid Neural Networks(LNN)의 동적 정보 전파에 영감을 받아, VMamba와 ConvNeXt를 포함하는 두 백본의 특징을 동적으로 통합하는 리퀴드 퓨전(liquid fusion)을 도입하며, 이를 Liquid Fusion Network(LFNet)라고 부른다. 구체적으로, 연속적인 VMamba 특징과 ConvNeXt 특징을 각각 진화하는 상태와 외생 자극으로 간주함으로써, LFNet은 콘텐츠 인식 특징 집적을 위한 동적 게이팅 메커니즘을 사용한다. 핵심적으로, 이 상태-자극 패러다임은 다중 모달 단서로 확장할 수 있게 하여 일반 SOD에서 유연성을 제공한다. 또한, 얕은 층으로 특징을 전파하는 현저성 유도 업샘플링(Saliency-Guided Upsampling, SGU) 연산자를 제안하며, 이는 스펙트럼-공간 공동 설계를 활용하여 업샘플링 아티팩트를 억제하면서 의미를 보존한다. RGB, RGB-D, RGB-T, VSOD, VDT 등 다섯 가지 다양한 태스크에 걸친 광범위한 실험에서 LFNet은 최신(state-of-the-art) 성능을 달성하며, 검출 정확도와 모델 효율성 사이의 우수한 트레이드오프를 제공한다. 코드는 https://github.com/cke520/LFNet 에서 공개되었다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.