Boundary-guided Feature Aggregation Network for Salient Object Detection
원문 초록
Fully convolutional networks (FCN) has significantly improved the performance of many pixel-labeling tasks, such as semantic segmentation and depth estimation. However, it still remains non-trivial to thoroughly utilize the multi-level convolutional feature maps and boundary information for salient object detection. In this paper, we propose a novel FCN framework to integrate multi-level convolutional features recurrently with the guidance of object boundary information. First, a deep convolutional network is used to extract multi-level feature maps and separately aggregate them into multiple resolutions, which can be used to generate coarse saliency maps. Meanwhile, another boundary information extraction branch is proposed to generate boundary features. Finally, an attention-based feature fusion module is designed to fuse boundary information into salient regions to achieve accurate boundary inference and semantic enhancement. The final saliency maps are the combination of the predicted boundary maps and integrated saliency maps, which are more closer to the ground truths. Experiments and analysis on four large-scale benchmarks verify that our framework achieves new state-of-the-art results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Reverse Attention-Based Residual Network for Salient Object Detection
GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환
GTR: Gated Token Recurrence for Efficient Dense Prediction
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
S2A: 사전 정합 불필요 RGB-T 현저 객체 검출을 위한 의미-공간 정렬
S2A:Semantic-to-Spatial Alignment for Alignment-Free RGB-T Salient Object Detection
사전 정합 불필요 RGB-T 현저 객체 검출(RGB-T SOD)은 비용이 큰 사전 정합 없이 정합되지 않은 RGB 및 열화상 영상 쌍에서 현저 객체를 식별하는 것을 목표로 한다. 그러나 공간적 비정합은 픽셀 단위 대응을 깨뜨리고 교차 모달 융합 과정에서 특징 오염을 유발한다. 이 문제를 해결하기 위해, 우리는 사전 정합 불필요 RGB-T SOD를 위한 의미-공간 정렬 프레임워크인 S2A를 제안한다. 구체적으로, 전역 유도 계층적 융합 모듈(GGHF)이 먼저 전역 의미(semantic) 유도를 활용하여 배경 간섭을 억제하고 계층적 모달 내 특징을 정제한다. 이어서, 정합 불필요 교차 모달 채널 어텐션 모듈(AFCA)이 채널 단위 상호작용을 통해 상호 보완적 의미 정보를 전역적으로 교환하여, 국소 공간 비정합으로 인한 간섭을 효과적으로 극복한다. 마지막으로, 공간 변형 가능 교차 어텐션 모듈(SDCA)이 적응형 샘플링 오프셋을 예측하여 국소 교차 모달 공간 대응을 복원한다. 이러한 의미-공간 패러다임을 통해 S2A는 먼저 신뢰할 수 있는 교차 모달 의미 상호작용을 가능하게 한 뒤 국소 공간 보정을 수행하여, 비정합으로 인한 특징 오염을 효과적으로 줄인다. 불필요한 부가 기법 없이 S2A는 여러 공개 사전 정합 불필요 RGB-T 벤치마크에서 매우 경쟁력 있는 성능을 달성하며, 비정합 유발 특징 오염 완화에서의 효과를 보여준다.
시각장애인 다중모달 이동 보조를 위한 저렴한 AI 통합 스마트 지팡이
An Affordable AI-Integrated Smart Cane for Multimodal Mobility Assistance of Visually Impaired Users
전 세계 22억 명 이상이 시각장애를 겪고 있으나, 기존 흰 지팡이는 높이 있는 위험 요소를 감지하거나 의미론적 환경 맥락을 제공할 수 없다. 기존 AI 보조 내비게이션 시스템은 일반적으로 고가의 하드웨어 또는 클라우드 연결에 의존하여, 자원이 제한된 환경에서의 접근성을 제한한다. 본 논문은 초저전력 Raspberry Pi Zero 2W에서 다중모달 이동 보조를 위해 설계된 저렴한(88 USD) 완전 오프라인 AI 통합 스마트 지팡이를 제안한다. 시스템은 RGB 비전 감지와 Time-of-Flight(ToF) 거리 추정을 융합하고, INT8 양자화 SSD MobileNet V1 모델을 거리 인식 진동 촉각 피드백 및 실시간 오디오 알림과 결합한다. 제한된 하드웨어에서의 운영 견고성을 위해, 멀티프로세싱 아키텍처가 센서 획득, 신경망 추론, 햅틱 피드백을 장애 안전 센싱 지원과 함께 독립 프로세스로 분리한다. 실내 이동 시나리오에 걸친 실험 평가는 macro-averaged F1-score 0.82(정밀도: 0.85, 재현율: 0.81), 평균 end-to-end 지연 330 ms, 최대 전력 소모 2.8 W를 보여준다. 12명 참가자(SUS: 78.5, NASA-TLX)를 대상으로 한 예비 사용성 연구는 긍정적인 사용자 인식과 향상된 장애물 인식을 보여주었다. 제안된 프로토타입은 비용에 민감한 이동 보조를 위한 프라이버시 보존형 엣지 네이티브 보조 지능 배포의 타당성을 검증한다.
초분광 현저 객체 검출을 위한 스펙트럴-공간 시너지 유도 네트워크
Spectral-Spatial Synergistic Guided Network for Hyperspectral Salient Object Detection
초분광 현저 객체 검출은 초분광 영상에서 시각적으로 현저한 영역을 식별하는 것을 목표로 한다. 기존 방법은 종종 데이터를 근본적으로 오해하여, 조명과 같은 외부 요인에 의한 부수적인 스펙트럴 변화를 객체의 고유 재료 특성에 의한 본질적인 스펙트럴 차이와 혼동하기 때문에 실패하는 경우가 많다. 이는 취약한 표현과 노이즈가 많은 예측으로 이어진다. 이를 위해 우리는 구조 인식을 핵심으로 하여 스펙트럼 견고 모델링, 교차 스트림 공동 인식, 다중 스케일 정제 디코딩을 중심으로 한 닫힌 루프 정보 흐름을 구축하는 경량且 효율적인 스펙트럴-공간 시너지 유도 네트워크(S3GNet)를 제안한다. S3GNet은 스펙트럴 미분과 영역 계층적 모델링을 활용하여 조명 변화에 대한 견고성의 고유 특징을 추출하는 매개변수 없는 스펙트럴 구조 인식 모듈(Spectral Structure-Aware Module)을 도입한다. 우리의 스트림 인식 어텐션 모듈(Stream-Aware Attention Module)은 스트림 간 전역 상호작용과 스트림 내 공간 유도를 통해 효과적인 스펙트럴-공간 협력을 달성한다. 또한 점진적 게이트 정제 디코더(Progressive Gated Refinement Decoder)는 다중 스케일 특징을 최적으로 통합하여 정밀한 객체 경계와 디테일 복원을 보장한다. 실험 결과, S3GNet은 기존 방법과 비교하여 계산 효율성과 검출 정확도 모두에서 우수한 성능을 달성함을 보여준다.
SAM 기반 의사 주석과 상태 공간 상호작용 확산을 통한 약지도 RGB-D 현저 객체 검출
Weakly-Supervised RGB-D Salient Object Detection via SAM-driven Pseudo Annotation and State Space Interaction-based Diffusion
약지도 RGB-D 현저 객체 검출(SOD)은 픽셀 수준 주석의 큰 부담을 줄이기 위해 연구되어 왔다. 그러나 스크리블 주석은 객체의 구조와 세부 정보를 갖추지 못해 부정확한 현저성 맵을 초래한다. 본 논문에서는 스크리블 지도 RGB-D SOD 방법을 제안하며, 이는 Segment Anything Model(SAM) 기반 의사 주석 생성 방법(SAM-PAG)과 상태 공간 상호작용 기반 조건부 확산 모델(S²Diff)으로 구성된다. 구체적으로 SAM-PAG는 희소한 지도 정보 문제를 해결하도록 맞춤 설계되었다. SAM-PAG에서는 이중 분기 구조와 분할 마스크의 일관성을 통해 희소한 스크리블을 조밀한 픽셀 수준 의사 주석으로 확장하기 위해 고급 SAM을 채택한다. S²Diff에서는 조건 정보의 안내 하에 노이즈가 있는 현저성 맵을 반복적으로 정제하여 정확한 현저성 맵을 생성하기 위해 확산 모델을 채택한다. 당연히 우리 S²Diff의 핵심은 조건 특징의 획득과 현저성 맵의 노이즈 제거에 있다. 전자에 대해, 주파수 통합과 암시적-명시적 상태 공간 상호작용을 통해 다중 모달 특징을 엮는 크로스 모달 조건부 생성 모듈을 사용하여 효과적으로 전역 조건 특징을 달성한다. 후자에 대해, 조건적 문맥으로 객체 정보를 강화하고 노이즈 간섭을 완화하기 위해 문맥 주입 모듈을 사용한다. SAM-PAG와 S²Diff의 긴밀한 협력을 통해, 우리 방법은 관련 스크리블 지도 방법들을 능가하고 7개 데이터셋에서 완전 지도 방법과 비교해 경쟁력 있는 성능을 달성한다. 우리 방법의 코드와 결과는 https://github.com/Switch457/WeakS2Diff_SOD 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.