arXiv:1710.01020

Learning Affinity via Spatial Propagation Networks

Sifei Liu, Shalini De Mello, Jinwei Gu, Guangyu Zhong, Ming-Hsuan Yang, Jan Kautz

제출 2017-10-03

원문 초록

In this paper, we propose spatial propagation networks for learning the affinity matrix for vision tasks. We show that by constructing a row/column linear propagation model, the spatially varying transformation matrix exactly constitutes an affinity matrix that models dense, global pairwise relationships of an image. Specifically, we develop a three-way connection for the linear propagation model, which (a) formulates a sparse transformation matrix, where all elements can be the output from a deep CNN, but (b) results in a dense affinity matrix that effectively models any task-specific pairwise similarity matrix. Instead of designing the similarity kernels according to image features of two points, we can directly output all the similarities in a purely data-driven manner. The spatial propagation network is a generic framework that can be applied to many affinity-related tasks, including but not limited to image matting, segmentation and colorization, to name a few. Essentially, the model can learn semantically-aware affinity values for high-level vision tasks due to the powerful learning capability of the deep neural network classifier. We validate the framework on the task of refinement for image segmentation boundaries. Experiments on the HELEN face parsing and PASCAL VOC-2012 semantic segmentation tasks show that the spatial propagation network provides a general, effective and efficient solution for generating high-quality segmentation results.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22255v1cs.CV공통 태그 Image Segmentation, Segmentation

레벨셋 진화에서 임계값 최적화로: 이미지 분할을 위한 그레이스케일 레벨셋 프레임워크

From level set evolution to threshold optimization: A grayscale level set framework for image segmentation

다중 열화 이미지 분할은 이미지 분할 분야에서 어려운 문제로 남아 왔다. 기존 레벨셋(level set) 방법들은 일반적으로 분할 윤곽의 기하학적 형태를 제약하기 위해 길이 정규화 항을 채택한다. 그러나 길이 항의 도입은 종종 수치적 불안정성과 높은 계산 비용을 초래한다. 본 논문에서는 특정 매끄러움(smoothness) 제약 하에서 길이 항이 필수적이지 않음을 보이고, 길이 항의 존재가 $|\nabla φ|=1$ 성질에 영향을 미침을 이론적으로 증명한다. 이 발견을 바탕으로, 우리는 매끄러운 이미지의 한 클래스를 정의하고, 그레이스케일 레벨셋을 구성하며, 심하게 노이즈가 있는 이미지 및 강도 불균일(intensity inhomogeneous) 이미지와 같은 열화된 이미지를 위한 빠른 분할 프레임워크를 제안한다. 해당 프레임워크는 PDE 진화를 1차원 임계값 탐색으로 변환하며, 특히 대규모 이미지에서 계산 속도 측면에서 상당한 이점을 갖는다. 실험을 통해 제안 프레임워크의 다양한 열화 이미지에 대한 분할 성능을 검증한다.

arXiv:2607.19811v1cs.CV공통 태그 Image Segmentation, Segmentation

Lean-SAM2: SAM2를 위한 타깃 앵커 메모리 및 인코더 가속

Lean-SAM2: Target-Anchored Memory and Encoder Acceleration for SAM2

Segment Anything Model 2(SAM2)는 시간적 프롬프트 가능 분할(segmentation)을 발전시켰지만, 배포는 여전히 무거운 메모리 크로스 어텐션 오버헤드와 중복적인 전체 프레임 시각 특징 추출로 인해 제약을 받는다. 최근 방법들은 휴리스틱 메모리 가지치기와 윈도우 기반 희소 라우팅을 통해 효율성을 탐구하지만, 일반적으로 가림(occlusion)과 방해 요소(distractor)가 많은 복잡한 분할 시나리오에서 치명적인 성능 저하를 겪는다. 이러한 한계를 해결하기 위해, 우리는 위 취약점을 해결하면서 계산 중복을 체계적으로 제거하도록 설계된 포괄적인 경량 프레임워크인 Lean-SAM2를 제안한다. 구체적으로, Lean-SAM2는 세 가지 협력 메커니즘을 통합한다: (1) 타깃 앵커 메모리 가지치기(TAMP)는 프롬프트에서 유도된 전경 앵커에 대한 의미적 일관성으로 원시 어텐션 중요도를 변조하여 기만적인 어텐션으로부터 타깃 토큰을 보호한다; (2) 보험 메모리를 갖춘 시간적 응축(TCIM)은 가시성 게이트 융합을 통해 역사적 컨텍스트를 응축하면서, 높은 신뢰도 항목을 병렬 보험 뱅크에 조건부로 보관한다; (3) 타깃 앵커 위험 인식 라우팅(TARR)은 앵커 유사도에 기반하여 타깃 관련 윈도우에 대해 무거운 이미지 인코더를 선택적으로 활성화하고, 변동성이 큰 전환 기간 동안 전체 프레임 갱신을 트리거하기 위해 위험 인식 폴백 정책을 활용한다. 여러 도전적인 벤치마크에 걸친 광범위한 평가는 Lean-SAM2가 정확도와 효율성 사이의 우수한 균형을 확립함을 보여준다. 예를 들어, LVOSv2 검증 데이터셋에서 Lean-SAM2는 SAM2.1-Large와 SAM2.1-Base+에서 각각 전체 추론 속도를 $1.412\times$ 및 $1.417\times$ 향상시키며, Efficient-SAM2를 크게 능가하면서 해당 $\mathcal{J}\&\mathcal{F}$ 점수를 각각 5.0% 및 3.6% 향상시킨다. 코드는 https://github.com/DeawhaleQwQ/Lean-SAM2에서 이용할 수 있다.

arXiv:2607.20326v1cs.CV공통 태그 Image Segmentation, Segmentation

신뢰할 수 있는 RGB-D 의미 분할을 햽하여: Condition Dropout을 통한 결측 모달리티 처리

Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout

RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.

arXiv:2607.15041v1cs.CV공통 태그 Image Segmentation, Segmentation

SAM 기반 의사 주석과 상태 공간 상호작용 확산을 통한 약지도 RGB-D 현저 객체 검출

Weakly-Supervised RGB-D Salient Object Detection via SAM-driven Pseudo Annotation and State Space Interaction-based Diffusion

약지도 RGB-D 현저 객체 검출(SOD)은 픽셀 수준 주석의 큰 부담을 줄이기 위해 연구되어 왔다. 그러나 스크리블 주석은 객체의 구조와 세부 정보를 갖추지 못해 부정확한 현저성 맵을 초래한다. 본 논문에서는 스크리블 지도 RGB-D SOD 방법을 제안하며, 이는 Segment Anything Model(SAM) 기반 의사 주석 생성 방법(SAM-PAG)과 상태 공간 상호작용 기반 조건부 확산 모델(S²Diff)으로 구성된다. 구체적으로 SAM-PAG는 희소한 지도 정보 문제를 해결하도록 맞춤 설계되었다. SAM-PAG에서는 이중 분기 구조와 분할 마스크의 일관성을 통해 희소한 스크리블을 조밀한 픽셀 수준 의사 주석으로 확장하기 위해 고급 SAM을 채택한다. S²Diff에서는 조건 정보의 안내 하에 노이즈가 있는 현저성 맵을 반복적으로 정제하여 정확한 현저성 맵을 생성하기 위해 확산 모델을 채택한다. 당연히 우리 S²Diff의 핵심은 조건 특징의 획득과 현저성 맵의 노이즈 제거에 있다. 전자에 대해, 주파수 통합과 암시적-명시적 상태 공간 상호작용을 통해 다중 모달 특징을 엮는 크로스 모달 조건부 생성 모듈을 사용하여 효과적으로 전역 조건 특징을 달성한다. 후자에 대해, 조건적 문맥으로 객체 정보를 강화하고 노이즈 간섭을 완화하기 위해 문맥 주입 모듈을 사용한다. SAM-PAG와 S²Diff의 긴밀한 협력을 통해, 우리 방법은 관련 스크리블 지도 방법들을 능가하고 7개 데이터셋에서 완전 지도 방법과 비교해 경쟁력 있는 성능을 달성한다. 우리 방법의 코드와 결과는 https://github.com/Switch457/WeakS2Diff_SOD 에서 확인할 수 있다.

arXiv:2607.11205v1cs.CV공통 태그 Image Segmentation, Image Matting

시차 인물 매팅

Parallax Portrait Matting

이미지 매팅(image matting)은 전경과 배경 모두 텍스처가 풍부한 경우 특히 심각한 비적정(ill-posed) 문제입니다. 단일 이미지 매팅 방법들은 데이터로부터 강력한 사전 지식을 학습하지만, 이러한 어려운 사례에서는 종종 성능이 저하됩니다. 기존 접근법들은 그린 스크린, 편광 조명, 또는 깨끗한 배경 이미지 같은 추가 신호를 요구하여 결과를 개선하지만, 이는 일반적으로 특수 촬영 장치에 의존합니다. 본 논문은 시차 인물 매팅(Parallax Portrait Matting)을 제안합니다. 이는 약간의 시점 변화로 촬영된 두 번째 이미지를 활용하는 실용적인 두 프레임 매팅 방법입니다. 이러한 설정은 연속 촬영(burst photography)에서 자연스럽게 발생하며, 작은 카메라 움직임이 전경-배경 시차를 유발하고 매팅을 위한 상보적 관측을 제공합니다. 제안하는 파이프라인은 트리맵(trimap)과 전경·배경 모션을 추정한 후 예측을 위한 정렬된 뷰를 구성합니다. 불완전한 모션 추정을 처리하기 위해, 네트워크는 직접 융합에 배경 정렬 쌍을 활용하고, 오류 보정을 위해 크로스 어텐션(cross-attention)을 통해 전경 정렬 단서를 활용합니다. 실험 결과, 제안 방법은 어려운 인물 사례에서 강력한 단일 이미지 매팅 기준 모델들에 비해 더 세밀한 디테일과 더 정확한 전경 색상을 복원함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.