ObjectAug: Object-level Data Augmentation for Semantic Image Segmentation
원문 초록
Semantic image segmentation aims to obtain object labels with precise boundaries, which usually suffers from overfitting. Recently, various data augmentation strategies like regional dropout and mix strategies have been proposed to address the problem. These strategies have proved to be effective for guiding the model to attend on less discriminative parts. However, current strategies operate at the image level, and objects and the background are coupled. Thus, the boundaries are not well augmented due to the fixed semantic scenario. In this paper, we propose ObjectAug to perform object-level augmentation for semantic image segmentation. ObjectAug first decouples the image into individual objects and the background using the semantic labels. Next, each object is augmented individually with commonly used augmentation methods (e.g., scaling, shifting, and rotation). Then, the black area brought by object augmentation is further restored using image inpainting. Finally, the augmented objects and background are assembled as an augmented image. In this way, the boundaries can be fully explored in the various semantic scenarios. In addition, ObjectAug can support category-aware augmentation that gives various possibilities to objects in each category, and can be easily combined with existing image-level augmentation methods to further boost performance. Comprehensive experiments are conducted on both natural image and medical image datasets. Experiment results demonstrate that our ObjectAug can evidently improve segmentation performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MASNet: A Robust Deep Marine Animal Segmentation Network
의료 영상 인페인팅에서의 확산 모델: 과제, 해결책 분류체계 및 향후 방향
Diffusion Models in Medical Image Inpainting: Challenges, Solution Taxonomy, and Future Directions
이미지 인페인팅은 가능한 한 시각적·의미적 일관성을 유지하면서 이미지의 누락되거나 손상된 영역을 복원하는 것을 목표로 한다. 의료 영상에서는 아티팩트, 정보 누락, 병리학적 변화가 진단 신뢰도와 하류 임상 응용을 저해할 수 있기 때문에 이 과제가 특히 중요하다. 최근 확산 모델(diffusion models)은 해부학적으로 일관된 복원을 생성할 수 있다는 점 때문에 의료 영상 인페인팅을 위한 최첨단 생성 접근법으로 부상했다. 본 서베이는 60편의 연구에 보고된 주요 아키텍처, 응용, 데이터셋, 평가 전략을 다루며 의료 영상 인페인팅을 위한 확산 기반 방법에 대한 체계적 검토를 제시한다. 또한 확산 기반 접근법에 대한 분류체계를 제안한다. 분석 결과, 확산 기반 의료 영상 인페인팅에 대한 연구 관심이 급격히 증가하고 있으며, 노이즈 제거 확산 확률 모델(denoising diffusion probabilistic models, DDPM)과 잠재 확산 모델(latent diffusion models, LDM)이 지배적인 아키텍처로 부상하고 있음을 보여준다. 검토된 연구들은 주로 아티팩트 제거, 데이터 증강, pseudo-healthy 조직 복원, 이상 탐지에 초점을 맞추며, 특히 자기공명영상(MRI)과 컴퓨터 단층촬영(CT) 영상에서 다루어진다. 전반적으로 확산 모델은 해부학적으로 그럴듯한 복원을 생성하고 하류 임상 과제를 지원하는 데 강력한 성능을 보여준다. 그러나 본 검토는 표준화된 벤치마크 부재, 제한된 데이터셋 다양성, 다양한 임상 응용 및 영상 시나리오 전반에 걸친 제한적인 검증 절차 등 중요한 과제도 강조한다.
레벨셋 진화에서 임계값 최적화로: 이미지 분할을 위한 그레이스케일 레벨셋 프레임워크
From level set evolution to threshold optimization: A grayscale level set framework for image segmentation
다중 열화 이미지 분할은 이미지 분할 분야에서 어려운 문제로 남아 왔다. 기존 레벨셋(level set) 방법들은 일반적으로 분할 윤곽의 기하학적 형태를 제약하기 위해 길이 정규화 항을 채택한다. 그러나 길이 항의 도입은 종종 수치적 불안정성과 높은 계산 비용을 초래한다. 본 논문에서는 특정 매끄러움(smoothness) 제약 하에서 길이 항이 필수적이지 않음을 보이고, 길이 항의 존재가 $|\nabla φ|=1$ 성질에 영향을 미침을 이론적으로 증명한다. 이 발견을 바탕으로, 우리는 매끄러운 이미지의 한 클래스를 정의하고, 그레이스케일 레벨셋을 구성하며, 심하게 노이즈가 있는 이미지 및 강도 불균일(intensity inhomogeneous) 이미지와 같은 열화된 이미지를 위한 빠른 분할 프레임워크를 제안한다. 해당 프레임워크는 PDE 진화를 1차원 임계값 탐색으로 변환하며, 특히 대규모 이미지에서 계산 속도 측면에서 상당한 이점을 갖는다. 실험을 통해 제안 프레임워크의 다양한 열화 이미지에 대한 분할 성능을 검증한다.
U-CFR: Uncertainty-Guided Cascade Forward Refinement for Interactive Segmentation
Lean-SAM2: SAM2를 위한 타깃 앵커 메모리 및 인코더 가속
Lean-SAM2: Target-Anchored Memory and Encoder Acceleration for SAM2
Segment Anything Model 2(SAM2)는 시간적 프롬프트 가능 분할(segmentation)을 발전시켰지만, 배포는 여전히 무거운 메모리 크로스 어텐션 오버헤드와 중복적인 전체 프레임 시각 특징 추출로 인해 제약을 받는다. 최근 방법들은 휴리스틱 메모리 가지치기와 윈도우 기반 희소 라우팅을 통해 효율성을 탐구하지만, 일반적으로 가림(occlusion)과 방해 요소(distractor)가 많은 복잡한 분할 시나리오에서 치명적인 성능 저하를 겪는다. 이러한 한계를 해결하기 위해, 우리는 위 취약점을 해결하면서 계산 중복을 체계적으로 제거하도록 설계된 포괄적인 경량 프레임워크인 Lean-SAM2를 제안한다. 구체적으로, Lean-SAM2는 세 가지 협력 메커니즘을 통합한다: (1) 타깃 앵커 메모리 가지치기(TAMP)는 프롬프트에서 유도된 전경 앵커에 대한 의미적 일관성으로 원시 어텐션 중요도를 변조하여 기만적인 어텐션으로부터 타깃 토큰을 보호한다; (2) 보험 메모리를 갖춘 시간적 응축(TCIM)은 가시성 게이트 융합을 통해 역사적 컨텍스트를 응축하면서, 높은 신뢰도 항목을 병렬 보험 뱅크에 조건부로 보관한다; (3) 타깃 앵커 위험 인식 라우팅(TARR)은 앵커 유사도에 기반하여 타깃 관련 윈도우에 대해 무거운 이미지 인코더를 선택적으로 활성화하고, 변동성이 큰 전환 기간 동안 전체 프레임 갱신을 트리거하기 위해 위험 인식 폴백 정책을 활용한다. 여러 도전적인 벤치마크에 걸친 광범위한 평가는 Lean-SAM2가 정확도와 효율성 사이의 우수한 균형을 확립함을 보여준다. 예를 들어, LVOSv2 검증 데이터셋에서 Lean-SAM2는 SAM2.1-Large와 SAM2.1-Base+에서 각각 전체 추론 속도를 $1.412\times$ 및 $1.417\times$ 향상시키며, Efficient-SAM2를 크게 능가하면서 해당 $\mathcal{J}\&\mathcal{F}$ 점수를 각각 5.0% 및 3.6% 향상시킨다. 코드는 https://github.com/DeawhaleQwQ/Lean-SAM2에서 이용할 수 있다.
신뢰할 수 있는 RGB-D 의미 분할을 햽하여: Condition Dropout을 통한 결측 모달리티 처리
Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout
RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.