Correlation Maximized Structural Similarity Loss for Semantic Segmentation
원문 초록
Most semantic segmentation models treat semantic segmentation as a pixel-wise classification task and use a pixel-wise classification error as their optimization criterions. However, the pixel-wise error ignores the strong dependencies among the pixels in an image, which limits the performance of the model. Several ways to incorporate the structure information of the objects have been investigated, \eg, conditional random fields (CRF), image structure priors based methods, and generative adversarial network (GAN). Nevertheless, these methods usually require extra model branches or additional memories, and some of them show limited improvements. In contrast, we propose a simple yet effective structural similarity loss (SSL) to encode the structure information of the objects, which only requires a few additional computational resources in the training phase. Inspired by the widely-used structural similarity (SSIM) index in image quality assessment, we use the linear correlation between two images to quantify their structural similarity. And the goal of the proposed SSL is to pay more attention to the positions, whose associated predictions lead to a low degree of linear correlation between two corresponding regions in the ground truth map and the predicted map. Thus the model can achieve a strong structural similarity between the two maps through minimizing the SSL over the whole map. The experimental results demonstrate that our method can achieve substantial and consistent improvements in performance on the PASCAL VOC 2012 and Cityscapes datasets. The code will be released soon.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전참조 및 무참조 영상 품질 평가를 위한 보완적 구조 표현으로서의 지역 SVD-엔트로피 맵
Local SVD-Entropy Maps as a Complementary Structural Representation for Full-Reference and No-Reference Image Quality Assessment
우리는 2차원 영상 패치에서 직접 계산한 특이값의 섀넌 엔트로피에 기반한, 지각적 영상 품질 평가(IQA)를 위한 지역 스펙트럴 복잡도 표현을 연구한다. 각 $3\times3$ 픽셀 그레이스케일 패치에 대해 SVD를 직접 적용하고, 정규화된 특이값 엔트로피가 HSVD-맵 값 하나를 정의한다. 이 구성은 평탄화(flattening)나 지연 임베딩(delay embedding)을 필요로 하지 않으며, 경계 패딩(boundary padding)을 사용하지 않고, 지역 서술자 수준에서 $90^{\circ}$ 회전 및 거울 반사에 불변이다. Lena에 대한 중첩 salt-and-pepper 실험은 깨끗한 참조 영상에 대한 절대 유사도와 추가 열화 단계에 대한 민감도를 분리한다. HSVD-SSIM은 지역 손상에 더 강하게 반응하며, 심한 노이즈 수준에서 더 큰 이웃 상태(neighboring-state) 응답을 유지한다. 왜곡된 KADID-10k 영상 10,125장 전체에 대한 검증 결과, HSVD-SSIM은 단독 전참조(full-reference) 지표로는 기존 SSIM보다 약하다(SRCC $0.450$ vs. $0.619$), 그러나 결합하면 보완적이다: 그룹 교차 검증(grouped cross-validation)에서 SRCC가 $0.618$에서 $0.659$로 증가하며, 증가분에 대한 부트스트랩 95\% 신뢰구간은 $[0.036,0.046]$이다. 무참조(no-reference) 실험에서 HSVD 기반 단일 영상 서술자를 추가하면 최상의 비선형 모델의 SRCC가 $0.528$에서 $0.575$로 개선되고(95\% CI $[0.033,0.061]$), 이웃 왜곡 상태 간 품질 변화 예측도 개선된다. 이 결과는 직접적인 지역 SVD 엔트로피가 해석 가능한 구조 채널로서 기존 영상 도메인 유사도를 보완하고, 무손상 참조 없이도 유익한 정보를 제공함을 뒷받침한다.
ESRVS: 단일 주석 이미지를 이용한 극한 반지도 망막 혈관 분할
ESRVS: Extreme Semi-Supervised Retinal Vessel Segmentation with a Single Annotated Image
의료 영상 분석에서 최소한의 인간 감독으로 학습하는 것은 오랜 목표이며, 밀집된 전문가 주석은 비용이 큽니다. 본 연구는 주석이 달린 이미지 하나와 레이블 없는 이미지 풀을 사용하는 극한 반지도(semi-supervised) 설정에서 망막 혈관 분할을 다룹니다. 우리는 수동 주석을 위해 대표적인 기준 이미지를 선택하고, 대상 도메인에 적응된 DINOv3 특징을 사용하여 혈관 단서를 전이하는 ESRVS를 제안합니다. ESRVS는 다중 세분화 혈관 프로토타입을 구성하고, 프로토타입 유사도 맵과 물리학에서 영감을 받은 사전(prior)을 결합하여 초기 의사 레이블(pseudo-label)을 생성하며, 가중 의사 레이블 학습과 적대적(adversarial) 정제를 통해 전이된 감독을 정제합니다. 8개의 공개 데이터셋에서 ESRVS는 비교된 반지도 방법들이 10~20%의 레이블 데이터를 사용함에도 불구하고, 6개 데이터셋에서 최고의 Dice와 clDice를, 8개 데이터셋 모두에서 최고의 HD95를 달성합니다. Mask2Former와 함께 ESRVS는 평균적으로 완전 감독 Dice의 93.7%와 완전 감독 clDice의 95.1%를 유지합니다. 이러한 결과는 고도로 레이블 효율적인 망막 혈관 분할을 위한 파운데이션 모델(foundation model) 레이블 전파의 잠재력을 보여줍니다. 코드는 https://github.com/IAANNH/ESRVS 에서 이용할 수 있습니다.
Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model
Single-Image Specular Highlight Removal via Real-World Dataset Construction
Joint Optimization for SSIM-Based CTU-Level Bit Allocation and Rate Distortion Optimization
A Novel Visual Representation on Text Using Diverse Conditional GAN for Visual Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.