Papers with Code · CC BY-SA 4.0

Unsupervised Semantic Segmentation with Language-image Pre-training

Semantic Segmentation › Unsupervised Semantic Segmentation › Unsupervised Semantic Segmentation with Language-image Pre-training 94 평가 기록 12 datasets

A segmentation task which does not utilise any human-level supervision for semantic segmentation except for a backbone which is initialised with features pre-trained with image-level labels.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode

ADE20K

CorrCLIP

Mean IoU (val): 30.7

논문 코드

COCO-Object

CorrCLIP

mIoU: 49.4

논문 코드

COCO-Stuff-171

CorrCLIP

mIoU: 34.0

논문 코드

Cityscapes val

CorrCLIP

mIoU: 51.1

논문 코드

PASCAL Context-59

CorrCLIP

mIoU: 50.8

논문 코드

PASCAL VOC

CorrCLIP

mIoU: 76.7

논문 코드

PascalVOC-20

CorrCLIP

mIoU: 91.8

논문 코드

COCO-Stuff-27

ReCo+

mIoU: 32.6pixel accuracy: 54.1

논문 코드

PASCAL Context-60

CorrCLIP

mIoU: 44.9

논문 코드

KITTI-STEP

ReCo+

mIoU: 31.9pixel accuracy: 75.3

논문 코드

COCO (Common Objects in Context)

CLIPpy ViT-B

Mean IoU (val): 25.5

논문 코드

PASCAL VOC 2007

CLIPpy ViT-B

Mean IoU (val): 52.2

논문 코드

데이터셋

12개

ADE20K COCO-Object COCO-Stuff-171 Cityscapes val PASCAL Context-59 PASCAL VOC PascalVOC-20 COCO-Stuff-27 PASCAL Context-60 KITTI-STEP COCO (Common Objects in Context)PASCAL VOC 2007

논문

TTD: Text-Tag Self-Distillation Enhancing Image-Text Alignment in CLIP to Alleviate Single Tag Bias

2404.00384 2024-03-30 이 페이지의 평가 2건

mIoU: 23.7

CorrCLIP: Reconstructing Correlations in CLIP with Off-the-Shelf Foundation Models for Open-Vocabulary Semantic Segmentation

2411.10086 2024-11-15 이 페이지의 평가 1건

mIoU: 34.0

COSMOS: Cross-Modality Self-Distillation for Vision Language Pre-training

2412.01814 2024-12-02 이 페이지의 평가 1건

mIoU: 23.2

Extract Free Dense Labels from CLIP

2112.01071 2021-12-02 이 페이지의 평가 1건

mIoU: 16.4

Harnessing Vision Foundation Models for High-Performance, Training-Free Open Vocabulary Segmentation

2411.09219 2024-11-14 이 페이지의 평가 1건

mIoU: 28.6

Learning to Generate Text-grounded Mask for Open-world Semantic Segmentation from Only Image-Text Pairs

2212.00785 2022-12-01 이 페이지의 평가 1건

mIoU: 22.4

Perceptual Grouping in Contrastive Vision-Language Models

2210.09996 2022-10-18 이 페이지의 평가 1건

Mean IoU (val): 25.5

ProxyCLIP: Proxy Attention Improves CLIP for Open-Vocabulary Segmentation

2408.04883 2024-08-09 이 페이지의 평가 1건

mIoU: 26.8

ReCo: Retrieve and Co-segment for Zero-shot Transfer

2206.07045 2022-06-14 이 페이지의 평가 1건

mIoU: 14.8

TagAlign: Improving Vision-Language Alignment with Multi-Tag Classification

2312.14149 2023-12-21 이 페이지의 평가 1건

mIoU: 25.3

TextRegion: Text-Aligned Region Tokens from Frozen Image-Text Models

2505.23769 2025-05-29 이 페이지의 평가 1건

mIoU: 31.2

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/shjo-april/TTD 1 논문

github.com/avaxiao/TextRegion 1 논문

github.com/chongzhou96/maskclip 1 논문

github.com/ExplainableML/cosmos 1 논문

github.com/jongwoopark7978/LVNet 1 논문

github.com/kahnchana/clippy 1 논문

github.com/kakaobrain/tcl 1 논문

github.com/mc-lan/proxyclip 1 논문