Dynamic Prompting of Frozen Text-to-Image Diffusion Models for Panoptic Narrative Grounding
원문 초록
Panoptic narrative grounding (PNG), whose core target is fine-grained image-text alignment, requires a panoptic segmentation of referred objects given a narrative caption. Previous discriminative methods achieve only weak or coarse-grained alignment by panoptic segmentation pretraining or CLIP model adaptation. Given the recent progress of text-to-image Diffusion models, several works have shown their capability to achieve fine-grained image-text alignment through cross-attention maps and improved general segmentation performance. However, the direct use of phrase features as static prompts to apply frozen Diffusion models to the PNG task still suffers from a large task gap and insufficient vision-language interaction, yielding inferior performance. Therefore, we propose an Extractive-Injective Phrase Adapter (EIPA) bypass within the Diffusion UNet to dynamically update phrase prompts with image features and inject the multimodal cues back, which leverages the fine-grained image-text alignment capability of Diffusion models more sufficiently. In addition, we also design a Multi-Level Mutual Aggregation (MLMA) module to reciprocally fuse multi-level image and phrase features for segmentation refinement. Extensive experiments on the PNG benchmark show that our method achieves new state-of-the-art performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
장기적 관점의 열린 세상 비디오 세그멘테이션을 향하여
Toward Open-World Video Segmentation over Long Horizons
긴 비디오는 객체가 사라졌다가 다시 나타나는 과정에서 객체를 지속적으로 발견하고 그 정체성(identity)을 유지해야 하므로 열린 세상(open-world) 세그멘테이션 시스템에 큰 도전 과제가 됩니다. 본 연구에서는 지속적인 객체 발견 및 정체성 유지를 위한 제로샷(zero-shot), 준-온라인(semi-online), 클래스 불가지론적(class-agnostic) 시스템인 Savvy와, 참조 주석(reference annotation)과 세분성(granularity)이 다를 때 일관된 부분 수준(part-level) 예측을 인정하는 평가 벤치마크인 OGA를 제시합니다. Savvy는 모듈형 마스크 발견, 누적된 증거 기반의 지연 승인(deferred admission), 트랙 통합을 결합하여 진화하는 객체 세트를 유지합니다. OGA는 예측 ID를 보존하면서 여러 예측이 단일 참조 객체를 지원할 수 있도록 허용하며, 세분성을 고려한 정확도(granularity-aware fidelity)와 정체성 혼선(identity bleeding) 및 단편화된 지원(fragmented support)에 대한 진단을 결합합니다. 최대 1,500개의 소스 프레임으로 제한된 적응형 샘플링 프리픽스를 사용하여 평가한 142개의 ScanNet 비디오와 106개의 HM3D 궤적에서, Savvy는 기존 평가와 OGA 평가 모두에서 VPQ_inf, STQ, AQ 지표 전반에 걸쳐 DEVA+SAM 및 EntitySAM을 능가합니다. 기존 VPQ_inf의 경우 ScanNet에서 DEVA+SAM의 11.52 대비 18.44를, HM3D에서 6.58 대비 17.31을 기록했습니다. VIPSeg 비교를 통해 기존 일대일 VPQ가 주석 세분성에 민감함을 보여줍니다. 통제된 정체성 단절(identity-severing) 및 깜빡임(flicker) 테스트는 프레임 수준 마스크가 변경되지 않은 상태에서도 OGA가 시간적 오류(temporal failures)를 감지함을 보여줍니다. 종합적으로 이러한 결과는 상호 보완적인 발전을 입증합니다. Savvy는 장기적(long-horizon) 세그멘테이션 및 연관성(association)을 개선하고, OGA는 일관된 부분 수준 지원과 시간적 정체성 오류를 구별합니다. 프로젝트 웹사이트: https://github.com/QingSuML/savvy
다중 뷰 팬옵틱 분할을 위한 대규모 뷰 합성 모델 확장
Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation
대규모 뷰 합성 모델은 명시적인 3D 표현 없이 교차 뷰 어텐션을 통해 새로운 뷰를 합성하며, 최근 연구들은 RGB 감독만으로도 정확한 공간 대응(spatial correspondence)을 학습한다는 것을 보여주었다. 우리는 이러한 대응이 외관(appearance)을 넘어 일반화된다는 것을 관찰한다. 이진 인코딩된 팬옵틱(panoptic) 레이블과 같은 비실사(non-photorealistic) 신호를 모델에 통과시키면, 일관된 공간 구조를 유지한 채 새로운 뷰로 전파된다. 이 결과는 RGB 뷰 합성을 위해 학습된 대응이 뷰 독립적인(view-independent) 픽셀 단위(per-pixel) 레이블도 전파할 수 있음을 시사한다. 이 관찰에 기반하여, 우리는 대규모 뷰 합성 모델을 외관 렌더링을 넘어 3D 장면 이해로 확장하는 최초의 연구를 제시한다. 우리는 3D 재구성이나 뷰 합성 모델에 대한 분할 특화 학습 없이, 동결(frozen)된 뷰 합성 모델을 재사용하여 입력 뷰의 팬옵틱 레이블을 새로운 뷰로 전파하는 팬옵틱 분할 파이프라인을 제안한다. 입력 뷰에 팬옵틱 레이블이 주어지면, 이를 이진 채널 표현으로 인코딩하고 동일한 모델에 통과시켜 타깃 뷰 분할을 렌더링한다. ScanNet에서 우리 방법은 명시적 3D 재구성을 필요로 하는 가우시안(Gaussian) 기반 접근법과 동등한 분할 품질을 달성하면서, 새로운 뷰 합성에서는 7 dB 이상 더 우수한 성능을 보인다. 레이블 전파는 데이터셋 간에도 전이되며, 미세조정 없이 Replica에서도 이러한 접근법들을 능가한다.
Nuclei Segmentation via a Deep Panoptic Model with Semantic Feature Fusion
Alleviating Textual Reliance in Medical Language-guided Segmentation via Prototype-driven Semantic Approximation
DEARLi: Decoupled Enhancement of Recognition and Localization for Semi-supervised Panoptic Segmentation
A New Dataset and Performance Benchmark for Real-time Spacecraft Segmentation in Onboard Flight Computers
토론
이 논문과 연결된 포럼 글이 아직 없습니다.