arXiv:2201.12828

Comprehensive Saliency Fusion for Object Co-segmentation

Harshit Singh Chhabra, Koteswar Rao Jerripothula

제출 2022-01-30

원문 초록

Object co-segmentation has drawn significant attention in recent years, thanks to its clarity on the expected foreground, the shared object in a group of images. Saliency fusion has been one of the promising ways to carry it out. However, prior works either fuse saliency maps of the same image or saliency maps of different images to extract the expected foregrounds. Also, they rely on hand-crafted saliency extraction and correspondence processes in most cases. This paper revisits the problem and proposes fusing saliency maps of both the same image and different images. It also leverages advances in deep learning for the saliency extraction and correspondence processes. Hence, we call it comprehensive saliency fusion. Our experiments reveal that our approach achieves much-improved object co-segmentation results compared to prior works on important benchmark datasets such as iCoseg, MSRC, and Internet Images.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15929v1cs.CV공통 태그 Segmentation

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

arXiv:2610.13925v1cs.CV공통 태그 Segmentation

기계는 비언어적으로 추론할 수 있는가?

Can machines reason non-verbally?

현대 기계는 방정식을 풀고 논리를 따르며 언어를 통해 추론할 수 있지만, 시각적 비언어적 추론이 필요한 문제에서는 여전히 어려움을 겪고 있습니다. 이는 추상적 패턴 완성이나 모호한 관심 영역(ROI) 묘사와 같은 시각적 과제에서 여전히 한계를 보이는 DeepSeek, ChatGPT, Gemini와 같은 첨단 시스템에서도 뚜렷하게 나타납니다. 논리나 자동화된 테스트를 통해 검증할 수 있는 언어적 추론의 명시적인 중간 단계와 달리, 시각적 추론은 명확한 검증 방법이 없는 암묵적인 중간 단계를 수반합니다. 따라서 비언어적 추론은 모델링하기가 까다로우며, 그 결과 현재 기계 지능의 근본적인 한계로 남아 있습니다. 본 연구에서는 생성, 검증, 최적화를 기계의 추론 파이프라인으로 통합하는 범용 프레임워크인 GenVerOpt를 소개합니다. GenVerOpt는 후보 해를 생성하고 그 정확성을 검증하며 반복적으로 개선함으로써, 모델 학습(training) 중에 포착된 데이터셋(dataset) 수준의 경향성에만 의존하기보다 샘플별 최적화를 가능하게 합니다. 이 과정은 올바른 해결책이 도출될 때까지 여러 가능성을 구상하고 평가하며 다듬는 인간의 문제 해결 방식을 반영합니다. 다양한 도메인에 걸쳐 GenVerOpt는 기존 시스템을 뛰어넘는 역량을 입증합니다. 즉, 추상적 IQ 퍼즐에서 인간을 능가하고, 전립선암 분할에서 임상의 수준에 도달하며, 간 혈관 재구성에서 전문가를 뛰어넘고, 종양 경계 정렬에서 최신(SOTA) 접근법보다 우수한 성능을 보입니다. 이러한 결과는 기계의 추론이 언어를 넘어 확장될 수 있음을 보여주며, 시각적 비언어적 추론을 보다 유연하고 일반화 가능한 지능의 토대로 확립합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.