AKGNet: Attribute Knowledge-Guided Unsupervised Lung-Infected Area Segmentation
원문 초록
Lung-infected area segmentation is crucial for assessing the severity of lung diseases. However, existing image-text multi-modal methods typically rely on labour-intensive annotations for model training, posing challenges regarding time and expertise. To address this issue, we propose a novel attribute knowledge-guided framework for unsupervised lung-infected area segmentation (AKGNet), which achieves segmentation solely based on image-text data without any mask annotation. AKGNet facilitates text attribute knowledge learning, attribute-image cross-attention fusion, and high-confidence-based pseudo-label exploration simultaneously. It can learn statistical information and capture spatial correlations between image and text attributes in the embedding space, iteratively refining the mask to enhance segmentation. Specifically, we introduce a text attribute knowledge learning module by extracting attribute knowledge and incorporating it into feature representations, enabling the model to learn statistical information and adapt to different attributes. Moreover, we devise an attribute-image cross-attention module by calculating the correlation between attributes and images in the embedding space to capture spatial dependency information, thus selectively focusing on relevant regions while filtering irrelevant areas. Finally, a self-training mask improvement process is employed by generating pseudo-labels using high-confidence predictions to iteratively enhance the mask and segmentation. Experimental results on a benchmark medical image dataset demonstrate the superior performance of our method compared to state-of-the-art segmentation techniques in unsupervised scenarios.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Multimodality Adaptive Transformer and Mutual Learning for Unsupervised Domain Adaptation Vehicle Re-Identification
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings
트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구
When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation
SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.
기계는 비언어적으로 추론할 수 있는가?
Can machines reason non-verbally?
현대 기계는 방정식을 풀고 논리를 따르며 언어를 통해 추론할 수 있지만, 시각적 비언어적 추론이 필요한 문제에서는 여전히 어려움을 겪고 있습니다. 이는 추상적 패턴 완성이나 모호한 관심 영역(ROI) 묘사와 같은 시각적 과제에서 여전히 한계를 보이는 DeepSeek, ChatGPT, Gemini와 같은 첨단 시스템에서도 뚜렷하게 나타납니다. 논리나 자동화된 테스트를 통해 검증할 수 있는 언어적 추론의 명시적인 중간 단계와 달리, 시각적 추론은 명확한 검증 방법이 없는 암묵적인 중간 단계를 수반합니다. 따라서 비언어적 추론은 모델링하기가 까다로우며, 그 결과 현재 기계 지능의 근본적인 한계로 남아 있습니다. 본 연구에서는 생성, 검증, 최적화를 기계의 추론 파이프라인으로 통합하는 범용 프레임워크인 GenVerOpt를 소개합니다. GenVerOpt는 후보 해를 생성하고 그 정확성을 검증하며 반복적으로 개선함으로써, 모델 학습(training) 중에 포착된 데이터셋(dataset) 수준의 경향성에만 의존하기보다 샘플별 최적화를 가능하게 합니다. 이 과정은 올바른 해결책이 도출될 때까지 여러 가능성을 구상하고 평가하며 다듬는 인간의 문제 해결 방식을 반영합니다. 다양한 도메인에 걸쳐 GenVerOpt는 기존 시스템을 뛰어넘는 역량을 입증합니다. 즉, 추상적 IQ 퍼즐에서 인간을 능가하고, 전립선암 분할에서 임상의 수준에 도달하며, 간 혈관 재구성에서 전문가를 뛰어넘고, 종양 경계 정렬에서 최신(SOTA) 접근법보다 우수한 성능을 보입니다. 이러한 결과는 기계의 추론이 언어를 넘어 확장될 수 있음을 보여주며, 시각적 비언어적 추론을 보다 유연하고 일반화 가능한 지능의 토대로 확립합니다.
LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용
LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation
본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.