PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15929v1cs.CV

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

arXiv:2606.22486v1cs.CV

폐결절 분할을 위한 인간-AI 협업

Human and AI collaboration for pulmonary nodule segmentation

의료 전문가 주석자는 부족하고, 인공지능(AI)에 대한 맹목적 의존은 오해를 낳을 수 있어, 특히 초급 의료 수련생이나 심지어 비의료 인력을 포함한 인간이 AI와 협업하여 견고한 의료 분할을 달성하는 접근법이 필요하다. Segment Anything Model(SAM)은 범용 이미지 분할(image segmentation)에 있어 가능성을 보여주지만, 전문화된 의료 작업에서 인간-AI 협업에 대한 성능은 철저히 평가되지 않았다. 본 연구에서는 SAM 기반 폐결절 분할용 human-in-the-loop 분할 프레임워크인 Hi-Seg를 제안한다. 인간은 시행착오 학습과 의미적 추론을 통해 프롬프트(prompt)를 반복적으로 정제하며, 점진적으로 SAM을 더 높은 품질의 마스크(mask)로 유도한다. 12개 센터의 1,179명 환자 흉부 CT 스캔을 사용하여 협업형 human-SAM 분할의 최초 대규모 외부 검증(validation)을 수행했다. 모든 주석자 그룹에서 Hi-Seg는 평균 Dice 점수 약 85%를 달성하여, 5개 최신(state-of-the-art) 심층 학습(deep learning) 모델보다 10-22%, 13개 SAM 변형보다 1-29% 우수한 성능을 보였다. Hi-Seg는 의료 주석자의 주석 시간을 줄이면서 분할 정확도를 향상시켰으며, 짧은 훈련을 받은 비의료 주석자는 초급 의대생과 유사한 성능을 달성했다. 이러한 결과는 human-in-the-loop 분할이 임상의의 업무 부담을 줄이고, 확장 가능한 크라우드소싱 주석을 가능하게 하며, 기반 모델(foundation model)을 일상 임상 실무에 안전하고 효율적으로 통합함으로써 임상 워크플로를 변화시킬 수 있음을 시사한다.