PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28078v1cs.CV

LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리

LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT

세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.

arXiv:2607.19811v1cs.CV

Lean-SAM2: SAM2를 위한 타깃 앵커 메모리 및 인코더 가속

Lean-SAM2: Target-Anchored Memory and Encoder Acceleration for SAM2

Segment Anything Model 2(SAM2)는 시간적 프롬프트 가능 분할(segmentation)을 발전시켰지만, 배포는 여전히 무거운 메모리 크로스 어텐션 오버헤드와 중복적인 전체 프레임 시각 특징 추출로 인해 제약을 받는다. 최근 방법들은 휴리스틱 메모리 가지치기와 윈도우 기반 희소 라우팅을 통해 효율성을 탐구하지만, 일반적으로 가림(occlusion)과 방해 요소(distractor)가 많은 복잡한 분할 시나리오에서 치명적인 성능 저하를 겪는다. 이러한 한계를 해결하기 위해, 우리는 위 취약점을 해결하면서 계산 중복을 체계적으로 제거하도록 설계된 포괄적인 경량 프레임워크인 Lean-SAM2를 제안한다. 구체적으로, Lean-SAM2는 세 가지 협력 메커니즘을 통합한다: (1) 타깃 앵커 메모리 가지치기(TAMP)는 프롬프트에서 유도된 전경 앵커에 대한 의미적 일관성으로 원시 어텐션 중요도를 변조하여 기만적인 어텐션으로부터 타깃 토큰을 보호한다; (2) 보험 메모리를 갖춘 시간적 응축(TCIM)은 가시성 게이트 융합을 통해 역사적 컨텍스트를 응축하면서, 높은 신뢰도 항목을 병렬 보험 뱅크에 조건부로 보관한다; (3) 타깃 앵커 위험 인식 라우팅(TARR)은 앵커 유사도에 기반하여 타깃 관련 윈도우에 대해 무거운 이미지 인코더를 선택적으로 활성화하고, 변동성이 큰 전환 기간 동안 전체 프레임 갱신을 트리거하기 위해 위험 인식 폴백 정책을 활용한다. 여러 도전적인 벤치마크에 걸친 광범위한 평가는 Lean-SAM2가 정확도와 효율성 사이의 우수한 균형을 확립함을 보여준다. 예를 들어, LVOSv2 검증 데이터셋에서 Lean-SAM2는 SAM2.1-Large와 SAM2.1-Base+에서 각각 전체 추론 속도를 $1.412\times$ 및 $1.417\times$ 향상시키며, Efficient-SAM2를 크게 능가하면서 해당 $\mathcal{J}\&\mathcal{F}$ 점수를 각각 5.0% 및 3.6% 향상시킨다. 코드는 https://github.com/DeawhaleQwQ/Lean-SAM2에서 이용할 수 있다.

arXiv:2602.22649v2cs.CV

Interactive Medical-SAM2 GUI: A Napari-based semi-automatic annotation tool for medical images

Interactive Medical-SAM2 GUI is an open-source desktop application for semi-automatic annotation of 2D and 3D medical images. Built on the Napari multi-dimensional viewer, box/point prompting is integrated with SAM2-style propagation by treating a 3D volume as a slice sequence, enabling mask propagation from sparse prompts using Medical-SAM2 on top of SAM2. Voxel-level annotation remains essential for developing and validating medical imaging algorithms, yet manual labeling is slow and expensive for 3D scans, and existing integrations frequently emphasize per-slice interaction without providing a unified, cohort-oriented workflow for navigation, propagation, interactive correction, and quantitative export in a single local pipeline. To address this practical limitation, a local-first Napari workflow is provided for efficient 3D annotation across multiple studies using standard DICOM series and/or NIfTI volumes. Users can annotate cases sequentially under a single root folder with explicit proceed/skip actions, initialize objects via box-first prompting (including first/last-slice initialization for single-object propagation), refine predictions with point prompts, and finalize labels through prompt-first correction prior to saving. During export, per-object volumetry and 3D volume rendering are supported, and image geometry is preserved via SimpleITK. The GUI is implemented in Python using Napari and PyTorch, with optional N4 bias-field correction, and is intended exclusively for research annotation workflows. The code is released on the project page: https://github.com/SKKU-IBE/Medical-SAM2GUI/.

arXiv:2607.12297v1cs.CV

MobileSAM2: 공간 지능을 위한 경량 Segment Anything

MobileSAM2: Lightweight Segment Anything for Spatial Intelligence

최근의 대규모 비디오 파운데이션 모델인 SAM2는 이미지와 비디오 모두에서 segment anything을 가능하게 하며, 다양한 응용 분야를 위한 강력한 베이스 모델로 활용된다. 그러나 이러한 사용 사례 중 많은 것은 스마트폰이나 노트북과 같은 자원 제약이 있는 기기에서 동작해야 한다. 본 연구에서는 무거운 SAM2를 경량 모델로 지식 증류하여 SAM2를 더 모바일 친화적으로 만들고, 모바일 기기에서 이미지와 비디오 모두에 대한 segment anything을 용이하게 하는 것을 목표로 한다. 이를 위해 하이퍼그래프 개념을 지식 증류에 도입하는 Hypergraphical Knowledge Distill(HyperKD)을 제안하며, SAM2의 일반화 가능하고 포괄적인 지식을 효과적으로 모델링하고 전달하는 것을 목표로 한다. HyperKD는 하이퍼그래프를 구성하여 SAM2로부터 각각 일반화 가능한 시간적 지식과 포괄적인 다중 입도 지식을 명시적으로 모델링하고 추출하는 Temporal HyperKD와 Granularity HyperKD로 구성되며, 구성된 하이퍼그래프와 정렬함으로써 이를 경량 학생 모델에 지식 증류한다. 또한 모델 크기 축소 과정에서 HyperKD를 활용하여 최적의 모델 아키텍처를 탐색함으로써 효율성과 효과성의 균형을 맞춘 경량 SAM2 제품군인 MobileSAM2를 제시한다. 광범위한 실험을 통해 MobileSAM2를 여러 벤치마크에서 검증하였으며, 체화 AI(embodied AI) 과제에서 유망한 일반화 성능을 보였다.

arXiv:2607.08688v1cs.CV

SAM-MT: 실시간 인터랙티브 다중 대상 비디오 분할

SAM-MT: Real-Time Interactive Multi-Target Video Segmentation

SAM2를 기반으로, SAM-MT는 다중 대상 비디오 객체 분할(VOS)에서 대상 수 증가에 따른 지연 시간 문제를 해결하기 위해 명시적 타겟 쿼리와 분리된 마스크드 어텐션(decoupled masked attention), 희소 메모리(sparse memory)를 활용하는 인터랙티브 프레임워크를 제안한다. SAM-MT는 처리 지연을 대상 수와 분리하여 10개 대상에서도 36+ FPS의 실시간 속도를 달성하며, SAM2.1-B+ 대비 약 6배의 속도 향상을 이루면서도 6개 VOS 벤치마크에서 동등한 분할 성능을 유지한다.

arXiv:2606.27339v1cs.CV

SAM2Matting: 일반화된 이미지 및 비디오 매팅

SAM2Matting: Generalized Image and Video Matting

비디오 매팅(video matting)은 고수준 추적과 저수준 세부 매팅 사이의 격차와 제한적인 비디오 매팅 데이터셋 때문에 어렵지만, SAM2Matting은 SAM2·SAM3 같은 VOS 추적기에 ROI Detector와 Progressive Alpha Predictor를 결합해 추적과 매팅을 분리하는 tracker-to-matting 프레임워크를 제안한다. 이미지 데이터만으로 학습했음에도 제로샷 비디오 매팅에서 최신 성능을 달성하고, 다양한 프롬프트와 강한 시간적 일관성을 유지하며 사람 중심·야외(in-the-wild) 장면 모두에서 강건한 일반화를 보인다.

arXiv:2606.24449v2cs.CV

SENTRY: 시각적 추적을 위한 SAM2 기반 이웃 인식 및 시간적 추론 메모리

SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking

우리는 SAM2 기반 시각적 객체 추적에서의 메모리 업데이트 메커니즘을 재검토하고, 폐색(occlusion), 빠른 움직임, 방해 요소 하에서 드리프트의 주된 원인이 신뢰도만을 기반으로 한 마스크 선택임을 규명한다. 우리는 SENTRY를 소개한다. 이는 학습이 필요 없는 플러그 앤 플레이 방식의 '쓰기 전 정제(refine-before-write)' 모듈로, 각 메모리 업데이트를 커밋하기 전에 단기 시간적 일관성을 검증한다. SENTRY는 프레임별로 다양한 분할 가설을 집계하고, 이를 단기 트랙릿(tracklet)으로 역추적한 뒤, 이웃 인식 순환 일관성 매칭(neighbor-aware cycle-consistent matching)을 최근 궤적에 적용하여 시간적·기하학적으로 일관된 마스크를 선호한다. 기본 아키텍처는 그대로 유지하면서 신뢰도 기반 쓰기를 일관성 검증 쓰기로 대체한다. 공정한 평가를 위해, 주요 오픈소스 SAM2 기반 추적기들을 모든 가용 스케일과 데이터셋에 걸쳐 재평가하여 기존 보고서의 공백을 보완한다. 다섯 가지 강력한 베이스라인에 통합된 SENTRY는 아홉 개의 벤치마크 전반에서 일관된 성능 향상을 달성하며, LaSOT, LaSOT_ext, GOT-10k, VOT20, VOT22, DiDi에서 새로운 제로샷(zero-shot) SOTA를 기록한다. 이러한 검증 과정에도 불구하고, SAM2-L 버전은 A100에서 32.8 FPS로 동작하며, 호환 호스트 전반에서 약 0.4–0.6 GB의 VRAM만을 추가로 사용한다. 본 연구의 결과는 SAM2 기반 추적기에 대한 최초의 통합 전-스케일 평가를 제공하며, 쓰기 시점에 시간적 유효성을 강제하면 재학습 없이도 메모리 증강 추적을 안정화할 수 있음을 보인다.

arXiv:2606.20161v1cs.CV

ARTEMIS: 불완전 지도 비디오 용종 분할을 위한 에이전트 안내 신뢰도 인식 시간적 마스크 진화

ARTEMIS: Agent-guided Reliability-aware Temporal Mask Evolution for Imperfectly Supervised Video Polyp Segmentation

불완전 지도 비디오 용종 분할(VPS)은 약한 어노테이션(점, 스크리블)과 소수의 밀집 라벨이 있는 프레임을 이용한 반지도 학습을 포함하여 저렴한 지도로부터 밀집하고 시간적으로 일관된 마스크를 학습하는 것을 목표로 합니다. 이 설정은 낮은 대비, 모호한 경계, 모션 블러, 반사 하이라이트로 인해 임상적으로 가치가 있지만 도전적이며, 희소한 픽셀 수준의 지도로 인해 더욱 복잡해집니다. SAM2는 희소한 입력으로부터 밀집 마스크를 생성할 수 있지만, 직접적인 의사 라벨링은 종종 경계 누출이 있는 기하학적 품질이 저하된 마스크를 생성하며, 시간적 일관성을 충분히 활용하지 못하고 신뢰도를 무시합니다. 이러한 문제를 해결하기 위해, 우리는 에이전트 안내 신뢰도 인식 시간적 마스크 진화에 의해 구동되는 불완전 지도 VPS를 위한 통합 프레임워크인 ARTEMIS를 제안합니다. ARTEMIS는 사용 가능한 지도로부터 거친 마스크를 초기화합니다: SAM2는 점/스크리블을 변환하고, 밀집 라벨은 신뢰할 수 있는 앵커로 사용됩니다. 토론-판단 비전-언어 에이전트(debate-and-judge vision-language agent)는 약한 지도 하에서 신뢰할 수 있는 시간적 앵커를 선택하며, 이는 신뢰할 수 없거나 라벨이 없는 프레임을 정제하기 위해 SAM2와 함께 양방향으로 전파됩니다. 마지막으로, ARTEMIS는 신뢰도 안내 참조 선택, 참조 프로토타입 전송 모듈(Reference Prototype Transport Module), 신뢰도 인식 강건 손실(reliability-aware robust loss)을 통합한 시간적 신뢰도 인식 강건 학습을 사용하여 분할기를 학습시킵니다. 이러한 구성 요소는 마스크 신뢰도를 평가하고, 시간이 지남에 따라 앵커를 진화시키며, 프레임 간에 타겟 정체성을 전송하고, 어려운 샘플을 제거하는 대신 노이즈가 있는 지도의 가중치를 낮춥니다. 스크리블, 점, 제한된 라벨 설정 하에서 SUN-SEG 및 CVC-ClinicDB-612에 대한 실험은 ARTEMIS가 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다. 코드는 https://github.com/wangtong627/ARTEMIS에서 공개될 예정입니다.