단일 포인트에서 완전한 마스크로: 엔드투엔드 아모달 분할을 위한 속도 유도 레벨 셋 진화
Single Point, Full Mask: Velocity-Guided Level Set Evolution for End-to-End Amodal Segmentation
한국어 초록
아모달 분할(Amodal segmentation)은 가려진 영역을 포함하여 물체의 완전한 형태를 복원하는 것을 목표로 하며, 사용자 중심의 멀티미디어 저작 및 객체 수준 시각 조작에 필수적인 기술로 활용된다. 기존 방법들은 일반적으로 바운딩 박스나 조밀한 가시 영역 마스크와 같은 정보량이 많은 프롬프트에 의존하므로, 실제 멀티미디어 응용 프로그램에서 사용자 경험과 상호작용 효율성을 크게 저하시킨다. 최근의 인터랙티브 패러다임(예: Segment Anything Model)은 경량화된 포인트 기반 상호작용을 지원하지만, 종종 직접적인 마스크 회귀를 수행한다. 결정적으로 이러한 직접 회귀 모델의 불투명한 특성은 가려진 구조가 어떻게 추론되는지에 대한 시각적 설명 가능성을 제공하지 못하여, 해석 가능한 멀티미디어 시스템에 대한 증가하는 요구와 충돌한다. 이러한 한계를 해결하기 위해, 본 논문에서는 단순한 포인트 클릭으로 구동되는 명시적이고 투명한 윤곽선 진화를 가능하게 하는 엔드투엔드 속도 기반 레벨 셋 아모달 분할 방법인 VELA를 제안한다. VELA는 시각적 특징과 사용자의 포인트 입력으로부터 초기 레벨 셋 함수를 구성하며, 이는 완전 미분 가능한 네트워크에 의해 예측된 형상 특화 모션 필드의 안내에 따라 최종 아모달 마스크로 점진적으로 진화한다. 이 메커니즘은 매 단계에서 진화 동역학을 생성하도록 학습하여, 공간적 추론 과정이 기하학적으로 그라운딩(grounding)되고 위상학적으로 유연하며 사용자에게 시각적으로 설명 가능하도록 보장한다. COCOA-cls, D2SA 및 KINS 벤치마크에 대한 광범위한 실험은 VELA가 단일 포인트 프롬프트만을 요구하면서도 바운딩 박스 또는 조밀한 가시 마스크 프롬프트를 사용하는 기존 방법들을 능가함을 입증하여, 대화형 멀티미디어 작업을 위한 설명 가능한 기하학적 모델링의 효과를 검증한다.
원문 초록
Amodal segmentation aims to recover complete object shapes, including occluded regions, serving as an essential technique for user-centric multimedia authoring and object-level visual manipulation. Existing methods typically rely on informative prompts, such as bounding boxes or dense visible masks, which heavily degrade the user experience and interaction efficiency in real-world multimedia applications. While recent interactive paradigms (e.g., the Segment Anything Model) support lightweight point-based interactions, they often perform direct mask regression. Crucially, the opaque nature of these direct-regression models offers no visual explainability regarding how occluded structures are inferred, conflicting with the growing demand for interpretable multimedia systems. To address these limitations, we propose VELA, an end-to-end VElocity-driven Level-set Amodal segmentation method that enables explicit and transparent contour evolution driven by simple point clicks. VELA constructs an initial level set function from visual features and the user's point input, which then progressively evolves into the final amodal mask under the guidance of a shape-specific motion field predicted by a fully differentiable network. This mechanism learns to generate evolution dynamics at each step, ensuring that the spatial reasoning process is geometrically grounded, topologically flexible, and visually explainable to the user. Extensive experiments on COCOA-cls, D2SA, and KINS benchmarks demonstrate that VELA outperforms existing methods that use bounding-box or dense visible-mask prompts while requiring only a single-point prompt, validating the effectiveness of explainable geometric modeling for interactive multimedia tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2508.01661v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
U-CFR: Uncertainty-Guided Cascade Forward Refinement for Interactive Segmentation
Lean-SAM2: SAM2를 위한 타깃 앵커 메모리 및 인코더 가속
Lean-SAM2: Target-Anchored Memory and Encoder Acceleration for SAM2
Segment Anything Model 2(SAM2)는 시간적 프롬프트 가능 분할(segmentation)을 발전시켰지만, 배포는 여전히 무거운 메모리 크로스 어텐션 오버헤드와 중복적인 전체 프레임 시각 특징 추출로 인해 제약을 받는다. 최근 방법들은 휴리스틱 메모리 가지치기와 윈도우 기반 희소 라우팅을 통해 효율성을 탐구하지만, 일반적으로 가림(occlusion)과 방해 요소(distractor)가 많은 복잡한 분할 시나리오에서 치명적인 성능 저하를 겪는다. 이러한 한계를 해결하기 위해, 우리는 위 취약점을 해결하면서 계산 중복을 체계적으로 제거하도록 설계된 포괄적인 경량 프레임워크인 Lean-SAM2를 제안한다. 구체적으로, Lean-SAM2는 세 가지 협력 메커니즘을 통합한다: (1) 타깃 앵커 메모리 가지치기(TAMP)는 프롬프트에서 유도된 전경 앵커에 대한 의미적 일관성으로 원시 어텐션 중요도를 변조하여 기만적인 어텐션으로부터 타깃 토큰을 보호한다; (2) 보험 메모리를 갖춘 시간적 응축(TCIM)은 가시성 게이트 융합을 통해 역사적 컨텍스트를 응축하면서, 높은 신뢰도 항목을 병렬 보험 뱅크에 조건부로 보관한다; (3) 타깃 앵커 위험 인식 라우팅(TARR)은 앵커 유사도에 기반하여 타깃 관련 윈도우에 대해 무거운 이미지 인코더를 선택적으로 활성화하고, 변동성이 큰 전환 기간 동안 전체 프레임 갱신을 트리거하기 위해 위험 인식 폴백 정책을 활용한다. 여러 도전적인 벤치마크에 걸친 광범위한 평가는 Lean-SAM2가 정확도와 효율성 사이의 우수한 균형을 확립함을 보여준다. 예를 들어, LVOSv2 검증 데이터셋에서 Lean-SAM2는 SAM2.1-Large와 SAM2.1-Base+에서 각각 전체 추론 속도를 $1.412\times$ 및 $1.417\times$ 향상시키며, Efficient-SAM2를 크게 능가하면서 해당 $\mathcal{J}\&\mathcal{F}$ 점수를 각각 5.0% 및 3.6% 향상시킨다. 코드는 https://github.com/DeawhaleQwQ/Lean-SAM2에서 이용할 수 있다.
LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리
LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT
세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.
ReflexTrack: 학습 없는 지시 기반 비디오 객체 분할을 위한 피드백 기반 에이전트
ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation
지시 기반 비디오 객체 분할(RVOS)은 자연어로 지정된 대상을 비디오 전체에 걸쳐 분할하는 작업이다. 최근 에이전트 기반 접근법은 다중모달 대규모 언어 모델과 프롬프트 가능한 분할 모델을 결합하여 작업별 학습 없이 RVOS를 수행한다. 그러나 대부분의 파이프라인은 일회성 공간 그라운딩 이후 마스크 전파에 의존하여, 초기 프롬프트와 시간적 예측 모두 대부분 검증되지 않은 채로 남는다. 우리는 공간적·시간적 수준 모두에서 이 루프를 닫는 학습 없는 피드백 기반 에이전트인 ReflexTrack을 제안한다. Mask-guided Spatial Refinement는 현재 키프레임 프롬프트로 유도된 마스크를 평가하고, 경계 상자와 양성·음성 포인트를 함께 반복적으로 갱신하여 더 신뢰할 수 있는 초기화를 만든다. Video-level Mask Reflection은 전체 마스크 시퀀스를 평가하고, 신뢰할 수 없는 구간을 국소화하며, 상보적인 수리 키프레임을 선택하고, 마스크 유도 재전파를 통해 후보 예측을 생성한다. 검증된 개선을 제공하는 후보만이 영향받은 구간을 갱신하는 데 사용되며, 그 외 신뢰할 수 있는 예측은 보존된다. 모든 구성 요소는 추론 중 동결 상태를 유지한다. ReflexTrack은 Ref-VPS에서 전체 $\mathcal{Q}$ 점수 69.7, ReasonVOS에서 $\mathcal{J}\&\mathcal{F}$ 점수 67.2를 달성한다. 이 결과는 예측 수준 피드백이 학습 없는 RVOS의 신뢰성을 크게 향상시킴을 보여준다.
레벨셋 진화에서 임계값 최적화로: 이미지 분할을 위한 그레이스케일 레벨셋 프레임워크
From level set evolution to threshold optimization: A grayscale level set framework for image segmentation
다중 열화 이미지 분할은 이미지 분할 분야에서 어려운 문제로 남아 왔다. 기존 레벨셋(level set) 방법들은 일반적으로 분할 윤곽의 기하학적 형태를 제약하기 위해 길이 정규화 항을 채택한다. 그러나 길이 항의 도입은 종종 수치적 불안정성과 높은 계산 비용을 초래한다. 본 논문에서는 특정 매끄러움(smoothness) 제약 하에서 길이 항이 필수적이지 않음을 보이고, 길이 항의 존재가 $|\nabla φ|=1$ 성질에 영향을 미침을 이론적으로 증명한다. 이 발견을 바탕으로, 우리는 매끄러운 이미지의 한 클래스를 정의하고, 그레이스케일 레벨셋을 구성하며, 심하게 노이즈가 있는 이미지 및 강도 불균일(intensity inhomogeneous) 이미지와 같은 열화된 이미지를 위한 빠른 분할 프레임워크를 제안한다. 해당 프레임워크는 PDE 진화를 1차원 임계값 탐색으로 변환하며, 특히 대규모 이미지에서 계산 속도 측면에서 상당한 이점을 갖는다. 실험을 통해 제안 프레임워크의 다양한 열화 이미지에 대한 분할 성능을 검증한다.
TransBiolab: 혼잡한 투명 생의학 객체의 실세계 다중 시점 데이터셋
TransBiolab: A Real-World Multi-View Dataset of Cluttered Transparent Biomedical Objects
자율 생의학 실험실은 투명 플라스틱 기구를 인식하고, 위치를 특정하며, 조작하는 데 점점 더 시각적 지각에 의존하고 있지만, 이 환경을 위한 고품질 실세계 데이터셋은 여전히 제한적이다. 도메인 관련 데이터의 부족은 특히 혼잡한 다중 객체 장면에서 제약적이며, 여기서 상호 가림과 시점 의존적 외관 변화는 최신 시각 기반 모델(foundation model)에서도 여전히 어려운 과제로 남아 있다. 기존 투명 객체 데이터셋은 분할(segmentation), 깊이, 자세 추정을 발전시켜 왔지만, 일반적으로 실험실 조작 장면을 특징짓는 다중 객체 혼잡, 가림, 보정된 다중 시점 캡처의 결합된 설정을 평가하지는 않는다. 이 공백을 해소하기 위해, 우리는 보정된 다중 시점 시퀀스로 캡처된 혼잡한 투명 생의학 객체의 실세계 RGB-D 데이터셋인 TransBiolab을 제시한다. TransBiolab은 98개 장면에서 161,315프레임과 15가지 실험실 객체 유형에 걸친 103만 개의 인스턴스 주석을 포함하며, 6D 자세, 전체 및 가시 마스크, 깊이, 프레임별 카메라 보정을 제공한다. 데이터셋은 운영 난이도를 반영하는 세 가지 축을 따라 구성된다: 객체 범주, 프레임 내 객체 총수, 카메라 시점. 우리는 또한 분할, 깊이 추정 및 완성(completion), 6D 자세 추정을 위한 데이터셋 중심 벤치마크를 정의하고, 공개된 주석과 보정을 통해 가능해진 시스템 수준의 로봇 조작 평가를 보고한다. 반복되는 투명 인스턴스, 혼잡, 다중 시점 실험실 캡처에 초점을 맞춤으로써, TransBiolab은 자율 실험실 조작에서 분할, 깊이 추정, 6D 자세 추정, 다중 시점 추론을 위한 자원을 제공한다. 프로젝트 페이지: https://dualtransparency.github.io/TransBiolab/.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.