메모리-어텐션(memory-attention) 기반 비디오 인스턴스 분할(VIS) 방식은 강력한 제로샷(zero-shot) 추적 능력을 입증했으나, 상당한 메모리 요구량으로 인해 짧은 비디오 클립에 국한되며 단일 프롬프트 추론(inference) 설계로 인해 다중 범주 오픈 어휘(open-vocabulary) 추적에 과도한 연산 비용이 발생한다. 본 연구는 임의 비디오의 완전 자동화된 추적 어노테이션을 향한 두 가지 기여를 제시한다. Generalized Presence Token(GPT)은 어떠한 학습(training)된 구성 요소도 수정하지 않고 가상 프롬프트 배치 처리를 통해 N개의 텍스트 프롬프트를 동시에 처리하도록 SAM3의 추론 파이프라인을 재구성하여 이미지 인코딩 비용을 O(N)에서 O(1)로 줄인다. Annotation and Segmentation Handler(ASH)는 데이터셋(dataset)별 추가 학습 없이도 IoU 기반 청크 간 동일성(identity) 매칭을 사용하는 중첩 시간 청크를 통해 메모리-어텐션 VIS 추적기를 임의 길이의 시퀀스로 확장한다. SAM3를 기반으로 구현된 결과 파이프라인인 SAM3-ASH는 완전한 제로샷 조건 하에서 MOTS20에서 최고 수준(state-of-the-art)의 HOTA를 달성하고 추가 7개 벤치마크 전반에 걸쳐 학습된 특화 모델들과 견줄만한 성능을 유지하면서도, 최대 GPU 메모리 소비량을 25GB 미만으로 유지하여 확장 가능하고 학습이 필요 없는(training-free) 자동 비디오 어노테이션을 위한 실용적인 기준선(baseline)을 정립한다.
시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.
효율적인 수술 분할은 임상 진단, 수술 중 모니터링, 재구성 및 시뮬레이션을 위한 후속 로봇 파이프라인을 가능하게 한다. Segment Anything Model 3(SAM3)과 같은 프롬프트 기반 기반 모델(foundation model)은 자연 이미지에서 강력한 분할 성능을 달성하지만, 수술 데이터는 사전학습 데이터와 도메인 격차를 보여 분할 정확도가 저하된다. 또한 기존 의료 SAM 방법은 전체 매개변수 미세조정을 요구하여 높은 계산 소비와 낮은 효율성을 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 수술 개념 분할을 위해 SAM3의 매개변수 효율적 Low-Rank Adaptation(LoRA) 적응을 제안한다. 우리는 비전 백본을 완전히 동결한 채 프롬프트 인코더, 검출기, 트래커에 저랭크 어댑터를 주입하며, 이는 전체 모델 매개변수의 0.98%만 최적화하고 단일 소비자용 GPU에서 학습을 지원한다. 종합적인 실험을 통해 우리 방법이 제로샷 SAM3 및 기타 주류 기준선(baseline)을 지속적으로 능가함을 보여주며, 생성된 분할 결과는 후속 로봇 수술 장면 재구성 및 물리 시뮬레이션 파이프라인을 지원하기 위해 직접 배포할 수 있다.
문맥 내 분할(ICS)은 모델이 소수의 참조 이미지와 해당 마스크만을 사용하여 쿼리 이미지에서 대상 영역을 분할해야 하며, 어떠한 파라미터도 업데이트하지 않는다. 최근의 진전에도 불구하고, 기존 ICS 연구들은 중요한 측면인 시스템 견고성, 즉 동일한 쿼리에 대해 서로 다른 참조를 사용할 때 모델이 안정적인 분할 결과를 생성할 수 있는지 여부를 크게 간과해 왔다. 본 연구에서는 견고성 관점에서 ICS를 재검토하고, 저수준 시각 매칭에만 의존하는 대신 참조로부터 고수준 의미 개념을 추출하여 분할을 수행하는 새로운 패러다임인 개념 안내 문맥 내 분할(Concept-Guided In-Context Segmentation, CG-ICS)을 제안한다. 구체적으로, CG-ICS는 MLLM을 사용하여 후보를 제안하고 SAM3 기반 점수 함수와 트리 탐색 정제를 통해 신뢰할 수 있는 텍스트 개념을 선택하는 개념 추론 모듈을 도입하며, 간단한 컨텍스트 구성을 통해 쿼리 측면의 공간적 그라운딩(grounding)을 제공하는 병렬의 시각적 예시 경로를 함께 사용한다. 텍스트 개념과 시각적 예시 모두 고정된 SAM3 백본의 분할 능력을 활성화하는 데 사용된다. 표준 ICS 벤치마크에 대한 광범위한 실험은 CG-ICS가 최신(state-of-the-art) 정확도를 달성할 뿐 아니라 견고성도 크게 향상시켜, 다양한 참조 선택에 걸쳐 분산이 크게 감소한 더욱 신뢰할 수 있는 ICS 시스템을 제공함을 보여준다. 코드는 https://github.com/Kakarot1103/CG-ICS 에서 확인할 수 있다.
SAM3의 개념 분할 기능을 의료 영상에 활용하기 위해 외부 모듈이나 재학습 없이 소수의 레이블 이미지만으로 전이 가능한 시각 개념 임베딩을 자동 탐색하는 Mask to Concept(M2C) 프레임워크를 제안한다. Hybrid Uncertainty Estimation(HUE) 모듈을 통해 불확실한 샘플을 선별해 인간 수정 후 임베딩을 지속 개선하는 능동 학습 루프를 형성하며, Kvasir-SEG와 ISIC-2017 벤치마크에서 기존 퓨샷 분할 SOTA 대비 각각 4.2%, 11.8% 이상의 Dice 성능 향상을 달성했다.
우리는 ICRA 2026 GOOSE 2D 세밀 의미 분할 챌린지에서 4위를 기록한 참가 작품을 설명하며, 공식 1,815장 테스트 세트에서 복합 평균 Intersection-over-Union(mIoU) 69.73%를 달성했다. 우리 모델은 최근 시각 기초 모델(visual foundation model)인 Segment Anything Model 3(SAM3)의 이미지 인코더를 경량 디코더와 함께 적응시킨다. 이를 넘어, 우리는 두 가지 기법과 하나의 실증적 발견을 제시한다: (i) 우리 모델보다 성능이 더 좋은 클래스에서 정답 바운딩 박스로 프롬프트한 SAM3 자체를 교사로 재사용하는 자기 증류 방식; (ii) 모델 입력이 아닌 이미지를 재스케일함으로써 고정 입력 크기 모델의 다중 스케일 추론을 복원하는 이미지 수준 다중 스케일 테스트 시간 증강 방식; (iii) 2025 GOOSE 2D 우승 작품의 공격적 광도 왜곡(photometric distortion)을 우리 파이프라인에 이식했을 때 그것이 단일 최대 개선 원천임을 밝힌 발견.