PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09583v2cs.CV

위에서 본 프롬프트 기반 개념 분할: 원격 탐사에서 SAM 3의 제로샷 텍스트 및 시각 프롬프팅 평가

Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing

Segment Anything Model 3(SAM 3)와 같은 대규모 파운데이션 모델은 개방형 어휘와 무학습 컴퓨터 비전으로의 전환을 약속한다. 그러나 이러한 모델이 지구 관측 영상의 하향식 기하 구조라는 분포 외 영역으로 일반화하는 능력은 아직 거의 정량화되지 않았다. 우리는 미세 조정 없이 원격 탐사 장면 분류, 객체 탐지, 인스턴스 분할에 걸쳐 SAM 3를 다중 과제로 경험적으로 평가한다. 장면 분류에서는 분리된 이진 존재 헤드(binary presence head)를 독립적인 제로샷 분류기로 재활용한다. 탐지와 분할에서는 텍스트 프롬프트와 시각 프롬프트를 비교하며, 여기서 시각 프롬프트는 분할 대상 이미지 안에 있는 목표 클래스의 실제 인스턴스 하나를 제시한다. 텍스트만 사용하면 성능이 낮고, 시각 프롬프트를 추가하면 정확도가 크게 오르며, 둘을 결합하면 과제에 따라 정확도가 오르기도 하고 내리기도 한다. 또한 동일한 평가 프로토콜에서 SAM 3의 텍스트 전용 성능을 여러 일반 도메인 개방형 어휘 탐지 및 분할 모델과 비교한 결과, 두 벤치마크 모두에서 모든 모델을 앞선다. 그럼에도 시각 프롬프트가 없을 때의 정확도는 여전히 제한적이며, 이는 향후 연구 방향으로서 매개변수 효율적 미세 조정의 필요성을 시사한다.

arXiv:2609.24226v1cs.CV

SRPR-Net: 자동 SAM 기반 인스턴스 분할을 위한 의미 및 관계형 프롬프트 정제

SRPR-Net: Semantic and Relational Prompt Refinement for Automated SAM-based Instance Segmentation

인스턴스 분할(instance segmentation)은 다양한 실세계 응용을 갖는 컴퓨터 비전(CV)의 기본 과제이다. 최근 프롬프트 기반 기초 모델(foundation model)이 유망한 일반화 성능을 보여 주었다. 그러나 자동 프롬프트 생성은 의미적 안내의 부족과 인스턴스 간 모델링의 한계로 여전히 제약을 받는다. 이 문제를 해결하기 위해, 우리는 자동 SAM 기반 인스턴스 분할을 위한 새로운 아키텍처인 Semantic Relational Prompt Refinement Network(SRPR-Net)를 제안한다. 순차적 프롬프트 정제 메커니즘을 도입하여 검출기 기하를 비전-언어 의미로 보강한 뒤 동일 이미지 내 인스턴스 종속성을 반영하고, SAM 분할 전 문맥 인식적 박스 조정을 가능하게 한다. 여러 표준 벤치마크에서의 실험은 SRPR-Net이 기존 최신(state-of-the-art) 방법 대비 분할 성능에서 일관된 향상을 달성함을 보여 준다. 코드는 https://github.com/JeremyXSC/SRPR-Net 에서 공개되어 있다.

arXiv:2607.21881v1cs.CV

Residual U-Net과 텍스트 프롬프트 SAM 3 정제를 이용한 1m NAIP 영상 기반 농지 범위 및 가시적 경계 매핑

Farmland Extent and Visible Boundary Mapping from 1 m NAIP Imagery Using Residual U-Net and Text-Prompted SAM 3 Refinement

농경지 지도는 종종 독점적이거나 불완전하거나 구식이지만, 작물 모니터링, 생산량 산정, 토지 전환 분석을 위한 공간적 틀을 제공한다. 본 연구는 1m NAIP RGB 영상으로부터 농지 범위와 가시적 경계를 매핑하는 재현 가능한 워크플로를 제시한다. 개방형 농경지, 도시 주변 교차 지역, 반건조 관개 구조, 단편화된 모자이크를 아우르는 37개 장면을 CVAT에서 주석 처리하고 이진 마스크로 변환했다. 겹치지 않는 256×256 패치로 5,698개 샘플을 생성했으며, 원본 장면별로 학습 3,850개, 검증 770개, 테스트 1,078개 패치로 분할했다. Dice 중심 손실 L = 2.5(1 - Dice) + BCE로 학습한 Residual U-Net(ResUNet)은 테스트에서 정확도 0.8808, IoU 0.8605, Dice 0.9234, 정밀도 0.8766, 재현율 0.9794를 달성했다. "agricultural farmland field" 텍스트 프롬프트를 사용한 고정(frozen) SAM 3 분기를 논리 OR로 ResUNet과 융합했다. 선택된 어려운 패치에서 Dice는 0.858에서 0.955(과수원 줄)로, 0.804에서 0.903(단편화된 필지)로 향상되었다. 슬라이딩 윈도우 스티칭으로 일관된 지역 마스크를 생성했으며(예시 타일 Dice 0.898 및 0.919). 본 산출물은 지적 필지 지도가 아닌 의미론적 농지 범위 층이며, 현재 농경지 층을 이용할 수 없는 곳에서의 농업 모니터링을 지원한다.

arXiv:2606.21863v2cs.CV

원격 탐사 개방 어휘 의미 분할을 위한 프롬프트 보정 SAM 3

Prompt-Calibrated SAM 3 for Open-Vocabulary Remote Sensing Semantic Segmentation

원격 탐사 영상에서의 개방 어휘 의미 분할(OVSS)은 고정된 레이블 공간을 넘어서는 범주를 분할하는 것을 목표로 한다. 최근 SAM 3 기반 방법들은 학습 없는(training-free) 유망한 기반을 제공하지만, 세 가지 핵심 문제가 남아 있다: (1) 단일 클래스명 프롬프트는 복잡한 원격 탐사 범주에 대한 충분한 의미적 포괄성을 갖지 못한다; (2) 각 범주를 여러 프롬프트로 확장하면 중복적인 온라인 텍스트 인코딩이 발생한다; (3) 여러 프롬프트 응답을 직접 집계하면 노이즈가 있는 활성화가 최종 예측으로 전파된다. 이 문제들을 해결하기 위해, 우리는 원격 탐사 OVSS를 위해 SAM 3의 프롬프트 인터페이스를 세 가지 상호 보완적인 측면에서 보정하는 ProC-SAM3를 제안한다. 첫째, 오프라인 프롬프트 풀을 구성하는데, Category Matcher가 MLLM 생성 후보들을 범주별 집합으로 그룹화하고, Expansion Constraints가 범주별 사전 지식을 사용하여 각 집합을 더 정제한다. 둘째, 결과 텍스트 임베딩(embedding)을 캐시하여 모든 테스트 영상에서 재사용함으로써 반복적인 텍스트 인코딩을 제거한다. 셋째, 프롬프트 존재 여부와 신뢰도에 따라 신뢰할 수 없는 디코더 출력을 게이트하는 Presence-Guided Residual Fusion을 도입하고, 이어서 작고 희소한 객체에 대한 세밀한 활성화를 유지하는 피크 보존 클래스 집계를 수행한다. 8개 벤치마크에서의 실험 결과, ProC-SAM3는 평균 mIoU 56.1%를 달성하여, 이전 최고의 학습 없는 방법보다 3.9%p 높은 성능을 보인다. 코드는 https://github.com/YanghuiSong/ProC-SAM3에서 제공될 예정이다.

arXiv:2607.14287v1cs.CV

XCT-SAM: 산업 XCT 결함 분할을 위한 SAM의 순차적 매개변수 효율 도메인 적응

XCT-SAM: Sequential Parameter-Efficient Domain Adaptation of SAM for Industrial XCT Defect Segmentation

적층 제조(additive manufacturing, AM) X선 컴퓨터 단층촬영(X-ray computed tomography, XCT) 영상에서의 결함 분할은 클래스 불균형이 심하고 스캔 조건에 따른 분포 변화가 크기 때문에 여전히 어려운 과제이다. 최근 Segment Anything Model(SAM)과 같은 파운데이션 모델이 범용 분할 사전지식을 강력하게 제공하지만, 자연 영상 사전학습은 결함이 미세하고 비의미적(non-semantic) 미세구조 이상으로 나타나는 AM XCT 도메인으로는 잘 전이되지 않는다. 또한 SAM을 AM 도메인에 적응시키는 것은 도메인 간격이 크고 라벨이 붙은 실제 XCT 데이터가 부족하다는 점에서 더욱 제한된다. 우리는 AM XCT 결함 분할을 위한 순차적 매개변수 효율적 적응 프레임워크인 XCT-SAM을 제안한다. 자연 영상에서 XCT 데이터로 SAM을 직접 적응시키는 대신, 먼저 합금 미세구조 데이터셋에서 Conv-LoRA 어댑터를 파인튜닝하고, 이후 적응된 모델을 XCT 영상으로 전이하여 도메인 간격을 점진적으로 줄인다. rank r=2의 Conv-LoRA 어댑터를 사용하여, 이 프레임워크는 SAM 백본에 합성곱 공간적 귀납적 바이어스(inductive bias)를 주입하면서 약 4.15M 매개변수만 학습하고 모델의 99% 이상을 고정(frozen)한다. XCT-SAM을 분포 외(out-of-distribution) CycleGAN-XCT 벤치마크와 실제 NIST XCT 스캔에서 평가한다. 두 설정 모두에서 XCT-SAM은 제로샷(zero-shot) SAM 및 기타 도메인 적응 SAM 기준선을 일관되게 능가하며, 전체 IoU 및 Dice 점수에서 최고 성능을 달성한다. 이러한 결과는 산업 XCT 결함 분할에서 매개변수 효율적 어댑터를 이용한 중간 도메인 적응의 효과를 보여준다. 소스 코드는 https://github.com/Mahedi-61/XCT-SAM.git 에서 공개되어 있다.

arXiv:2607.11732v1cs.CV

GFR-SAM: 교차 이미지 프롬프팅을 통한 학습 없는 참조 기반 위장 객체 분할

GFR-SAM: Training-Free Referring Camouflaged Object Segmentation via Cross-Image Prompting

참조 기반 위장 객체 검출(Ref-COD)은 참조 단서에 따라 숨겨진 대상을 분할하는 작업이다. 지도 학습 방법은 어노테이션 비용이 크고, 희소 포인트 프롬프팅 기반의 학습 불필요 접근법은 위치 추정 오류에 민감하다는 한계가 있다. 이를 극복하기 위해 우리는 강건한 3단계 학습 없는 프레임워크인 GFR-SAM을 제안한다. GFR-SAM은 취약한 포인트 매칭 패러다임에서 벗어나 "생성-필터링-정제(Generate-Filter-Refine)" 파이프라인으로 전환한다. 첫째, 컨텍스트 내 예시 기반 분할(In-Context Exemplar-guided Segmentation)을 도입하여 SAM3에 교차 이미지 추론 능력을 부여하고, 전체적인 시각적 예시를 통해 후보 마스크를 생성함으로써 SAM3 본래의 이미지 내부 제약을 우회한다. 둘째, 영역-전역 대조 필터링(Region-Global Contrastive Filtering) 모듈이 DINOv3 기반 프로토타입 정렬을 통해 후보를 순위화하여 배경 방해 요소를 효과적으로 억제한다. 마지막으로, 기하학적-의미론적 정제(Geometric-Semantic Refinement) 모듈이 경계 상자와 텍스트 프롬프트를 결합하여 세밀한 경계를 복원하고 인스턴스 재현율을 향상시킨다. R2C7K 벤치마크에서 GFR-SAM은 기존 학습 불필요 방법 대비 가중 F-척도($F_β^w$)에서 8.7% 높은 성능을 달성하며, 지도 학습 기반 최신 방법들과도 경쟁력 있는 성능을 보인다. 본 연구는 교차 이미지 컨텍스트 내 프롬프팅을 위한 SAM3의 잠재 능력을 활성화할 가능성을 제시하며, 과제별 미세조정 없이 범용 기반 모델과 특화된 레이블 집약적 인식 과제 간의 간극을 효과적으로 메우는 강건한 학습 없는 패러다임을 확립한다.

arXiv:2607.09082v1cs.CV

REBASE: 학습 없는 인컨텍스트 분할을 위한 참조-배경 부분공간 제거

REBASE: Reference-Background Subspace Elimination for Training-Free In-Context Segmentation

학습 없는(training-free) 인컨텍스트 분할(in-context segmentation)은 단일 어노테이션된 참조 이미지로부터 추론 시점에 새로운 객체 카테고리를 도입할 수 있게 하여, 클래스 증분 학습(class-incremental learning)의 재학습 및 메모리 오버헤드를 제거한다. 최근 접근 방식은 의미론적 대응(semantic correspondence)을 위한 비전 파운데이션 모델과 SAM과 같은 프롬프터블(promptable) 분할 네트워크를 결합하여 이를 달성한다. 그러나 이들의 성능은 근본적으로 이미지 간 유사도 맵의 품질에 의해 제한된다. 참조 이미지와 쿼리 이미지 간에 공유되는 문맥적 배경이 비목표 영역의 유사도를 체계적으로 높여 프롬프트 위치 지정을 저하시킨다. 우리는 이러한 허위 문맥적 대응을 명시적으로 억제하는 학습 없는 프레임워크인 REBASE를 제안한다. 본 방법은 참조 이미지에서 저랭크 배경 특징 부분공간을 식별하고, 참조 및 쿼리 특징을 닫힌 형태(closed form)로 그 직교 여공간(orthogonal complement)에 투영하여 더 깔끔한 의미론적 매칭을 도출한다. 이후 정제된 밀집 유사도 사전 정보와 결합된 유사도 가중 최원점 샘플링(farthest-point sampling)을 사용하여 양성 포인트 프롬프트를 생성한다. 어떠한 학습이나 매개변수 업데이트 없이, 본 접근법은 PACO-Part, FSS-1000, ISIC2018과 같은 크로스 도메인 데이터셋에서 학습 없는 방법들 중 새로운 최첨단 성능을 달성하며, 명시적 배경 부분공간 제거가 원샷 위치 지정에 매우 효과적인 원칙임을 입증한다.

arXiv:2510.15849v3cs.CV

Memory-SAM: 검색-투-프롬프트를 통한 사람 프롬프트 없는 혀 분할

Memory-SAM: Human-Prompt-Free Tongue Segmentation via Retrieval-to-Prompt

정확한 혀 분할은 신뢰할 수 있는 한의학(TCM) 분석에 필수적이다. 지도 학습 모델은 대규모 주석 데이터셋을 요구하며, SAM 계열 모델은 여전히 프롬프트 기반으로 동작한다. 우리는 Memory-SAM을 제안한다. 이는 학습이 불필요하고 사람 프롬프트도 필요 없는 파이프라인으로, 조밀한 DINOv3 특징과 FAISS 검색을 통해 소수의 이전 사례 메모리로부터 효과적인 프롬프트를 자동으로 생성한다. 쿼리 이미지가 주어지면, 검색된 예시 이미지와의 마스크 제약 대응 관계가 전경/배경 포인트 프롬프트로 증류되어, 수동 클릭이나 모델 미세조정 없이 SAM2를 안내한다. 우리는 전문가가 주석을 단 600개의 이미지(통제 환경 300개, 실제 환경 300개)에서 평가한다. 혼합 테스트 분할에서 Memory-SAM은 mIoU 0.9863을 달성하여, FCN(0.8188)과 검출기-박스 SAM 기준선(0.1839)을 능가한다. 통제 환경 데이터에서는 주석 변동성을 고려할 때 0.98 이상의 천장 효과로 인해 작은 차이가 덜 의미 있는 반면, 우리의 방법은 실제 환경 조건에서 명확한 성능 향상을 보인다. 결과는 검색-투-프롬프트가 혀 영상에서 불규칙한 경계의 데이터 효율적이고 견고한 분할을 가능하게 함을 나타낸다. 코드는 https://github.com/jw-chae/memory-sam에서 공개적으로 이용 가능하다.

arXiv:2504.15650v3cs.CV

AffordanceSAM: 어포던스 그라운딩에서 SAM을 다시 한번 활용하기

AffordanceSAM: Segment Anything Once More in Affordance Grounding

객체의 행동 가능한 영역을 식별하는 범용 어포던스 그라운딩(affordance grounding) 모델을 구축하는 것은 실세계 응용에서 매우 중요하다. 이 모델을 학습시키는 기존 방법은 약지도(weakly supervised) 방식과 완전지도(fully supervised) 방식으로 나눌 수 있다. 그러나 전자는 복잡한 학습 프레임워크 설계를 필요로 하며, 보조적인 사전 지식(auxiliary prior) 없이는 새로운 행동을 추론할 수 없다. 반면 후자는 더 단순함에도 불구하고, 제한된 어노테이션 데이터와 처음부터 학습하는 컴포넌트로 인해 어려움을 겪는 경우가 많다. 본 연구는 완전지도 어포던스 그라운딩에 집중하고, SAM의 세그멘테이션 일반화 능력을 어포던스 그라운딩으로 확장하는 AffordanceSAM을 제안하여 이러한 한계를 극복한다. 구체적으로, 어포던스 적응(affordance-adaption) 모듈을 설계하고 C2F-Aff라는 거칠고 세밀한(coarse-to-fine) 어노테이션 데이터셋을 구축하여, 3단계 학습 방식으로 SAM의 강건한 성능을 어포던스 영역으로 완전히 이전한다. 실험 결과, AffordanceSAM은 AGD20K 벤치마크에서 최첨단(SOTA) 성능을 달성하고 강한 일반화 능력을 보임을 확인하였다.

arXiv:2607.02571v1cs.CV

Dual-Adaptive SAM3: 매개변수 효율적 의료 이미지 분할을 위한 저랭크 전문가 레이어 기반 계층적 라우팅

Dual-Adaptive SAM3: Hierarchical Routing over Low-Rank Expert Layers for Parameter-Efficient Medical Image Segmentation

개념 기반 Segment Anything Model(SAM3)은 자연어 상호작용을 통한 오픈-어휘(open-vocabulary) 분할의 새로운 패러다임을 제시하며, 의료 영상 분석에 있어 상당한 잠재력을 보여준다. 그러나 이처럼 강력한 비전-언어 모델을 다양하고 복잡한 의료 영상 도메인에 효과적으로 적응시키는 것은 여전히 핵심 과제로 남아 있다. 단순한 미세조정(fine-tuning)은 매개변수(parameter) 비효율적이며, 표준 전문가 혼합(MoE) 방식은 과도한 연산 오버헤드를 유발하여 임상 적용성을 제한한다. 이를 해결하기 위해 우리는 이중 적응 특화 메커니즘을 통해 높은 분할 정확도와 극도의 매개변수 효율성을 동시에 달성하는 새로운 프레임워크 Dual-Adaptive SAM3(DA-SAM3)를 제안한다. 첫 번째 적응은 태스크 인식 기반으로, 시각적 입력과 텍스트 개념 프롬프트(prompt)를 함께 추론하여 가장 관련성 높은 전문가를 희소하게 활성화하는 동적 전문가 라우터(Dynamic Expert Router, DER)이며, 이는 임상 협진 과정을 모방한다. 두 번째 적응은 매개변수 인식 기반으로, 각 전문가를 사전학습된 SAM3에서 상속한 공유 동결 베이스와 경량의 학습 가능한 저랭크 델타로 표현하는 분해 매개변수화 전문가(Decomposed Parameterized Experts, DPE) 설계이며, 이를 통해 MoE 매개변수 오버헤드를 80% 이상 절감한다. 다수의 공개 의료 이미지 분할(image segmentation) 벤치마크에 대한 광범위한 실험 결과, Dual-Adaptive SAM3는 완전 미세조정된 SAM3 및 표준 MoE 기준 모델(baseline)의 정확도를 대등하게 따라가거나 능가할 뿐만 아니라, 현재 최고 수준(state-of-the-art) 방법 대비 주목할 만한 5% 성능 향상을 달성하였으며, 해석 가능한 결과를 통해 그 효과가 검증되었다. 코드는 https://github.com/Reconsider80/DA-SAM3 에서 확인할 수 있다.

arXiv:2603.25168v2cs.CV

ET-SAM: 통합 장면 텍스트 검출 및 레이아웃 분석을 위한 SAM 기반 효율적 포인트 프롬프트 예측

ET-SAM: Efficient Point Prompt Prediction in SAM for Unified Scene Text Detection and Layout Analysis

Segment Anything Model(SAM) 기반 기존 연구들은 통합 장면 텍스트 검출 및 레이아웃 분석에서 유망한 성능을 달성해 왔다. 그러나 수천 개의 전경 포인트를 프롬프트로 샘플링하기 위해 픽셀 수준 텍스트 분할(segmentation)에 일반적으로 의존하는 방식은 만족스럽지 못한 추론 지연과 제한된 데이터 활용을 초래한다. 이러한 문제를 해결하기 위해, 우리는 SAM 기반 통합 장면 텍스트 검출 및 레이아웃 분석을 위한 두 개의 디코더를 갖춘 효율적 프레임워크 ET-SAM을 제안한다. 기술적으로, 우리는 소수의 전경 포인트를 확보하기 위해 단어 히트맵(word heatmap)을 생성하는 경량 포인트 디코더를 맞춤 설계하여, 과도한 포인트 프롬프트를 제거하고 추론을 가속한다. 픽셀 수준 분할에 대한 의존 없이, 우리는 이질적인 텍스트 수준 주석을 가진 기존 데이터를 활용하기 위한 공동 학습 전략을 추가로 설계한다. 구체적으로, 다중 수준, 단어 수준만, 줄 수준만 주석을 가진 데이터셋들을 병렬로 결합하여 통합 학습 세트를 구성한다. 이러한 데이터셋에 대해, 데이터셋 간 불일치를 완화하기 위해 포인트 디코더와 계층적 마스크 디코더 모두에 세 가지 대응하는 학습 가능한 태스크 프롬프트 세트를 도입한다. 광범위한 실험 결과, 이전 SAM 기반 아키텍처와 비교하여 ET-SAM은 HierText에서 경쟁력 있는 성능을 유지하면서 약 3배의 추론 가속을 달성했으며, Total-Text, CTW1500, ICDAR15에서 평균 11.0% F-score를 향상시켰음을 보여준다.

arXiv:2606.21108v1cs.CV

SARIF: 강건한 이미지 포렌식을 위한 Segment Anything

SARIF: Segment Anything for Robust Image Forensics

이미지 위조 영역定位은 다양한 조작 기법과 분포 변화(distribution shift)로 인해 여전히 어려운 과제이다. 기존 위조 영역定位 모델들은 벤치마크에서 높은 정확도를 달성하지만, 교차 도메인 일반화(cross-domain generalization)와 강건성(robustness)에서는 종종 어려움을 겪는다. 본 논문에서는 SARIF(Segment Anything for Robust Image Forensics)를 제안한다. 이는 프롬프트 가능한 아키텍처와 강한 일반화 능력을 갖춘 Segment Anything Model(SAM)을 활용하는 프레임워크이다. SARIF는 SAM 아키텍처를 활용하면서 포렌식 흔적을 포착하기 위해 위조 특화 정보를 추출하는 피드백 유도(feedback-guided) 마스크 디코더와 이중 인코더(dual-encoder) 설계를 도입한다. 조작된 영역을定位하기 위해, 적응(adapted) 인코더와 동결(frozen)된 대응 인코더 간 잔차 특징(residual features)으로부터 위조 특화 단서를 도출하는 블록 단위(block-wise) 프롬프트 메커니즘을 설계한다. 이러한 특징은 이전 마스크 프롬프트와 융합되어 피드백 기반 마스크 정제 과정을 구동하며, 수동 입력 없이 자동 위조 분할(forgery segmentation)을 가능하게 한다. 표준 위조 영역定位 벤치마크에 대한 광범위한 실험 결과, SARIF는 강한 평균 교차 데이터셋 성능과 일반적인 이미지 손상(image corruption)에 대한 강건성을 달성함을 보여준다.