위장 객체 검출(camouflaged object detection)을 위한 CamoDiffusion 프레임워크의 발전된 형태인 Bi-CamoDiffusion을 소개한다. 이 모델(model)은 매개변수(parameter)가 필요 없는 주입 과정을 통해 초기 임베딩(embedding)에 에지 사전 정보(edge priors)를 통합하여 경계의 선명도를 높이고 구조적 모호성을 방지한다. 또한 공간적 정확도, 구조적 제약 조건, 불확실성 지도를 통합하는 최적화(optimization) 목적 함수를 제안하여, 모델이 객체의 전역적 문맥과 복잡한 경계 전이 영역을 모두 포착할 수 있도록 한다. CAMO, COD10K, NC4K 데이터셋(dataset)에 걸친 평가(evaluation)에 따르면 Bi-CamoDiffusion은 기준선(baseline)을 능가하여 얇은 구조와 돌출부를 더욱 선명하게 묘사하는 동시에 오탐(false positive)을 최소화한다. 해당 모델은 $S_m$, $F_β^{w}$, $E_m$, $MAE$를 포함한 모든 평가 지표에서 기존 SOTA(state-of-the-art) 방법들을 일관되게 능가하며, 더욱 정밀한 객체-배경 분리와 선명한 경계 복원 성능을 입증한다. 코드는 https://github.com/plsuarez/Bi-CamoDiffusion 에서 확인할 수 있다.
본 논문에서는 위장 잡초 검출을 위해 설계된 효율적인 모델인 FCBNet을 소개한다. 이 아키텍처는 완전히 고정된(frozen) ConvNeXt 백본, 특징(feature) 정제를 위해 효율적인 합성곱을 활용하는 제안된 특징 교정 블록(Feature Correction Block, FCB), 그리고 경량 디코더를 기반으로 한다. FCBNet은 RGB 및 다중 분광(multispectral) 양식 모두에서 WeedBananaCOD 및 WeedMap 데이터셋을 통해 평가되었으며, mIoU 측면에서 85%를 초과하여 U-Net, DeepLabV3+, SK-U-Net, SegFormer, WeedSense와 같은 모델들을 능가하는 동시에, 학습(training)에 단 0.06~0.2시간만을 필요로 하여 뛰어난 연산 효율성을 달성함을 보여준다. 또한, 백본 고정 전략을 통해 학습 가능한 매개변수 수를 90% 이상 줄여 메모리 요구량을 크게 낮춘다. 코드는 https://github.com/Leo-Thomas/fcbnet 에서 확인할 수 있다.
위장 객체 검출(COD)은 배경과 의도적으로 섞이도록 한 객체를 분할하므로, 예측은 미세한 텍스처 및 경계 단서에 의존한다. COD는 종종 엄격한 온디바이스 메모리 및 지연(latency) 예산 하에서 필요하므로, 저비트 추론이 매우 바람직하다. 그러나 COD는 공격적인 양자화가 특히 어렵다. 우리는 트랜스포머 기반 COD의 사후 학습 W4A4 양자화를 연구하고 과제 특화 절벽(cliff)을 발견한다: heavy-tailed 배경 토큰이 공유 활성화 범위를 지배하여 스텝 크기를 팽창시키고, 약하지만 구조화된 경계 단서를 zero bin으로 밀어낸다. 이는 토큰-국소 병목을 드러낸다—교차-토큰 범위 지배를 제거하고 4비트 활성화에서 zero bin 질량을 제한해야 한다. 이를 해결하기 위해 COD 인식 토큰-그룹 이중 제약 활성화 양자화 방법인 COD-TDQ를 제안한다. COD-TDQ는 두 가지 결합된 단계로 이 토큰-국소 병목을 해결한다: Direct-Sum Token-Group(DSTG)은 토큰-그룹 스케일을 할당하여 교차-토큰 범위 지배를 억제하고, Dual-Constraint Range Projection(DCRP)은 각 토큰-그룹 클립 범위를 투영하여 스텝-분산 비율과 zero bin 질량을 제한한다. 4개 COD 벤치마크와 2개 기준선 모델(CFRN 및 ESCNet)에서 COD-TDQ는 재학습 없이 최신(state-of-the-art) 양자화 방법보다 $S_α$ 점수를 일관되게 0.12 이상 높게 달성한다. 코드는 https://github.com/MCG-NKU/nku-model-compre 에서 제공된다.
참조 기반 위장 객체 검출(Ref-COD)은 참조 단서에 따라 숨겨진 대상을 분할하는 작업이다. 지도 학습 방법은 어노테이션 비용이 크고, 희소 포인트 프롬프팅 기반의 학습 불필요 접근법은 위치 추정 오류에 민감하다는 한계가 있다. 이를 극복하기 위해 우리는 강건한 3단계 학습 없는 프레임워크인 GFR-SAM을 제안한다. GFR-SAM은 취약한 포인트 매칭 패러다임에서 벗어나 "생성-필터링-정제(Generate-Filter-Refine)" 파이프라인으로 전환한다. 첫째, 컨텍스트 내 예시 기반 분할(In-Context Exemplar-guided Segmentation)을 도입하여 SAM3에 교차 이미지 추론 능력을 부여하고, 전체적인 시각적 예시를 통해 후보 마스크를 생성함으로써 SAM3 본래의 이미지 내부 제약을 우회한다. 둘째, 영역-전역 대조 필터링(Region-Global Contrastive Filtering) 모듈이 DINOv3 기반 프로토타입 정렬을 통해 후보를 순위화하여 배경 방해 요소를 효과적으로 억제한다. 마지막으로, 기하학적-의미론적 정제(Geometric-Semantic Refinement) 모듈이 경계 상자와 텍스트 프롬프트를 결합하여 세밀한 경계를 복원하고 인스턴스 재현율을 향상시킨다. R2C7K 벤치마크에서 GFR-SAM은 기존 학습 불필요 방법 대비 가중 F-척도($F_β^w$)에서 8.7% 높은 성능을 달성하며, 지도 학습 기반 최신 방법들과도 경쟁력 있는 성능을 보인다. 본 연구는 교차 이미지 컨텍스트 내 프롬프팅을 위한 SAM3의 잠재 능력을 활성화할 가능성을 제시하며, 과제별 미세조정 없이 범용 기반 모델과 특화된 레이블 집약적 인식 과제 간의 간극을 효과적으로 메우는 강건한 학습 없는 패러다임을 확립한다.
Pyramid Vision Transformer 백본과 어텐션 기반 스케일 통합 유닛을 결합한 다중 스케일 재귀 네트워크(MSRNet)를 제안하여, 소형 및 다중 위장 객체 검출의 어려움을 해결한다. 재귀 피드백 디코딩 전략과 Multi-Granularity Fusion Unit으로 전역 문맥을 보강한 결과, 4개의 COD 벤치마크 데이터셋 중 2개에서 최고 성능을 달성하였다.
When Does Resolution Help a Frozen Backbone? Global Attention at Resolution Predicts Scalable Adaptation for Camouflaged and Marine Animal Segmentation
동결된 비전 파운데이션 모델을 세밀한 분할(segmentation)에 적응시키는 것은 이제 주로 백본 선택에 달려 있다. 백본이 고해상도 토큰 집합에 전역 어텐션을 적용하는지 여부가, 저랭크 어댑터가 해상도를 정확도로 전환할 수 있는지를 예측한다. 등방성 ViT는 전체 그리드에 걸쳐 전역적으로 어텐션을 적용하며 해상도에 따라 지속적으로 성능이 향상되는 반면, 계층적 백본은 초기 어텐션을 로컬 윈도우에 한정하고 전역 단계 이전에 그리드를 풀링하여 낮은 해상도에서 성능이 정체된다. 여섯 가지 백본을 대상으로 한 통제된 연구에서 이 패턴이 확립되었으며, 백본을 편집한 결과 그 원인이 드러났다. 풀링은 이점을 유지하지만, 전역 어텐션을 제거하면 그렇지 않다. 이 효과는 저랭크 적응에만 특정하게 나타난다. 하나의 고정된 파이프라인인 SALT(Side-stem, Attention-gated U-Net, Low-rank Tuning) 하에서, 강력한 등방성 백본에 대한 RGB 단일 패스만으로 데이터 매칭된 네 가지 위장 세트에서 최고의 S-measure를 달성하며, 모든 해양 및 현저성 세트에서도 선두를 차지한다. 두 해양 동물 벤치마크 모두에서 새로운 최고 성능(MAS3K mIoU 0.878)에 도달한다.