arXiv:1809.10190

Content Based Image Retrieval from AWiFS Images Repository of IRS Resourcesat-2 Satellite Based on Water Bodies and Burnt Areas

Suraj Kothawade, Kunjan Mhaske, Sahil Sharma, Furkhan Shaikh

제출 2018-09-26

원문 초록

Satellite Remote Sensing Technology is becoming a major milestone in the prediction of weather anomalies, natural disasters as well as finding alternative resources in proximity using multiple multi-spectral sensors emitting electromagnetic waves at distinct wavelengths. Hence, it is imperative to extract water bodies and burnt areas from orthorectified tiles and correspondingly rank them using similarity measures. Different objects in all the spheres of the earth have the inherent capability of absorbing electromagnetic waves of distant wavelengths. This creates various unique masks in terms of reflectance on the receptor. We propose Dynamic Semantic Segmentation (DSS) algorithms that utilized the mentioned capability to extract and rank Advanced Wide Field Sensor (AWiFS) images according to various features. This system stores data intelligently in the form of a sparse feature vector which drastically mitigates the computational and spatial costs incurred for further analysis. The compressed source image is divided into chunks and stored in the database for quicker retrieval. This work is intended to utilize readily available and cost effective resources like AWiFS dataset instead of depending on advanced technologies like Moderate Resolution Imaging Spectroradiometer (MODIS) for data which is scarce.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13935v1cs.CV공통 태그 Retrieval, Semantic Segmentation

숨바꼭질(Hide and Seek): 블랙박스 모델의 설명을 찾기(SEEK) 위해 개념을 숨기기(HIDE)

Hide and Seek: HIDE Concepts to SEEK explanations for black box models

머신러닝 모델의 예측을 해석하는 것은 특히 블랙박스 비전 모델에서 핵심적인 과제입니다. 개념 기반 기여도 분석(concept-based attribution) 방법은 사람이 이해할 수 있는 개념을 사용하여 모델을 해석합니다. 기존의 개념 기반 방법들은 분류(classification) 및 회귀 모델만을 해석할 수 있습니다. 또한 모델 가중치에 대한 접근이나 대규모 개념 주석 데이터셋을 필요로 하며, 대부분의 방법은 이미지 수준의 기여도를 제공하지 못합니다. 본 논문에서는 모델 가중치 접근이나 라벨이 지정된 개념 데이터셋 없이도 동작하는 새로운 개념 수준 기여도 분석 방법인 Hide and Seek(HnS)를 제안합니다. HnS는 광범위한 비전 모델을 해석할 수 있습니다. 개념과 이미지 세트가 주어지면, HnS는 비전-언어 모델(VLM)을 사용하여 개념과 일치하는 이미지를 검색하고, 각 이미지 내에서 해당 개념의 위치를 특정(localize)한 뒤, 해당 영역을 마스킹하고, 원본 이미지와 마스킹된 이미지 간의 블랙박스 모델 출력 변화로부터 기여도를 측정합니다. 이를 통해 모델의 동작을 직접 측정하고 국소적(local) 기여도를 지원함으로써 충실한 기여도 분석을 가능하게 합니다. 저자들은 CelebA와 COCO-Stuff에서 HnS를 검증했습니다. 기존 방법들과 비교했을 때, HnS는 정답(ground-truth) 기여도와 더 높은 일치도를 보였습니다. 또한 기존의 개념 기여도 분석 방법을 적용할 수 없었던 이미지 캡셔닝 및 위성 이미지 분할(image segmentation)을 포함한 다양한 태스크에서 HnS의 적용 가능성을 입증했습니다. 익명화된 코드는 보충 자료(supplementary material)에 제공되었습니다.

arXiv:2610.02831v1cs.AI공통 태그 Retrieval, Image Retrieval

AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.

arXiv:2609.27142v1cs.CV공통 태그 Retrieval, Image Retrieval

MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화

MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders

고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.