arXiv:1708.02459

Weakly Supervised Image Annotation and Segmentation with Objects and Attributes

Zhiyuan Shi, Yongxin Yang, Timothy M. Hospedales, Tao Xiang

제출 2017-08-08

원문 초록

We propose to model complex visual scenes using a non-parametric Bayesian model learned from weakly labelled images abundant on media sharing sites such as Flickr. Given weak image-level annotations of objects and attributes without locations or associations between them, our model aims to learn the appearance of object and attribute classes as well as their association on each object instance. Once learned, given an image, our model can be deployed to tackle a number of vision problems in a joint and coherent manner, including recognising objects in the scene (automatic object annotation), describing objects using their attributes (attribute prediction and association), and localising and delineating the objects (object detection and semantic segmentation). This is achieved by developing a novel Weakly Supervised Markov Random Field Stacked Indian Buffet Process (WS-MRF-SIBP) that models objects and attributes as latent factors and explicitly captures their correlations within and across superpixels. Extensive experiments on benchmark datasets demonstrate that our weakly supervised model significantly outperforms weakly supervised alternatives and is often comparable with existing strongly supervised models on a variety of tasks including semantic segmentation, automatic image annotation and retrieval based on object-attribute associations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13935v1cs.CV공통 태그 Retrieval, Semantic Segmentation

숨바꼭질(Hide and Seek): 블랙박스 모델의 설명을 찾기(SEEK) 위해 개념을 숨기기(HIDE)

Hide and Seek: HIDE Concepts to SEEK explanations for black box models

머신러닝 모델의 예측을 해석하는 것은 특히 블랙박스 비전 모델에서 핵심적인 과제입니다. 개념 기반 기여도 분석(concept-based attribution) 방법은 사람이 이해할 수 있는 개념을 사용하여 모델을 해석합니다. 기존의 개념 기반 방법들은 분류(classification) 및 회귀 모델만을 해석할 수 있습니다. 또한 모델 가중치에 대한 접근이나 대규모 개념 주석 데이터셋을 필요로 하며, 대부분의 방법은 이미지 수준의 기여도를 제공하지 못합니다. 본 논문에서는 모델 가중치 접근이나 라벨이 지정된 개념 데이터셋 없이도 동작하는 새로운 개념 수준 기여도 분석 방법인 Hide and Seek(HnS)를 제안합니다. HnS는 광범위한 비전 모델을 해석할 수 있습니다. 개념과 이미지 세트가 주어지면, HnS는 비전-언어 모델(VLM)을 사용하여 개념과 일치하는 이미지를 검색하고, 각 이미지 내에서 해당 개념의 위치를 특정(localize)한 뒤, 해당 영역을 마스킹하고, 원본 이미지와 마스킹된 이미지 간의 블랙박스 모델 출력 변화로부터 기여도를 측정합니다. 이를 통해 모델의 동작을 직접 측정하고 국소적(local) 기여도를 지원함으로써 충실한 기여도 분석을 가능하게 합니다. 저자들은 CelebA와 COCO-Stuff에서 HnS를 검증했습니다. 기존 방법들과 비교했을 때, HnS는 정답(ground-truth) 기여도와 더 높은 일치도를 보였습니다. 또한 기존의 개념 기여도 분석 방법을 적용할 수 없었던 이미지 캡셔닝 및 위성 이미지 분할(image segmentation)을 포함한 다양한 태스크에서 HnS의 적용 가능성을 입증했습니다. 익명화된 코드는 보충 자료(supplementary material)에 제공되었습니다.

arXiv:2610.10722v1cs.CV공통 태그 Object, Attribute

LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용

LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation

본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.

arXiv:2610.03187v1cs.DC공통 태그 Semantic Segmentation, Object Detection

로봇 안내견을 위한 경량 및 자원 효율적 인지

Lightweight and Resource-Efficient Perception for Robotic Guide Dogs

다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.

arXiv:2610.03218v1cs.CV공통 태그 Semantic Segmentation, Object Detection

VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현

VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models

마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.