arXiv:2610.08414v1 cs.CV

프라이버시 친화적인 AIoT를 위한 이미지 비트스트림 세밀한 이해

Image Bitstream Fine-grained Understanding for Privacy-Friendly AIoT

Zhen Yu, Wenyang Liu, Kejun Wu, Chengwang Xiao, Renjie Qiao, Chengtao Cai

제출 2026-10-06

한국어 초록

이미지 비트스트림 세밀한 이해(Image Bitstream Fine-grained Understanding, IBFU)는 인코딩된 이미지 바이트 시퀀스로부터 세밀한 분류(classification) 및 의미론적 설명 생성을 직접 수행하는 것을 목표로 합니다. 픽셀 도메인에서 이루어지는 기존의 시각적 이해와 달리, IBFU는 이미지를 픽셀 도메인으로 완전히 디코딩하지 않고 의미론적 분석을 수행합니다. 추론(inference) 과정에서 픽셀 수준의 시각적 콘텐츠가 명시적으로 재구성되지 않으므로, 이 패러다임은 처리 파이프라인 내 시각적 노출을 줄여 프라이버시 친화적인 사물지능(AIoT) 애플리케이션에 적합합니다. 본 논문에서는 IBFU에 맞춤 설계된 새로운 파운데이션 모델(foundation model)인 Bitstream Fine-grained Generator(BFG)를 제안합니다. BFG는 비트스트림 시맨틱 인코더(Bitstream Semantic Encoder, BSeE)와 세밀한 시맨틱 생성기(Fine-grained Semantic Generator, FSeG)라는 두 가지 주요 구성 요소로 이루어져 있습니다. BSeE는 명시적인 픽셀 재구성 없이 인코딩된 이미지 비트스트림으로부터 의미론적 표현을 직접 모델링하며, FSeG는 자기회귀(autoregressive) 생성을 통해 추출된 비트스트림 의미론적 정보를 상세한 자연어 설명으로 변환합니다. 이미지 비트스트림이 전송 및 저장 과정에서 손상될 수 있는 실제 AIoT 시나리오에서 BFG를 학습(training)하고 IBFU를 종합적으로 평가(evaluation)하기 위해, 여러 손상 유형과 심각도 수준에 걸쳐 온전한 비트스트림과 손상된 변형을 모두 포함하는 대규모 손상 비트스트림 세밀한 이해 데이터셋(Corrupted-bitstream Fine-grained Understanding dataset, CFU-D)을 구축합니다. 실험 결과, BFG는 비트스트림 손상 상황에서도 안정적인 세밀한 캡션 생성을 유지하는 것으로 나타났습니다. 예를 들어, Stanford Dogs Caption 데이터셋에서 평균 CIDEr 점수 기준으로 성능이 0.6339에서 0.6077로 소폭만 변화한 반면, Qwen-VL-Chat, BLIP-2, GLM, Gemini, GPT와 같은 비전-언어(vision-language) 모델들은 심각한 성능 저하를 겪었습니다. 본 논문은 AIoT에서 프라이버시 친화적인 세밀한 이해를 위한 실용적인 패러다임을 제공합니다.

원문 초록

Image Bitstream Fine-grained Understanding (IBFU) aims to directly perform fine-grained classification and semantic description generation from encoded image byte sequences. In contrast to conventional pixel-domain visual understanding, IBFU conducts semantic analysis without fully decoding images into the pixel domain. Since pixel-level visual content is not explicitly reconstructed during inference, this paradigm reduces visual exposure within the processing pipeline and suits privacy-friendly Artificial Intelligence of Things (AIoT) applications. In this paper, we propose Bitstream Fine-grained Generator (BFG), a novel foundation model tailored for IBFU. BFG consists of two main components: a Bitstream Semantic Encoder (BSeE) and a Fine-grained Semantic Generator (FSeG). BSeE directly models semantic representations from encoded image bitstreams without explicit pixel reconstruction, while FSeG transforms the extracted bitstream semantics into detailed natural-language descriptions through autoregressive generation. To train BFG and comprehensively evaluate IBFU in practical AIoT scenarios, where image bitstreams may suffer corruption during transmission and storage, we construct a large-scale Corrupted-bitstream Fine-grained Understanding dataset (CFU-D), containing both intact bitstreams and corrupted variants across multiple corruption types and severity levels. Experiments show that BFG maintains stable fine-grained caption generation under bitstream corruption. For example, the performance only has slight change from 0.6339 to 0.6077 in terms of average CIDEr score on Stanford Dogs Caption dataset, while vision-language models, such as Qwen-VL-Chat, BLIP-2, GLM, Gemini, and GPT suffer severe performance decrease. This paper provides a practical paradigm for privacy-friendly fine-grained understanding in AIoT.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08414v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.