arXiv:2609.01200v1 cs.CV

AI 트래픽 압축: 분할 비전-언어 추론에서 시각적 토큰 표현의 표준화된 신경망 코딩

Compressing AI Traffic: Standardized Neural Network Coding of Visual-Token Representations in Split Vision-Language Inference

Reza Heidari, Hamed R. Tavakoli, Juho Kannala

제출 2026-09-01

한국어 초록

비전-언어 모델(VLM)의 시각적 인코더와 언어 디코더가 서로 다른 컴퓨팅 노드에서 실행될 때, 중간 시각적 토큰 임베딩은 내부 활성화가 아닌 통신되는 페이로드가 됩니다. 우리는 기계가 소비하는 이러한 중간 텐서를 AI 트래픽(AI traffic)이라 부르며, 이를 표준화된 학습(training) 불필요 코덱으로 어디까지 압축할 수 있는지 질문을 던집니다. 우리는 가중치, 프롬프트, 생성을 변경하지 않은 채, 주요 시각적 토큰 표현과 DeepStack 특징 스트림으로 구성된 Qwen3-VL-8B-Instruct 비디오 질문 답변 파이프라인의 전체 시각적 인터페이스에 ISO/IEC 15938-17 신경망 코딩(NNC) 왕복 처리를 삽입하고, 넓은 전송률 범위에 걸쳐 양자화 매개변수(QP)를 탐색합니다. 폐쇄형 Video-MME 정확도는 전송되는 BF16 텐서의 98% 감소까지 압축되지 않은 기준선에 가깝게 유지되다가 그 이후에야 급격히 저하되며, 개방형 MLVU 생성 역시 LLM 판정관 평가에서 동일한 고원-급락(plateau-and-collapse) 양상을 보입니다. 이러한 견고성은 무손실에 가까운 재구성 때문이 아닙니다. 디코딩된 텐서는 심하게 이산화되어 있고, 상당한 행별 상대 L2 오차를 수반하며, 원본보다 눈에 띄게 더 가파른 특이값 감쇠를 보입니다. 따라서 다운스트림 추론은 정확한 부동소수점 값이 아닌 거친 구조와 상대적 기하학적 형태에 의존하며, 이는 AI 트래픽 코덱에서 율-왜곡(rate-distortion) 최적화보다 율-과업(rate-task) 최적화가 필요함을 뒷받침합니다.

원문 초록

When the visual encoder and the language decoder of a vision-language model (VLM) run on different compute nodes, the intermediate visual-token embeddings become a communicated payload rather than an internal activation. We call such machine-consumed intermediate tensors AI traffic and ask how far they can be compressed with a standardized, training-free codec. We insert ISO/IEC 15938-17 Neural Network Coding (NNC) round trips on the complete visual interface of a Qwen3-VL-8B-Instruct video question answering pipeline, comprising the main visual-token representation and the DeepStack feature streams, while leaving weights, prompts, and generation untouched, and sweep the quantization parameter (QP) over a wide rate range. Closed-ended Video-MME accuracy remains close to the uncompressed reference up to a 98% reduction of the transmitted BF16 tensor and only then collapses; open-ended MLVU generation shows the same plateau-and-collapse profile under an LLM judge. This robustness is not due to near-lossless reconstruction: the decoded tensor is heavily discretized, carries substantial row-wise relative L2 error, and has a visibly steeper singular-value decay than its source. Downstream reasoning therefore depends on coarse structure and relative geometry rather than exact floating-point values, which argues for rate-task rather than rate-distortion optimization of AI traffic codecs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.01200v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.