의미 정보를 먼저, 픽셀은 나중에: 대역폭이 제한된 드론 영상 통신을 위한 임무 기반 이벤트 스트림
Semantics First, Pixels Later: Mission-Driven Event Streams for Drone Video over Bandwidth-Starved Links
한국어 초록
대역폭이 제한된 링크를 사용하는 감시 드론은 운용자가 필요로 하는 영상을 전송하기 어렵다. 그러나 운용자가 묻는 것은 픽셀 자체가 아닌 경우가 많다. 예를 들어 세 사람이 한곳으로 모였는지, 그 시점과 장소는 어디인지가 중요하다. 본 연구는 1Mbps부터 1kbps까지의 링크에서 어떤 정보를 어떤 순서로 보내야 하는지 조사한다. 행동 기본 요소 스트림(BPS)은 의미 정보를 먼저 보내고 픽셀을 나중에 보낸다. 기체에서 검출기와 추적기를 실행하고, 16~125바이트의 임무 카드로 선택한 여러 프레임에 걸친 이벤트를 평균 25바이트의 짧은 기록으로 만들어 위치 정보와 이미지보다 먼저 전송한다. 사전 등록한 절차와 보류 평가셋에서 지상의 언어 모델이 답할 수 있는 질문으로 성능을 측정했다. 비교 대상은 같은 모델의 비전 미세조정 버전이 읽는 H.265 영상, 지상에서 자체 인식 모듈을 적용한 H.265 영상, 양자화된 궤적 스트림, 기체에서 생성한 캡션이다. 개발 세트에서는 질문의 84%가 모여드는 행동에 관한 것이었고 대부분 한 장소를 다뤘다. 이벤트 스트림은 0.13kbps에서 질문의 74.3%에 답했다. 아무것도 받지 않은 모델은 57.4%, 영상을 읽는 모델은 100kbps에서 59.6%, 원본 프레임에서 64.7%였다. 지상에서 영상에 자체 인식 모듈을 실행하면, 영상은 스트림 전송률의 약 800배인 100kbps에서 이벤트 스트림과 비슷했고 64kbps 이하에서는 뒤처졌다. 궤적 스트림은 96배의 바이트를 쓸 때 비슷했고, 17배에서는 0.03 낮았다. 보류 데이터에서의 결과는 약했다. 주석이 있는 궤적에서 얻은 정답 이벤트를 사용하면 스트림은 100kbps의 H.265보다 0.13 앞섰다. 그러나 기체에서 인식한 이벤트를 사용하면 차이는 +0.01[−0.04, +0.06]로 뚜렷하지 않았으며, 아무것도 받지 않은 조건보다 낫지 않았다. 에뮬레이션한 링크로 이벤트 기록만 전송하면 정답률은 1Mbps에서 0.739, 0.3kbps에서도 0.724였다. 모든 프레임의 궤적을 보내는 스트림은 1kbps까지, 지상에서 인식 모듈을 적용한 영상은 약 100kbps까지 성능을 유지했다. Jetson Orin Nano에서 파이프라인을 수정하지 않고 실행하면 초당 4.5프레임을 처리했으며 대부분의 이벤트를 놓쳤다.
원문 초록
A surveillance drone on a bandwidth-starved link cannot send the video its operator would need, yet the operator's questions are often not about pixels: did three people converge, when, and where? We study what should cross a link of 1 Mbps down to 1 kbps instead, and in what order. BPS, a behavior-primitive stream, sends semantics first and pixels later: it runs a detector and a tracker onboard and sends short records (25 bytes on average) of multi-frame events selected by a mission card of 16-125 bytes, ahead of positions and pictures. We measure it by what a ground-side language model answers from it, under a preregistered protocol with a held-out set, against H.265 read by the vision fine-tune of the same model, H.265 on which the ground runs our own perception, a stream of quantized tracks, and onboard captions. On the development set (84% of questions about convergence, mostly one location) the event stream answers 74.3% of questions at 0.13 kbps. A reader that receives nothing answers 57.4%, and the video reader 59.6% at 100 kbps and 64.7% on the source frames. When the ground instead runs our perception on the video, video matches the stream at 100 kbps, about 800 times the stream's rate, and falls behind at 64 kbps and below. A track stream matches it at 96 times the bytes and loses 0.03 at 17 times. On held-out data the result is weaker: with events taken from annotated tracks, an oracle, the stream beats H.265 at 100 kbps (+0.13), but with onboard perception it does not (+0.01 [-0.04, +0.06]) and is no better than receiving nothing. Sent alone through emulated links the event records answer 0.739 at 1 Mbps and still 0.724 at 0.3 kbps; an every-frame track stream holds down to 1 kbps and video with ground-side perception down to about 100 kbps. On a Jetson Orin Nano the unchanged pipeline runs at 4.5 fps and misses most events.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19463v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.