StepX-Edge: 아키텍처-학습-배포 공동 설계를 통한 온디바이스 UI 비전-언어 모델
StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design
엔드 디바이스에서 완전한 UI 이해를 갖춘 비전-언어 모델을 배포하는 일은 오랫동안 정확도와 효율성 사이에 갇혀 있었다. 한쪽에는 OCR, 화면 이해, 시각적 질의응답(visual question answering), 요소 그라운딩(element grounding)에 대한 정확도 기준이 있고, 다른 한쪽에는 모바일 칩의 엄격한 연산, 메모리, 전력 예산이 있다. 기존 연구는 둘 중 하나를 희생하거나, 실제 디바이스 검증 없이 시뮬레이션에서 멈춘다. 우리는 아키텍처, 학습, 배포의 3층 공동 설계를 통해 이러한 긴장을 해소하는 0.9B 매개변수 온디바이스 UI 비전-언어 모델 StepX-Edge를 제안한다. 아키텍처 측면에서, UI 인식 계층형 시각 인코딩(UI-aware Layered Visual Encoding, ULVE)과 점진적 차원 투영(Progressive Dimensionality Projection, PDP) 커넥터는 화면의 극단적 종횡비와 세밀한 지각을 목표로 하며, 전 구간에 걸친 표준 full 어텐션은 주류 모바일 NPU 연산자와의 네이티브 호환성을 보장한다. 학습 측면에서, 5단계 StepX-Curriculum 프레임워크는 UI 하위 과제 간 상호 촉진 효과에 대한 우리의 관찰을 바탕으로 설계되어, 네 가지 역량이 서로 간섭하기보다는 제한된 매개변수 예산 하에서 시너지적으로 함께 성장하도록 한다. 배포 측면에서, 모듈별 차등화된 2단계 PTQ-to-QAT 양자화 방식은 양자화 후 정확도 손실을 1% 이내로 유지한다. StepX-Edge는 <=1B 모델 중 전반적인 UI 이해에서 가장 강력한 성능을 달성하며, ScreenQA(88.76 F1)와 Chinese OCRBench v2(57.25)에서 모든 2B-2.3B 베이스라인을 능가하고, RefCOCO(92.0%)와 OCRBench v1(831)에서는 훨씬 적은 매개변수로 1.3B-2.3B 범용 VLM과 동등한 성능을 보인다. W4A16+KV8 양자화 후, 모델은 Snapdragon 8 Gen5 디바이스에서 ~0.84초 TTFT, 98 tok/s 디코드, 1.4GB 피크 메모리로 안정적으로 실행된다. 학습 데이터, 전체 학습 레시피, 양자화 배포 파이프라인을 오픈소스로 공개할 예정이다.