PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22708v1cs.CV

StepX-Edge: 아키텍처-학습-배포 공동 설계를 통한 온디바이스 UI 비전-언어 모델

StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design

엔드 디바이스에서 완전한 UI 이해를 갖춘 비전-언어 모델을 배포하는 일은 오랫동안 정확도와 효율성 사이에 갇혀 있었다. 한쪽에는 OCR, 화면 이해, 시각적 질의응답(visual question answering), 요소 그라운딩(element grounding)에 대한 정확도 기준이 있고, 다른 한쪽에는 모바일 칩의 엄격한 연산, 메모리, 전력 예산이 있다. 기존 연구는 둘 중 하나를 희생하거나, 실제 디바이스 검증 없이 시뮬레이션에서 멈춘다. 우리는 아키텍처, 학습, 배포의 3층 공동 설계를 통해 이러한 긴장을 해소하는 0.9B 매개변수 온디바이스 UI 비전-언어 모델 StepX-Edge를 제안한다. 아키텍처 측면에서, UI 인식 계층형 시각 인코딩(UI-aware Layered Visual Encoding, ULVE)과 점진적 차원 투영(Progressive Dimensionality Projection, PDP) 커넥터는 화면의 극단적 종횡비와 세밀한 지각을 목표로 하며, 전 구간에 걸친 표준 full 어텐션은 주류 모바일 NPU 연산자와의 네이티브 호환성을 보장한다. 학습 측면에서, 5단계 StepX-Curriculum 프레임워크는 UI 하위 과제 간 상호 촉진 효과에 대한 우리의 관찰을 바탕으로 설계되어, 네 가지 역량이 서로 간섭하기보다는 제한된 매개변수 예산 하에서 시너지적으로 함께 성장하도록 한다. 배포 측면에서, 모듈별 차등화된 2단계 PTQ-to-QAT 양자화 방식은 양자화 후 정확도 손실을 1% 이내로 유지한다. StepX-Edge는 <=1B 모델 중 전반적인 UI 이해에서 가장 강력한 성능을 달성하며, ScreenQA(88.76 F1)와 Chinese OCRBench v2(57.25)에서 모든 2B-2.3B 베이스라인을 능가하고, RefCOCO(92.0%)와 OCRBench v1(831)에서는 훨씬 적은 매개변수로 1.3B-2.3B 범용 VLM과 동등한 성능을 보인다. W4A16+KV8 양자화 후, 모델은 Snapdragon 8 Gen5 디바이스에서 ~0.84초 TTFT, 98 tok/s 디코드, 1.4GB 피크 메모리로 안정적으로 실행된다. 학습 데이터, 전체 학습 레시피, 양자화 배포 파이프라인을 오픈소스로 공개할 예정이다.

arXiv:2607.06306v1cs.SE

UI2App: 실행 가능한 웹 애플리케이션 생성에서 시각적 상호작용 추론 벤치마킹

UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation

UI 스크린샷만을 입력으로 받아 실행 가능한 멀티페이지 웹 애플리케이션을 생성하는 과제에서 상호작용 추론(interaction inference) 능력을 체계적으로 평가하는 최초의 벤치마크 UI2App을 제안한다. 45개의 상태 일관성 스크린샷 세트와 4가지 평가 지표(실행 가능성, 내비게이션 도달성, 시각적 충실도, 상호작용 추론 점수 IIS)를 통해 6개의 프론티어 비전-언어 모델을 평가한 결과, 시각적 충실도 1위 모델의 IIS가 4위에 그치는 등 시각적 재구성 능력과 상호작용 실현 능력 사이의 뚜렷한 불일치가 확인되었다.