우리는 ELMOD(Efficient Language Model for On-Device Deployment, 온디바이스 배포를 위한 효율적 언어 모델)를 제안한다. 이는 자원이 제한된 하드웨어에서 효율적인 추론을 위해 설계된 소형(2.7B) 독일어 언어 모델이다. ELMOD는 공개적으로 이용 가능한 데이터만을 사용하여 제한된 연산 예산(55k H100 GPU 시간)으로 학습되었다. 우리는 형태론적 변이, 합성어, 철자 규칙 처리 방식에서 영어 중심 방식과 다른 독일어 특화 데이터 전처리 절차를 개발했다. 또한 품질 필터링 및 재구성(rephrasing) 단계를 도입하여 데이터의 교육적 품질을 높였고, 어닐링(annealing) 단계의 성능을 개선하며 전체 연산 요구량을 줄였다. 사전 필터링을 포함한 아키텍처 모델 및 데이터 선택, 교육적 품질을 높이기 위한 교육적 품질 필터링 및 재구성 덕분에 ELMOD는 동일 크기(<3B) 클래스에서 가장 강력한 성능을 보이며, 독일어에서 7B 매개변수 모델의 성능과 맞먹는다.
Wan2.2-5B 서버급 모델을 순환 증류(recurrent distillation)와 학습 가능한 어텐션 헤드 가지치기, 샘플링 단계 증류, 메모리 최적화 VAE 디코딩을 결합해 모바일 기기에 배포 가능하도록 압축한 MobileWan을 제안하며, 상용 모바일 기기에서 20초 내에 480×832 해상도의 5초 영상을 16 FPS로 생성하고 VBench 83.79점으로 모바일 비디오 생성 최고 성능을 달성했다.
모바일 기기에서의 대규모 언어 모델(LLM) 추론 효율성을 분석하기 위해 5개 프레임워크와 CPU/GPU/NPU 3종 하드웨어 백엔드를 아우르는 최초의 포괄적 크로스 레이어 측정 연구를 수행하고, 백엔드별 에너지 귀인이 가능한 프로파일링 도구 PowerBench를 개발하였다. NPU는 연산 집약적 프리필링 단계에서 강점을 보이는 반면 메모리 집약적 디코딩에서는 CPU가 우위를 점하는 "단계 분리(phase split)" 현상과 스케줄링 비효율로 인한 최대 40% 에너지 낭비를 규명하여, 최적 구성 적용 시 NPU 백엔드 에너지 소비를 최대 54.8%까지 절감할 수 있음을 보였다.
모바일 기기에서의 이미지-투-비디오 생성에 대한 수요가 증가함에 따라, 불릿 타임(bullet time), 달리 줌(dolly zoom), 슬로모션 등 영화적 모션 효과에 대한 관심이 높아지고 있다. 디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 비디오 생성에서 우수한 성능을 보이지만, 방대한 매개변수 크기와 다단계 반복적 디노이징 과정으로 인해 상당한 연산 부담이 발생하여 모바일 기기에서의 효율적인 생성이 어렵다. 우리는 이 격차를 해소하기 위해 CineMobile을 제안한다. 구체적으로, CineMobile은 세 가지 최적화 전략을 채택한다: (1) 지식 증류 기반 가지치기 방식을 활용하여 영화적 효과에 필요한 핵심 비디오 생성 능력을 유지하면서도 컴팩트하고 효율적인 모델을 도출하고; (2) 디퓨전 증류와 강화학습의 조합을 통해 압축된 모델을 4단계 생성기로 최적화하며; (3) 하이브리드 사후 학습 양자화 전략을 적용하여 모델 용량을 1 GB 이하로 압축한다. 실험 결과, Wan 2.1 아키텍처의 교사 모델 대비 CineMobile은 유사한 시각적 품질을 유지하면서 생성 속도를 40배 향상시켰다. 구체적으로, CineMobile은 NVIDIA H200 GPU에서 단계당 디노이징 지연 시간 0.6초, MediaTek Dimensity 8400 Ultimate 5G 플랫폼에서 20초로 49프레임 480p 비디오를 생성하며, 최대 메모리 사용량은 1.8 GB로, 모바일 기반 이미지-투-비디오 생성의 실용적 적용 가능성을 입증한다.