cs.wm.edu

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.11876v1cs.AI

On the Regularization Landscape for the Linear Recommendation Models

Recently, a wide range of recommendation algorithms inspired by deep learning techniques have emerged as the performance leaders on several standard recommendation benchmarks. While these algorithms were built on different DL techniques (e.g., dropouts, autoencoder), they have similar performance and even similar cost functions. This paper studies whether the models' comparable performance are sheer coincidence, or they can be unified under a single framework. We find that all linear performance leaders effectively add only a nuclear-norm based regularizer, or a Frobenius-norm based regularizer. The former ones possess a (surprising) rigid structure that limits the models' predictive power but their solutions are low rank and have closed form. The latter ones are more expressive and more efficient for recommendation but their solutions are either full-rank or require executing hard-to-tune numeric procedures such as ADMM. Along this line of finding, we further propose two low-rank, closed-form solutions, derived from carefully generalizing Frobenius-norm based regularizers. The new solutions get the best of both nuclear-norm and Frobenius-norm world.

arXiv:2608.25053v1cs.AR

Hydra: 엣지 SoC 세대, 백엔드, 양자화 수준에 걸친 LLM 추론의 위상 인식 워크로드 특성화

Hydra: Phase-Aware Workload Characterization of LLM Inference across Edge SoC Generations, Backends, and Quantization Levels

엣지 LLM 배포는 모델 크기와 정밀도만으로 결정되지 않으며, 추론 백엔드, 하드웨어 플랫폼, 메모리 트래픽, 전력 관리가 모두 지연 시간과 효율에 영향을 준다. 본 논문은 엣지 SoC에서의 LLM 추론을 위한 공통 스키마 기반의 위상 인식 워크로드 특성화 프레임워크인 Hydra를 제안한다. Hydra는 HuggingFace Transformers와 llama.cpp에 공유 per-prompt 타이밍 스키마를 계측하고, 해당 기록을 하드웨어 원격 측정(telemetry)과 융합하여 prefill 및 decode 위상에 걸친 성능, 시스템 자원 활용, 효율의 다차원 특성화를 가능하게 한다. Hydra를 이용해 연속된 세 세대의 엣지 시스템 온 칩(System-on-Chip, SoC)(AGX Xavier, AGX Orin, AGX Thor), 7개 계열의 인스트럭션 튜닝(instruction-tuned) LLM 13종, 다섯 가지 실행 포맷을 평가하고, 입력/출력 길이 민감도를 고려한다. 그 결과물은 약 10만 7천 건의 per-prompt 기록을 포함하며 Hydra와 함께 공개된다. 분석 결과, 집계 지연 시간만으로는 핵심 배포 효과가 가려진다: 백엔드 구조가 지연이 어디에서 발생하는지를 바꾸고, 양자화는 메모리 트래픽과 에너지를 줄이지만 전력을 단조적으로 예측하지는 않으며, SoC 세대에 따라 활용도와 효율의 해석 방식이 달라진다. 위상 수준 타이밍을 시스템 자원 활용 및 효율 지표와 연결함으로써 Hydra는 엣지 LLM 추론의 재현 가능한 위상 인식 특성화를 가능하게 한다. Hydra 소스 코드와 수집된 per-prompt trace 코퍼스는 https://github.com/amirtaherin/hydra 에서 오픈소스로 제공된다.