PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20174v1cs.CV

StreamHOI: 스트리밍 HOI 비디오 생성을 위한 상호작용 인식 시간적 메모리 적응

StreamHOI: Interaction-aware Temporal Memory Adaptation for Streaming HOI Video Generation

기존 인간-객체 상호작용(HOI) 비디오 생성 방법은 대부분 복잡한 구동 조건 하에서의 오프라인 단편 비디오 생성에 한정되어 있어, 실시간 대화형 애플리케이션에 부적합하다. 우리는 장시간 HOI 비디오 생성을 위한 저지연 스트리밍 프레임워크인 StreamHOI를 제안한다. 고도로 조건화된 HOI 파이프라인을 스트리밍 시스템으로 변환하는 대신, 이미지-투-비디오 스트리밍 생성기가 제한된 지연 시간 하에서 상호작용을 보존하기 위해 과거 메모리를 어떻게 구성해야 하는지 연구한다. 표준 sink-local 메모리 설계가 스트리밍 HOI 생성에서 트레이드오프에 직면하며, 서로 다른 트랜스포머 블록이 HOI 영역과 주변 영역에 대해 서로 다른 과거 메모리 선호도를 보인다는 것을 발견한다. 메모리 구성을 블록 동작과 일치시키기 위해, StreamHOI는 오프라인 HOI 인식 블록 프로파일링을 수행하고 바이어스 기반 메모리 특화 학습을 적용하여 생성기를 블록별 메모리 레이아웃에 적응시킨다. 또한 초기 상호작용 상태에 대한 장거리 접근을 강화하기 위해 메모리 거리 스케일링 모듈을 도입한다. 장시간 비디오 베이스라인과 최근 HOI 생성 방법 모두와의 광범위한 비교를 통해, StreamHOI가 강한 상호작용 타당성, 객체 충실도, 인간 품질 및 효율성을 달성하며, 0.75초의 첫 청크 지연 시간으로 17.6 FPS에 도달함을 보여준다.

arXiv:2607.14898v1cs.CV

FlashDecoder: 트랜스포머 기반 실시간 잠재-픽셀 스트리밍 디코더

FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers

실시간 영상 생성은 빠른 디노이징만큼이나 빠른 디코딩을 요구하지만, 현재의 잠재 공간 영상 확산 모델은 3D 컨볼루션 디코더에 의존하며 고해상도나 긴 영상에서 느리고 메모리 사용량이 큽니다. 본 논문은 FlashDecoder를 제안합니다. 이는 잠재 표현을 프레임 단위로 픽셀로 디코딩하는 빠르고 메모리 효율적인 순수 트랜스포머 영상 디코더입니다. 각 단계에서 현재 프레임은 rolling KV cache를 통해 과거 프레임의 고정 크기 윈도우에만 어텐션합니다. 고정된 시간적 윈도우는 영상 길이와 관계없이 디코딩을 빠르게 유지하고 메모리를 제한하여 일정한 지연 시간의 스트리밍을 가능하게 합니다. 프레임이 순차적으로 처리되므로 명시적 어텐션 마스크 없이 시간적 인과관계가 강제되며, 최대 1080p 해상도에서 학습이 가능하고 컨볼루션 디코더의 재구성 품질과 동등합니다. Wan2.1 및 Wan2.2 잠재 공간에서 FlashDecoder는 재구성 품질 면에서 각 컨볼루션 디코더와 동등합니다(예: 1080p에서 PSNR 41.55dB vs. 41.49dB). 단일 H100 GPU에서 3.6~4.7배 빠르게 디코딩하면서 최대 11배 적은 메모리를 사용합니다. 아키텍처 인식 추론 최적화를 적용하면 속도 향상 폭은 12배까지 확대됩니다.

arXiv:2607.02731v1cs.SE

SMOCS: 프로덕션 환경에서 ML 시스템의 간소화된 배포, 모니터링, 최적화를 위한 스트리밍 프레임워크

SMOCS: A Streaming Framework for Simplified Deployment, Monitoring, and Optimization of ML Systems in Production

머신러닝은 과학 시설의 실시간 모니터링, 최적화, 제어에 있어 상당한 잠재력을 입증해 왔다. 그러나 운영 환경에서 ML 모델을 배포하고 유지관리하는 것은 여전히 상당한 엔지니어링 과제로 남아 있다. 각 시설마다 고유한 데이터 프로토콜, 비표준 포맷, 인프라 제약이 존재하여, 팀들이 새로운 애플리케이션마다 통합 파이프라인을 처음부터 재구축해야 하는 상황이 발생한다. 본 논문에서는 이러한 과제를 세 가지 기여를 통해 해결하는 Kafka 기반 컨테이너화 프레임워크인 SMOCS(Streaming Monitoring Optimization and Control System)를 제안한다: 1) 인프라와 애플리케이션 로직을 분리하는 Apache Kafka 상의 계층적 추상화, 2) 데이터 수집, 모델 학습, 실시간 추론을 시간적으로 분리하여 라이브 데이터 스트림으로부터의 지속적인 온라인 학습을 가능하게 하는 3-스레드 에이전트 아키텍처, 3) 소프트웨어 엔지니어링 전문 지식 없이도 도메인 전문가가 ML 파이프라인을 운영할 수 있게 하는 구성 기반 배포 모델. SMOCS는 시설 플랫폼에 독립적이며, 설계상 결함 격리가 적용되고, Docker 컨테이너화를 통해 수평적 확장이 가능하다. 본 프레임워크는 Jefferson Lab Github에 오픈소스 소프트웨어로 공개되어 있다.