PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12592v1cs.CV

WanToFight: 멀티플레이어 전투 상호작용을 위한 실시간 생성형 게임 엔진

WanToFight: Real-Time Generative Game Engine for Multi-Player Combat Interaction

본 논문에서는 키보드 입력으로 The King of Fighters '97(KOF~'97)의 실시간 2인 대전 게임플레이를 시뮬레이션하는 생성형 게임 엔진 WanToFight를 제안한다. 기존 생성형 게임 엔진은 단일 플레이어 1인칭 설정이거나 비실시간 협력 시나리오를 대상으로 했으며, 멀티플레이어 제어, 실시간 추론, 복잡한 물리적 상호작용, 대전형 게임플레이를 함께 다룬 사례는 없었다. WanToFight는 Wan-1.3B 비디오 확산 트랜스포머를 기반으로 한 세 가지 구성 요소로 이 격차를 메운다: 블록 인과(block-causal) 어텐션과 롤링 KV 캐시를 갖춘 스트리밍 자기회귀 생성기, 각 플레이어의 키보드 신호를 캐릭터 정체성에 연결하는 시각적 그라운딩 기반 Player Association 모듈, 단일 플레이어에서 전체 게임플레이로 이어지는 커리큘럼으로 학습된 게이트형 국소 인과 키보드 주입 모듈. 4단계 DMD 증류(distillation) student와 가지치기(pruned)된 VAE 디코더를 결합하면, 단일 NVIDIA RTX 5090에서 완전한 한 경기 동안 512×384 해상도로 30FPS를 유지한다. 알고 있는 한 WanToFight는 하나의 시스템에서 멀티플레이어 제어, 실시간 추론, 복잡한 물리적 상호작용, 대전형 게임플레이를 결합한 최초의 생성형 게임 엔진이다.

arXiv:2607.09611v1cs.CL

실시간 문장 수준 수어 번역을 향하여

Toward Real-Time Sentence-Level Sign Language Translation

대부분의 수어 이해 시스템은 개별 수어 단위로 동작하여 자연스러운 의사소통에서의 활용이 제한적이다. 본 연구는 새로운 번역 아키텍처 제안보다 실시간 배포를 주요 목표로 삼아 문장 수준 수어 번역(SLT)을 연구한다. 컴퓨팅 및 저장 용량 제약으로 인해 How2Sign에서 균일 샘플링한 9,872개 예시 서브셋을 대상으로 SHuBERT를 동결한 채 QLoRA를 적용하여 SHuBERT-ByT5 번역 스택을 파인튜닝하였다. 모델은 검증 BLEU 16.7을 달성하였으며, 테스트 분할에서 BLEU 15.9, BLEURT 44.7을 기록하였다. 본 논문의 주요 기여는 하드웨어 인식 스트리밍 시스템이다. Raspberry Pi 4B 레퍼런스 클라이언트가 카메라 캡처, 로컬 텍스트 표시, 음성 출력을 담당하고, 연산 집약적인 인식 및 번역은 CPU/GPU 백엔드에서 처리된다. 캡처 프로토콜은 클라이언트에 무관하게 설계되어 동일한 백엔드가 브라우저, 휴대폰, 노트북을 모두 지원할 수 있다. 청크 단위 수집, 제한된 큐, 병렬화된 인식, 시간적 재정렬, 문장 경계 상태 기계를 적용하여 전체 9,872개 예시 작업 서브셋에서 평균 최종화 후 응답 지연 시간을 1.873초에서 1.354초로(27.71%), P95 지연 시간을 2.919초에서 2.130초로(27.03%) 단축하였다.

arXiv:2607.08688v1cs.CV

SAM-MT: 실시간 인터랙티브 다중 대상 비디오 분할

SAM-MT: Real-Time Interactive Multi-Target Video Segmentation

SAM2를 기반으로, SAM-MT는 다중 대상 비디오 객체 분할(VOS)에서 대상 수 증가에 따른 지연 시간 문제를 해결하기 위해 명시적 타겟 쿼리와 분리된 마스크드 어텐션(decoupled masked attention), 희소 메모리(sparse memory)를 활용하는 인터랙티브 프레임워크를 제안한다. SAM-MT는 처리 지연을 대상 수와 분리하여 10개 대상에서도 36+ FPS의 실시간 속도를 달성하며, SAM2.1-B+ 대비 약 6배의 속도 향상을 이루면서도 6개 VOS 벤치마크에서 동등한 분할 성능을 유지한다.

arXiv:2607.06216v1cs.CV

MoWorld: 플래시 월드 모델

MoWorld: A Flash World Model

MoWorld는 고사양 GPU 없이 NPU에서 최대 50 FPS 실시간 추론을 달성하는 플래시 월드 모델(Flash World Model)로, 3D 네이티브 데이터 엔진, 커리큘럼 크로스-프레임 사전학습, 자기회귀 플로우 매칭 지식 증류, 혼합 정밀도 병렬 추론 프레임워크를 통합한 엔드-투-엔드 파이프라인을 제시한다. 기존 월드 모델 대비 추론 비용을 30–50% 수준으로 낮추면서도 주제 일관성, 카메라 제어, 장기 시간 일관성 등 주요 벤치마크에서 선도적 성능을 달성했다.

arXiv:2607.02640v1cs.SD

Metronome: 실시간 인터랙션 모델 서빙을 위한 캐시 제한과 박자 유지

Metronome: Bound the Cache, Keep the Beat for Real-Time Interaction Model Serving

실시간 인터랙션 모델(Moshi, MiniCPM-o, Qwen-Omni)은 서빙을 주기적 실시간 태스크로 전환한다. 각 프레임마다 세션은 스트리밍 오디오를 수신하고 반복되는 실제 시간 마감 기한 내에 응답해야 하며, KV 캐시는 단조 증가하여 대화 전체 동안 메모리에 고정된 상태를 유지한다. 이 방식에는 위험한 장애 모드가 숨어 있다. 실제 전이중(full-duplex) 스택에서 지속적인 부하는 서빙을 점진적으로 저하시키지 않는다. 누적된 세션 상태가 KV 풀을 소진하면, 프레임당 밀리초 단위 응답에서 스톨된 엔진으로 한 번에 추락한다. 이 붕괴는 준안정(metastable) 상태로, 동일한 5분 실행이 실행마다 달리 붕괴하거나 생존하며 조용히 발생한다. 지연 시간과 마감 기한 초과 지표는 전 과정에서 정상으로 나타난다. 우리는 안정성과 관측 가능성을 모두 회복시키는 단 하나의 방법을 제시한다: 각 세션의 상주 상태를 제한하면 지연 시간이 실제 상황을 반영하기 시작한다. Metronome의 인-엔진 KV 윈도우는 붕괴를 제거하고(두 배치에서 20회 중 0회 vs. 14회 붕괴), 프레임당 지연 시간을 단조 증가하는 부하 신호로 전환하며, 이를 기반으로 온라인 어드미션 컨트롤러가 스케줄 가능한 동시성을 탐색한다. 윈도우 없이는 동일한 컨트롤러가 과도 허용하여 한계에 부딪힌다. 1차 모델은 주요 모델에서 붕괴 시간을 몇 퍼센트 이내로 예측하며, 품질 프로브는 에이블레이션을 통해 제한 설계를 검증한다. 윈도우 자체는 턴 기반 디코딩에서 품질 손실이 없으며, 고정된 소수의 어텐션 싱크 토큰이 자유 실행 생성의 품질을 유지한다. 모든 측정은 하나의 GPU에서 네 가지 인터랙션 모델에 걸쳐 실제 오디오로 엔드-투-엔드 수행되었다.