arXiv:2404.00054

Choreographing the Digital Canvas: A Machine Learning Approach to Artistic Performance

Siyuan Peng, Kate Ladenheim, Snehesh Shrestha, Cornelia Fermüller

제출 2024-03-26

원문 초록

This paper introduces the concept of a design tool for artistic performances based on attribute descriptions. To do so, we used a specific performance of falling actions. The platform integrates a novel machine-learning (ML) model with an interactive interface to generate and visualize artistic movements. Our approach's core is a cyclic Attribute-Conditioned Variational Autoencoder (AC-VAE) model developed to address the challenge of capturing and generating realistic 3D human body motions from motion capture (MoCap) data. We created a unique dataset focused on the dynamics of falling movements, characterized by a new ontology that divides motion into three distinct phases: Impact, Glitch, and Fall. The ML model's innovation lies in its ability to learn these phases separately. It is achieved by applying comprehensive data augmentation techniques and an initial pose loss function to generate natural and plausible motion. Our web-based interface provides an intuitive platform for artists to engage with this technology, offering fine-grained control over motion attributes and interactive visualization tools, including a 360-degree view and a dynamic timeline for playback manipulation. Our research paves the way for a future where technology amplifies the creative potential of human expression, making sophisticated motion generation accessible to a wider artistic community.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.01743v1cs.CV공통 태그 Data Augmentation, Motion Generation

InterCMDM: 자기회귀적 인간 상호작용 생성을 위한 블록-인과 디퓨전

InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation

텍스트 조건부 인간 상호작용 생성은 각 개인 내의 장거리 시간적 인과성과 파트너 간의 긴밀하게 결합된 협응을 모두 포착해야 한다. 기존 상호작용 디퓨전 모델들은 일반적으로 양방향 어텐션을 사용하여 전체 시퀀스를 노이즈 제거하는데, 이는 인과성을 불명확하게 하고 스트리밍 및 장기 생성을 방해한다. 자기회귀적 대안은 인과성을 강제하지만 시간적 드리프트로 인해 협응이 저하되고 시간이 지남에 따라 상호작용 역학이 불안정해지는 경우가 많다. 우리는 자기회귀적 두 사람 상호작용 생성을 위한 블록-인과 잠재 디퓨전 프레임워크인 InterCMDM을 제안한다. InterCMDM은 각 사람에 대해 별도의 인과 스트림을 유지하면서, 다중 태스크 어텐션 마스크를 활용한 통합 듀얼-스트림 어텐션을 통해 사람 간 의존성을 모델링하는 듀얼-스트림 인과 디퓨전 트랜스포머를 도입한다. 이 마스크들은 단일 어텐션 메커니즘 내에서 상호작용 모델링을 통합하며, 동시 행동, 반응적 응답, 리더-팔로워 역학, 독립적 동작을 포함한 다양한 협응 행동을 지원한다. 이러한 마스크 구성들에 걸쳐 단일 모델을 데이터 증강의 한 형태로 학습함으로써, InterCMDM은 추론 시 원하는 어텐션 마스크를 단순히 선택하는 것만으로 제어 가능한 상호작용 생성을 가능하게 한다. 마지막으로, 블록 단위 디퓨전 목적 함수는 반복적인 디코드-인코드 사이클 없이 긴 시퀀스에 걸쳐 안정적인 잠재 롤아웃을 가능하게 한다. InterCMDM은 InterHuman 및 Inter-X에서 최첨단 성능을 달성하여 텍스트-모션 정렬, 사실성, 장기 연속성을 향상시킨다.

arXiv:2606.27547v1cs.CV공통 태그 Data Augmentation, Motion Generation

MoCap을 넘어: 생성 모델링을 위한 합성 인간 모션으로 모션 토크나이저 스케일링

Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling

인간 모션 생성 모델은 근본적으로 모션 캡처(MoCap) 데이터셋의 제한된 다양성에 의해 제약받는다. 이 데이터셋은 주로 흔하고 반복적인 동작을 포함하며 복잡한 인간 움직임의 롱테일(long tail)을 포괄하지 못해, 학습된 잠재 표현에서 제한된 모션 어휘를 초래하고 드물고 조합적이며 고도로 동적인 모션에 대한 일반화가 부족하다. 본 연구에서는 대규모 합성 인간 모션을 활용하여 모션 표현 공간을 확장하는 프레임워크를 제안한다. 기존 데이터셋 분포를 넘어서는 다양하고 물리적으로 타당한 모션 시퀀스를 생성하는 데이터 생성 파이프라인을 도입하고, 이를 확장된 모션 공간에 적응하도록 재설계한 VQ-VAE 토크나이저와 통합한다. 좁은 데이터 분포에서 학습된 기존 토크나이저와 달리, 본 접근법은 학습 분포와 이산 코드북을 동시에 스케일링하여 모델이 훨씬 더 풍부한 모션 프리미티브 집합을 포착할 수 있게 한다. 합성 모션으로 학습하면 학습된 모션 어휘의 커버리지와 조합성이 크게 향상됨을 보여 주며, MotionGPT를 포함한 기존 프레임워크와 완전히 호환되면서 텍스트-투-모션(text-to-motion) 및 모션 연속 생성(motion continuation)과 같은 모션 생성 과제에서 일관된 성능 향상을 달성한다. 결과는 주요 병목이 모델 아키텍처만이 아니라 학습된 모션 표현의 제한된 지원(support)에 있다는 점을 시사한다. 표현 학습과 함께 합성 모션을 스케일링하는 것은 더 표현력 있고 제어 가능하며 일반화 가능한 인간 모션 합성을 향한 원칙적인 경로를 제공한다.

arXiv:2607.00642v3cs.AI공통 태그 Data Augmentation

인터랙티브 게임플레이를 위한 코칭 가능한 에이전트

Coachable Agents for Interactive Gameplay

강화학습은 게임 플레이(Silver et al., 2016; 2017; Wurman et al., 2022)에서 로보틱스(Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026), 파운데이션 모델(Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025)에 이르기까지 첨단 AI 및 로봇 시스템을 만드는 데 유용한 도구임이 입증되었다. 이러한 AI 시스템은 시행착오를 통해 과제를 해결하는 단일한 근사 최적 행동을 학습하는 것이 일반적이다. 그러나 학습이 끝난 후에 과제를 해결하는 방식을 어느 정도 제어하고자 하는 사용 사례가 많다. 우리는 핵심 과제에 대한 이러한 수정을 스타일이라 부른다. 우리는 범용 가치 함수 근사기(UVFA)를 신중하게 선택한 학습 시나리오, 학습 알고리즘, 데이터 증강과 결합하여 복잡한 도메인에서 스타일을 보이는 에이전트를 코칭하기 위한 프레임워크를 만든다. 이 프레임워크의 적용을 AAA 비디오 게임인 Horizon Forbidden West와 Gran Turismo, 그리고 오픈소스 휴머노이드 테스트 도메인에서 시연한다. 자동차 레이싱, 양식화된 게임 전투, 휴머노이드 보행이라는 도메인의 상이한 성격에도 불구하고, 각 에이전트는 해당 도메인의 주요 과제를 충족하면서도 스타일 요청에 대한 강한 일관성을 보인다. 중요하게도 본 논문에서 설명한 기법은 최종 사용자가 실행 시점에 최종 행동을 선택할 수 있게 하여, 최종 수행 성능에 대한 유연한 제어를 제공한다.

arXiv:2609.27110v2cs.CV공통 태그 Attribute

Undertone: 소수의 평점으로 고정된 VLM 미적 판정기를 개인화하기

Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings

이미지 품질 평가는 평균 의견 점수(MOS)를 예측하지만, 이미지 미학에서는 평균이 개인을 가리므로 개인화된 평가는 새 사용자가 평가한 소수의 이미지에서 출발해야 한다. 평점 열 개로 각 사람을 처음부터 적합시키면 실패하며, 사람별로 파인튜닝한 네트워크는 새로운 종류의 이미지로 잘 전이되지 않는다. 본 논문은 Undertone-P를 제안한다. 이는 다른 평가자들로부터, 고정된 시각-언어 모델(VLM) 판정기의 판독값, 즉 확률 가중 평점과 점수 토큰에서의 은닉 상태에 대한 사람별 회귀 가중치의 가우시안 사전분포를 학습한다. 사람들이 군중과 다른 방식은 다른 평가자들이 드러내므로, 소수의 평점은 그 방식들 중 하나를 고르기만 하면 된다. 새 사용자에게는 닫힌 형태의 풀이 한 번이 필요할 뿐이며 네트워크는 학습되지 않는다. Ryu와 Yanaka의 PARA 벤치마크에서 사전분포만으로 스피어만 상관계수 .640에 도달하여, 기존에 발표된 최고의 10개 및 100개 평점 결과(.581 및 .620)를 상회하며, 사람의 평점 10개와 100개를 사용하면 각각 .648과 .676으로 상승한다. 이러한 평점은 취향이 군중과 다른 곳에서 가장 큰 이득을 준다. 평점 100개 기준으로 군중과 가장 덜 일치하는 평가자들에서는 +.067, LAPIS 미술 작품에서는 +.206이며 전체 평균은 +.037이다. 라벨 없이도 판정기의 기대 점수는 PARA의 MOS를 .835로 예측한다(우리가 실행한 발표 모델 중 최고: .694). PARA로 학습된 네트워크는 PARA의 원래 프로토콜에서는 여전히 앞서는데, 이는 더 강력한 종단 간 MOS 모델 때문일 가능성이 있다.

arXiv:2606.30266v2cs.LG공통 태그 Motion Generation

지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형

Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation

모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.