arXiv:2609.19853v2 cs.CV

PACE: 정밀한 AI 영화적 표현

PACE: Precise AI Cinematic Expression

Bing Duan, Qiang Guo, Linpu Li, Zhijian Mao, Min Zhu, Zhirui Ren, Yiwei Yan, Xi Chu, Xiaoding Li

제출 2026-09-21

한국어 초록

각본과 영화 사이에는 무엇보다 공간적인 계획 문제가 존재합니다. 즉, 누가 어디에 서 있고, 카메라가 서 있는 위치에서 무엇을 보는지에 관한 것입니다. 자유 텍스트로 샷을 요청받은 이미지 확산 모델(image diffusion model)은 자체 기본값을 통해 해당 계획을 결정합니다. 우리는 이러한 계획을 위한 타입 기반 표현(typed representation)인 PACE(Precise AI Cinematic Expression)를 제시합니다. 이는 각본의 근거, 필요한 등장인물, 소품 및 로케이션, 각 피사체가 서 있는 위치, 그리고 카메라가 수행하는 작업을 포함합니다. 값은 그것이 속한 레벨(스크립트, 씬, 샷 또는 패널)에서 한 번 작성된 후 하위 레벨로 상속됩니다. 컴파일러는 그 결과를 확산 모델로 전송되는 프롬프트와 미터 단위로 구축된 3D 씬으로 모두 변환하며, 카메라 솔버는 선언된 프레이밍이 실제 구축된 프레이밍이 되도록 카메라를 배치합니다. 선언된 값이 기하학적 형태(geometry)가 되는 지점에서, PACE는 모델에게 판단을 요청하는 대신 컴파일된 카메라와 연출된 렌더가 선언된 값에서 얼마나 벗어나 있는지를 필드별로 측정합니다. 11개 씬으로 구성된 Automatic Drive 각본에서 연출된 모든 단일 피사체 패널은 피사체를 선언된 위치의 프레임 너비 기준 1.2% 이내에 배치합니다. 피사체가 2~3명인 경우 단일 카메라 포즈로 모든 위치를 만족할 수 없으므로, 오차는 흡수되지 않고 잔차로 보고됩니다. 204개의 외부 감독 스토리보드 샷에서 도출된 머리 높이는 감독의 말로부터는 연출 목표의 1.906배, 컴파일된 프롬프트로부터는 1.733배, 그레이박스(greybox) 제어를 사용했을 때는 0.955배로 나타났습니다. 즉, 프레이밍을 가장 잘 유지하는 조건이 묘사된 동작을 가장 적게 묘사합니다. 30개 샷에 대해 포즈를 선언하면 프레이밍을 변경하지 않고도 묘사된 동작 표현 비율이 58.9%에서 74.4%로 증가합니다. 트랜지션, 적합 모션, 그리고 생성된 패널에 대한 인간 검토는 향후 과제로 남아 있습니다. 코드: https://github.com/StudioPiLabs/pace-core

원문 초록

Between a screenplay and a film sits a planning problem that is spatial first: who stands where, and what a camera sees from where it stands. An image diffusion model asked for a shot in free text settles that plan by its own defaults. We present PACE (Precise AI Cinematic Expression), a typed representation for the plan: the screenplay evidence, the characters, props and locations it needs, where each subject stands, and what the camera does. A value is written once at the level it belongs to (script, scene, shot or panel) and inherited below it. A compiler turns the result into both the prompt sent to the diffusion model and a 3D scene built in metres, and a camera solver places the camera so that the declared framing is the framing built. Where a declared value becomes geometry, PACE measures, field by field, how far the compiled camera and the staged render sit from the declaration, rather than asking a model to judge. On the 11-scene Automatic Drive screenplay, every staged single-subject panel places its subject within 1.2% of frame width of its declared position; with two or three subjects one camera pose cannot satisfy every position, and the residual is reported rather than absorbed. On 204 external director-storyboard shots, delivered head height is 1.906 times the staged target from the director's words, 1.733 from the compiled prompt, and 0.955 with the greybox control; the condition that holds framing best draws the described action least. Declaring the pose on 30 shots raises the action drawn from 58.9% to 74.4% without moving the framing. Transitions, fitted motion and human review of the generated panels remain open. Code: https://github.com/StudioPiLabs/pace-core

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.19853v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.