PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10622v1cs.GR

WorldBench: Three.js 복셀 월드 생성에서의 대규모 언어 모델(LLM) 평가

WorldBench: Evaluating LLMs on Three.js Voxel World Generation

대규모 언어 모델(LLM)은 이제 완전하고 상호작용 가능한 3D 월드를 코드로 작성할 수 있지만, 이러한 월드를 자동으로 채점하는 것은 신뢰하기 어렵습니다. 기존의 평가자들은 출력물에 대해 단일 관점만 취합니다. 즉, 비전-언어(vision-language) 모델이 렌더링된 몇 개의 스냅샷을 점수 매기거나, 언어 모델이 소스 코드를 읽는 방식입니다. 5개의 프론티어 모델이 작성한 월드를 대상으로 분석한 결과, 두 관점은 요구된 항목의 32%에서 의견이 일치하지 않았으며(대부분 어떤 프레임에도 표시되지 않는 코드 때문임), 고정된 시점은 크기가 작은 근접 콘텐츠를 놓친다는 점을 발견했습니다. 본 논문에서는 LLM이 생성한 개방형 Three.js 월드를 위한 벤치마크이자 평가자인 WorldBench를 제시합니다. 10개의 바이옴, 물리 엔진, 낮/밤 및 계절 주기를 갖춘 떠 있는 복셀 섬을 설명하는 단 하나의 프롬프트로부터, 평가자는 실행 중인 월드를 탐색하여 시계를 제어하고, 주위를 공전하며, 네비게이터 에이전트를 파견해 각 바이옴을 화면에 담고, 보이는 내용에 대해 코드를 읽어 들입니다. 두 채널 중 어느 것도 단독으로는 신뢰하지 않습니다. 코드 인용은 소스에 실제로 포함된 텍스트인 경우에만 인정되며, 시각적 주장은 해당 속성이 측정 가능한 경우 측정된 픽셀을 기준으로 교차 검증됩니다. 의도적으로 기능을 제거하는 변이 테스트(mutation test) 결과, 코드 전용 평가는 코드가 파일에 남아 있다는 이유로 제거된 5개 기능 중 4개에 만점을 부여하는 것으로 나타났습니다. 저희 평가자는 제거된 기능에 부여되던 점수를 3분의 1가량 삭감하며(7.11점 중 5.44점에서 3.55점), 여전히 인정되는 부분은 대부분 존재하지만 전혀 실행되지 않는 코드 때문입니다. 저희는 5개의 프론티어 모델(Claude Fable 5.1, GPT-6 Astra, Kimi K3, Grok 4.7, Gemini 3.1 Pro)을 평가합니다. 코드, 프롬프트, 테스트 및 평가자 설정은 https://github.com/KrishBakshi/worldbench 에서 확인할 수 있습니다.

arXiv:2607.13318v2cs.CV

절차적 재질 생성에서 제작 과정 전문성 반영

Reflecting Process Expertise in Procedural Material Generation

절차적 재질 생성은 디지털 콘텐츠 제작, 시각 효과, 3D 자산 설계 분야의 응용을 뒷받침한다. 고품질 결과를 달성하려면 노드 그래프를 재현하는 것만으로는 부족하며, 전문가가 재질을 구축하는 과정을 이해해야 한다. 우리는 절차적 재질 생성을 전문가 시연에 대한 검색 시점 프로세스 추론(retrieval-time process reasoning)으로 공식화하여, 그래프만을 이용한 합성을 넘어 프로세스를 일급(first-class) 표현으로 격상시킨다. 구체적으로, 우리는 전문가 워크플로우를 프로세스 trace로 표현한다. 이는 구축 단계, 매개변수, 설계 의도를 담은 텍스트 기록이다. 이 아이디어를 구현하기 위해, 사전학습된 LLM 기반 ProcessSynthesizer로 사용자 의도에 맞는 프로세스 trace를 합성하고, 사전학습된 LLM 기반 Compiler로 프로세스 trace를 실행 가능한 Blender 재질 그래프로 그라운딩(grounding)한다. 절차적 전문성은 시연을 통해 가장 자연스럽게 전달되므로, 우리는 튜토리얼 영상을 프로세스 지식의 출처로 활용하고 자동화된 영상 분석 도구를 사용해 텍스트 기반의 LLM 호환 trace를 추출한다. 평균 경력 7.5년의 Blender 아티스트 5명을 대상으로 한 전문가 연구에서, 전문가 시연을 반영해 생성된 재질은 수정이 더 적게 필요한 워크플로우를 만들어냈으며, 정적 산출물만을 다루는 방법보다 전문적인 설계 전략에 더 가깝게 일치하는 것으로 나타났다. 150명 참가자를 대상으로 한 사용자 연구는 우리 접근법이 기존 절차적 시스템에 비해 생성 및 편집 성능이 우수함을 추가로 보여준다. 모든 코드, 모델, 데이터는 https://materialapprentice.github.io 에서 제공될 예정이다.