멀티모달 에이전트(multimodal agent)는 데이터 시각화 작업에 점점 더 많이 활용되고 있지만, 자율적 검토 능력에서는 여전히 한계를 보입니다. 인간과 달리 에이전트는 시각화가 잘못된 시점을 인식하지 못하거나, 무엇을 변경해야 할지 결정하지 못하고, 올바른 내용을 훼손하지 않으면서 이를 복구하거나, 수정 작업이 성공했는지 검증하지 못할 수 있습니다. 기존 벤치마크는 차트 생성, 지시 기반 편집, 결함 탐지와 같은 사전 정의된 개별 능력을 주로 평가하므로, 자율적 검토에서의 이러한 격차를 포착하지 못합니다. 이에 본 논문에서는 시각화 진단, 복구 및 검증을 평가하기 위한 벤치마크인 VisAudit을 소개합니다. 렌더링된 차트와 원본 데이터 테이블, 의도된 텍스트 요약, 시각화 코드를 포함하는 설정 가능한 보조 증거가 주어지면, 에이전트는 잠재적 결함을 반복적으로 진단하고, 시각화 코드를 수정 및 실행하며, 실행 및 시각적 피드백을 점검하고, 추가적인 개입이 필요 없는 시점을 판단합니다. VisAudit은 진단 기반 복구, 자율 복구, 오픈월드 검증에 이르는 세 가지 트랙을 정의하며, 21가지 차트 유형과 10가지 결함 범주에 걸친 1,900개의 결함 인스턴스와 함께 300개의 초기 정상 차트를 포함합니다. 우리는 검증된 원본 시각화에 대한 제어된 섭동(perturbation)을 통해 벤치마크를 구축하였으며, 체계적인 검증과 인간 기준에 맞춘 품질 관리를 적용하여 주입된 결함이 명확히 정의되고 가용 증거로부터 복구 가능하도록 보장했습니다. 선도적인 멀티모달 모델을 대상으로 한 실험 결과, 신뢰할 수 있는 자율 검토와는 상당한 격차가 있음이 드러났으며, 평가된 가장 강력한 모델도 자율 복구 환경에서 결함이 있는 차트의 단 $47.4\%$만을 완전히 복구하는 데 그쳤습니다.
Dance Dance Revolution과 In the Groove은 노래와 이에 수반되는 안무(차트(chart)라고 부름)로 구성된 리듬 게임이다. 플레이어는 댄스 패드(dance pad)라고 불리는 장치에서 화살표를 눌러, 곡의 차트가 정한 박자에 맞춰 스텝을 밟는다. 수동 차트 생성 과정은 시간이 많이 소요되고 어려워 자동화에 대한 관심을 불러일으킨다. 우리는 DDR/ITG 차트 생성을 위한 새로운 트랜스포머 기반 아키텍처 ITGPT를 제안하고, 선행 연구와 비교하여 생성 정확도와 계산 비용 모두에서 상당한 개선을 입증한다.
생성된 리듬 게임 채보는 반드시 하나의 공식 노트 시퀀스를 재현할 필요가 없다. 많은 노트 선택이 동일한 곡과 난이도에 맞을 수 있다. 따라서 참조 노트 일치도는 전체 설계 문제가 아니라 재구성을 측정한다. 우리는 자동화된 손상 테스트 코어를 갖춘 6문항 평가 프레임워크인 ChartGenEval을 제안한다. 이는 노트 선택을 열린 상태로 두면서 타이밍은 곡에 고정한다. 매칭된 공식 채보는 대상 노트가 아니라 작성된 타이밍 맵만 제공한다. 우리는 친숙한 통계량이 채보 품질을 측정한다고 가정하기보다, 각 핵심 출력을 용량 조절된 실패로 테스트한다. 80개의 홀드아웃 곡 그룹에 걸쳐, 7개 출력 축이 9개의 비중복 테스트에서 사전 지정된 민감도 및 불변성 기준을 충족한다. 40곡 개발 패널에 대한 보완적 스트레스 테스트는 두 가지 더 넓은 교훈을 드러낸다. 채보 전역 위상 추정은 15, 30, 60ms의 주입 이동을 복원하는 반면, 채보만의 출력은 본질적으로 변하지 않는다. 공통 패턴 재작성은 평균 언어 모델 perplexity를 37% 낮추고, 루프 붕괴는 평균 자기 유사도를 62% 높인다. ChartGenEval은 하나의 프록시나 총점 대신 역할별로 분리된 신호를 보고한다. 이 프로필은 생성기를 비교하고 반복 개선하기 위한 자동 피드백을 제공하며, 선택된 출력은 작업별 스트레스 테스트 후 최적화 목표나 제약 조건의 후보가 된다.