PosterHarness: 과학 포스터 생성을 감사 가능한 인스트럭션 팔로잉 벤치마크로 전환하기
PosterHarness: Turning Scientific Poster Generation into an Auditable Instruction-Following Benchmark
텍스트가 풍부한 이미지 모델은 이제 포스터 규모의 레이아웃을 설계할 수 있지만, 이 모델들이 과학적 커뮤니케이션의 요건—가독성 있는 레이블, 지정된 종횡비, 그리고 무엇보다 조작된 과학 그림의 생성 자제—을 준수하는지 측정할 방법이 부족하다. 우리는 포스터 생성을 측정 가능한 인스트럭션 팔로잉 태스크로 재정의하는 감사 가능한 하네스인 POSTERHARNESS를 제안하며, 파일럿 벤치마크와 실패 분류 체계를 함께 제시한다. POSTERHARNESS는 플레이스홀더 우선 계약(placeholder-first contract)을 통해 모델이 혼용하는 두 가지 역할을 분리한다. 모델은 타이포그래피, 읽기 경로, 색상, 배경 등 시각적 요약 디자인을 수행하되, 데이터를 포함한 그림은 절대 직접 그리지 않는다. 모든 그림 영역은 레이블이 붙은 빈 플레이스홀더여야 하며, 결정론적 합성기(deterministic compositor)가 감지된 좌표에 실제 원본 논문의 그림을 삽입한다. 이를 통해 다음 속성들이 측정 가능해진다: 플레이스홀더 수와 ID 정확도, 공백 여부, 종횡비 준수, 합성 그래픽 생성 자제, 공개 텍스트 위생, 원본 그림 출처—실패는 그럴듯한 출력에 숨겨지지 않고 명시적 거부로 기록된다. 우리는 12편의 논문(HEP 6편, AI/ML 인접 분야 6편)에 이 하네스를 적용하여 세 가지 결과를 보고한다. (i) 반사실적 탐침(counterfactual probe)을 통해 플레이스홀더 계약이 세 편의 논문에 걸쳐 VLM이 감지한 합성 그림 수를 34개에서 0개로 줄임을 확인한다. (ii) 실패 분류 체계는 차단 계약(blocking contracts)을 식별한다: 플레이스홀더 기하학, 플레이스홀더 QA, 템플릿 비평가, 공개 텍스트. (iii) Paper2Poster와의 비교에서 트레이드오프가 드러난다: PosterHarness는 더 높은 해상도의 결과물, 낮은 빈 캔버스 비율, 더 강한 VLM 시각적 선호도를 보이는 반면, 결정론적 기준선은 PosterQuiz 방식의 정보를 다소 더 보존하며 속도가 빠르다. 이는 우월성 주장이 아닌 체제 특성화(regime characterization)로 보고한다. 모든 결과물, 프롬프트, 매니페스트, 감사 스크립트는 재사용 가능한 평가 컴포넌트로 공개된다.