PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19256v1cs.AI

X+Slides: 청중 조건부 슬라이드 생성 벤치마킹

X+Slides: Benchmarking Audience-Conditioned Slide Generation

소스 문서로부터 슬라이드 덱을 자동 생성하는 것은 대규모 언어 모델(LLM)의 중요한 응용이다. 기존 벤치마크는 주로 슬라이드의 완결성과 기술적 깊이를 평가하지만, 중요한 현실 요인인 대상 청중은 간과한다. 예를 들어 전문가는 엄밀한 증명을 요구하는 반면, 의사결정자는 실행 가능한 결론을 우선시한다. 이 격차를 메우기 위해, 우리는 청중 조건부 슬라이드 생성을 위해 특별히 설계된 벤치마크인 X+Slides를 제안한다. 113개 주제와 7가지 발표 장면에 걸친 다양한 코퍼스를 기반으로, X+Slides는 중복 제거된 8,133개의 소스 그라운딩(source-grounded) 프로브로 구성된 동적 평가 프레임워크를 사용한다. 동일한 소스 그라운딩 프로브에 청중별 유틸리티 가중치를 부여함으로써, X+Slides는 네 가지 상보적 지표를 보고한다: Audience Coverage(청중 커버리지)는 청중에게 필수적인 정보가 얼마나 전달되는지를 측정하고, Domain-wise Coverage(도메인별 커버리지)는 어떤 정보 유형이 포함되는지를 보여주며, Efficiency(효율성)는 단위 어텐션(attention) 비용당 전달된 유틸리티를 측정하고, Correctness(정확성)는 슬라이드의 주장이 소스에 의해 뒷받침되는지 검증한다. DeepPresenter, SlideTailor, NotebookLM에 대한 실험 결과, 현재 시스템들은 청중에게 필수적인 정보의 상당하지만 여전히 불완전한 부분을 회복할 수 있음을 보여준다: $τ_A=0.7$에서 DeepPresenter는 최고 Audience Coverage 0.714, SlideTailor는 0.594, NotebookLM ablation은 0.853에 도달하면서 뚜렷한 그라운딩(grounding) 차이를 보인다. 이러한 결과는 시각적 품질과 넓은 주제 커버리지를 소스 그라운딩 평가 없이 증거 지원의 근거로 취급해서는 안 됨을 시사한다.