PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00447v1cs.AI

고정된 장면, 뒤바뀌는 1위: 텍스트-to-3D 평가에서의 구성 취약성

Frozen Scenes, Shifting Winners: Configuration Fragility in Text-to-3D Evaluation

생성된 모든 장면이 고정되어 있을 때도 텍스트-to-3D(Text-to-3D) 리더보드의 순위가 바뀔 수 있을까요? 본 논문에서는 카메라 설정과 캡션 문구가 측정 프로토콜의 일부가 되는 렌더링 이미지 평가를 대상으로 이 질문을 검증합니다. 6개의 생성기에서 얻은 300개의 고정된 장면에 대해 19개의 정렬(alignment) 평가기와 1개의 지각적 품질 대조군을 대상으로 8가지 렌더링 및 캡션 요인을 변화시킨 후, 4가지 목표 장면 저하를 테스트합니다. 17/19의 정렬 평가기에서 최대 구성 분산이 생성기 간 분산을 초과했으며, 11/19에서는 프롬프트 부트스트랩 하한이 1을 넘었습니다. 순위는 점수보다 안정적이지만, 18/19의 평가기에서 특정 구성에 따라 점수 추정치 기준 1위가 바뀌었습니다. 쌍별 프로토콜 마진 엔벨로프는 테스트된 설정 전반에서 어떤 비교가 방향성을 유지하는지 보여줍니다. 선택된 일부 쌍은 반대 방향의 점별 구간을 갖지만, 전체 탐색에 대한 동시 추론(simultaneous inference)에서 유의미하게 유지되는 역전은 없습니다. 따라서 관찰된 1위 변화는 기술적(descriptive)인 것일 뿐, 생성기 우수성의 확정된 변화는 아닙니다. 민감도는 별개의 문제로 남습니다. 프롬프트가 없는 대조군을 포함해 어떤 평가기도 레이아웃 뒤섞기에서 동점 조정 방향 판별력 67%를 넘지 못했으며, 이는 인간 검증 기준 진리값이라기보다는 진단적 성격에 가깝습니다. 본 검증은 점수 안정성, 결정 불확실성, 목표 민감도를 분리하여 분석하며, 프로토콜 의존적 비교 및 선택 편향을 고려한 불확실성과 함께 (생성기, 점수, 카드 ID)를 보고할 것을 권장합니다.