현대의 비디오 생성 모델은 설득력 있는 장면을 합성하면서도 일부 문자를 잘못 렌더링하거나, 요청된 텍스트를 생략하거나, 프레임 간에 텍스트를 변경하는 경우가 있다. 이러한 실패를 측정하는 것은 각 프레임에 독립적으로 OCR을 적용하는 것보다 어려운데, 장면에 여러 텍스트 대상과 여러 노이즈가 섞인 OCR 영역이 포함된 경우 평가자는 먼저 어떤 관측 결과가 어떤 의도된 텍스트에 속하는지 결정해야 하기 때문이다. 우리는 시각적 텍스트 평가를 다중 대상, 다중 인스턴스의 시공간적 대응 문제로 정식화한 벤치마크 및 평가 프레임워크인 TextVBench를 소개한다. TextVBench는 두 개의 상호 보완적인 트랙으로 구성된다: TextVBench-T2V는 프롬프트(prompt)로 지정된 텍스트의 생성과 유지를 측정하며, TextVBench-Ref2V는 참조 이미지로부터의 텍스트 보존을 측정한다. 두 트랙 모두 제약이 없는 VLM 전사(transcription) 대신 대상 조건화된 후보 선택 방식을 사용하고, 하나의 대상이 여러 OCR 영역에 매핑되는 것을 지원하며, 프레임 수준의 공간적 충실도와 프레임 간 시간적 충실도를 분리한다. 길이 가중 조화 점수(length-weighted harmonic score)가 이러한 요소들을 종합하며, 추가 텍스트(extra-text) 진단은 단일 OCR 점수로는 드러나지 않는 실패 모드를 노출한다. 이 벤치마크는 통제된 텍스트, 레이아웃, 캐리어, 모션 속성을 중심으로 구성되어 있어, 종합 점수를 특정 역량 한계로 추적할 수 있다. 평가된 모델(model) 실행 전반에서 MiniMax-H3는 T2V TextVScore 68.32를 달성했으며, 가장 높은 Ref2V 점수는 56.51이었다. 속성별 분석에서는 동시에 존재하는 참조 텍스트 영역의 수가 증가할수록 점수가 두드러지게 하락하는 것으로 나타났다.
실제 사용자 요청에서 수집한 310개의 복합 프롬프트로 구성된 Arena-T2I Hard 벤치마크를 제안하며, 기존 벤치마크가 최상위 텍스트-이미지(T2I) 모델에서 포화 상태임을 보인다. 각 프롬프트를 DAG 구조의 yes/no 질문 체크리스트로 분해하는 의존성 인식 충실도(faithfulness) 보상과, 그룹 분리 정규화(GDPO)를 통해 미적 보상과 결합함으로써 SD3.5-Medium 및 FLUX.1-dev에서 단일 보상 또는 단순 가중합 기반 기준선 대비 충실도-미적 트레이드오프를 개선한다.
이미지 내 기계 번역(IIMT)은 이미지 속 장면 텍스트를 번역하고, 전체적인 시각적 외관을 유지하면서 번역된 텍스트를 원래 영역에 다시 렌더링하는 것을 목표로 한다. 최근 통합 멀티모달 모델은 단일 프레임워크 내에서 시각-텍스트 이해와 이미지 생성을 결합함으로써 유망한 해결책을 제시한다. 그러나 이러한 모델을 IIMT에 직접 적용하는 것은 여전히 어려운 과제이다. 특히, 이해 과정에서 추론된 번역이 생성 과정에서 사용되는 텍스트 감독과 불일치하는 이해-생성 충돌(understanding-generation conflict)과, 렌더링된 텍스트가 목표 텍스트 영역과 정확히 일치하지 않는 공간적 위치 불정렬(spatial position misalignment) 문제가 자주 발생한다. 이러한 문제를 해결하기 위해 우리는 번역 이해와 텍스트 편집을 긴밀하게 결합한 IIMT용 통합 멀티모달 프레임워크인 UniTranslator를 제안한다. 구체적으로, 이해와 생성 간의 표현 격차를 해소하여 번역 콘텐츠 예측과 텍스트 렌더링 간의 의미적 일관성을 도모하는 이해-생성 정렬 모듈(UGAM, Understand-Generation Alignment Module)을 도입한다. 또한 생성 과정에서의 공간적 그라운딩, 기하학적 정렬, 레이아웃 제어 가능성을 향상시키기 위해 텍스트 영역에 대한 픽셀 수준 감독을 적용하는 공간 마스크 디코더(SMD, Spatial Mask Decoder)를 제안한다. 다수의 벤치마크에 대한 광범위한 실험을 통해 UniTranslator가 다양한 언어 방향과 복잡한 실세계 레이아웃에서 최첨단 성능을 달성함을 입증한다. 또한, 우리의 결과는 번역 이해와 이미지 생성 사이의 강력한 상호 강화 효과를 보여주며, 통합 번역 멀티모달 학습의 이점을 부각한다. 코드는 https://github.com/SeerRay-Lab/Unitranslator에서 이용 가능하다.
최근 명령 기반 이미지 편집(instruction-based image editing)의 발전으로 인해 모델이 자연어 명령을 통해 복잡한 시각적 편집을 수행할 수 있게 되었습니다. 그러나 제품의 특징, 브랜딩, 텍스트 요소를 보존하는 것이 중요한 제품 중심 시나리오(product-centric scenarios)에서, 현재의 오픈 소스 및 폐쇄형 소스 모델은 이러한 세밀한 객체 정체성(object identity)을 유지하는 데 종종 어려움을 겪습니다. 이 문제는 텍스트 충실도(text fidelity) 제약 조건을 갖는 명령 기반 제품 이미지 편집을 위한 데이터셋(dataset)이 부족하여 더욱 심화되며, 이로 인해 이 기능은 대부분 명령 기반 이미지 편집 모델의 암묵적인 능력으로 간주되어 왔습니다. 본 연구에서는 제품 중심 이미지 편집을 개선하기 위해 설계된 ProductConsistency 데이터셋을 소개합니다. 우리의 접근 방식은 제품 편집을 위한 8만 7천 개의 샘플로 구성된 지도 미세조정(SFT) 데이터셋, 869개의 고유한 제품 이미지가 포함된 강화학습(RL) 데이터셋, 그리고 편집 모델의 엄격하고 표준화된 평가를 가능하게 하는 새로운 벤치마크 데이터셋인 ProductConsistency Benchmark를 포함합니다. 강화학습(RL) 학습을 안내하기 위해, 우리는 원본 제품 설명과 편집된 이미지에서 생성된 캡션 간의 유사도를 활용하여 제품 정체성의 의미적 보존을 강제하는 순환 일관성 보상(Cyclic Consistency reward)을 제안합니다. 우리는 데이터셋을 사용하여 Qwen-Image-Edit-2511과 Flux.1-Kontext-dev 모두를 미세조정(fine-tuning)했으며, 기준선(baseline) 모델 대비 OCR 및 지각적 지표(Perceptual metrics), 멀티모달 언어 모델(MLLM) 기반 평가에서 일관된 개선을 입증했습니다. 이는 더욱 강력한 제품 일관성, 텍스트 렌더링, 전반적인 시각적 품질을 나타내며, 특히 Qwen-Image-Edit-2511 모델은 문자 오류율을 5배 감소시켰습니다. 코드와 파이프라인은 https://anonymous.4open.science/r/ProductConsistency-6FCC/README.md 에서 확인할 수 있습니다.