PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.16839v4cs.CV공식 코드 · Papers with Code

LaViDa: 멀티모달 이해를 위한 대규모 디퓨전 언어 모델

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.

arXiv:2403.18957v3cs.CY공식 코드 · Papers with Code

대규모 비전-언어 모델을 활용한 안전하지 않은 사용자 생성 콘텐츠 게임의 불법 온라인 이미지 홍보 조절

Moderating Illicit Online Image Promotion for Unsafe User-Generated Content Games Using Large Vision-Language Models

온라인 사용자 생성 콘텐츠 게임(UGCGs)은 사회적 상호작용과 더 창의적인 온라인 엔터테인먼트를 위해 어린이와 청소년 사이에서 점점 인기를 얻고 있습니다. 그러나 이들은 노골적인 콘텐츠에 노출될 높은 위험을 초래하며, 어린이와 청소년의 온라인 안전에 대한 우려를 증폭시키고 있습니다. 이러한 우려에도 불구하고, 우연히 어린 사용자를 유혹할 수 있는 소셜 미디어상의 안전하지 않은 UGCG의 불법 이미지 기반 홍보 문제를 다룬 연구는 거의 없습니다. 이러한 도전은 UGCG 이미지에 대한 포괄적인 학습 데이터를 확보하기 어렵고, 기존의 안전하지 않은 콘텐츠와는 다른 이러한 이미지의 독특한 특성에서 기인합니다. 본 연구에서는 안전하지 않은 UGCG의 불법 홍보 위협을 연구하는 최초의 단계를 내딛습니다. 우리는 게임 제작자가 UGCG를 홍보하기 위해 사용하는 다양한 성적으로 노골적이고 폭력적인 콘텐츠를 표시하는 2,924개의 이미지로 구성된 실제 데이터셋을 수집했습니다. 우리의 심층 연구는 이 문제에 대한 새로운 이해와 불법 UGCG 홍보를 자동으로 식별할 필요성의 시급성을 밝혀냈습니다. 또한, 우리는 소셜 미디어 플랫폼이 불법 UGCG 홍보에 사용되는 이미지를 효과적으로 식별하도록 돕기 위해 설계된 최첨단 시스템인 UGCG-Guard를 개발했습니다. 이 시스템은 최근 도입된 대규모 비전-언어 모델(VLMs)을 활용하고, 제로샷 도메인 적응을 위한 새로운 조건부 프롬프팅 전략과 문맥 식별을 위한 사고의 연쇄(CoT) 추론을 사용합니다. UGCG-Guard는 실제 시나리오에서 이러한 게임의 불법 홍보에 사용되는 이미지를 감지하는 데 있어 94%의 정확도를 기록하는 탁월한 결과를 달성했습니다.