PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2504.14280v2cs.CV공식 코드 · Papers with Code

CLIP 기반 도메인 일반화 및 도메인 적응: 종합 서베이

CLIP-Powered Domain Generalization and Domain Adaptation: A Comprehensive Survey

기계학습이 발전함에 따라 도메인 일반화(DG)와 도메인 적응(DA)은 다양한 환경에서 모델 견고성을 높이는 데 핵심이 되었다. Contrastive Language-Image Pretraining(CLIP)은 이러한 과제에서 중심적 역할을 하며, 보지 못한 도메인에서도 모델이 효과적으로 동작하게 하는 강력한 제로샷(zero-shot) 능력을 제공한다. 그러나 CLIP의 영향력이 커지고 있음에도 DG와 DA에서의 CLIP 응용을 체계적으로 검토한 종합 서베이는 없어, 본 리뷰의 필요성이 부각된다. 본 서베이는 CLIP 기반 DG와 DA에 대한 통합적이고 심층적인 개관을 제공한다. 방법을 검토하기에 앞서, 소스 접근성(SA vs. SF), 소스 수(SS vs. MS), 레이블 관계(CS, PS, OS, OPS)를 포괯하는 정밀하고 완전한 시나리오 정의를 수립하여, 이후 모든 분석을 구조화하는 일관된 분류 체계를 형성한다. DG에 대해서는 과제 정렬(task alignment)을 강화하는 프롬프트 최적화 기법과, 이전 가능한 특징 추출을 위해 CLIP을 백본(backbone)으로 활용하는 아키텍처로 방법을 분류한다. DA에 대해서는 레이블이 있는 소스 데이터에 의존하는 소스 이용(source-available) 접근과, 주로 타깃 도메인 샘플에서 동작하는 소스 프리(source-free) 접근을 모두 검토하며, 이질적 설정 간 적응을 가능하게 하는 지식 전이(knowledge transfer) 메커니즘을 강조한다. 또한 DG와 DA 모두에 대해 통합된 동향 분석을 제공하여, 전반적 패턴, 방법론적 원칙, 시나리오 의존적 행동을 드러낸다. 이어 현실적 배포 시나리오, LLM 지식 통합, 멀티모달 융합, 해석 가능성(interpretability), 파국적 망각(catastrophic forgetting) 등 핵심 과제를 논의하고, 확장 가능하고 신뢰할 수 있는 CLIP 기반 DG·DA 시스템 개발을 위한 향후 방향을 개괄한다. 본 서베이는 실제 시나리오에서 CLIP 기반 도메인 견고성을 발전시키기 위한 실행 가능한 통찰을 제공한다.

arXiv:2505.12912v2cs.CV공식 코드 · Papers with Code

균일성 우선: 이미지 손상에 대응하는 비전-언어 모델의 균일성 인식 테스트 시점 적응

Uniformity First: Uniformity-aware Test-time Adaptation of Vision-language Models against Image Corruption

대조적 언어-이미지 사전학습(CLIP)과 같은 사전학습된 비전-언어 모델은 뛰어난 일반화 능력을 보여 왔으며, 이를 통해 제로샷 분류를 비롯한 다양한 응용이 가능해졌다. 그러나 비전-언어 모델은 입력 샘플이 학습 샘플과 큰 차이를 보이는 분포 변화(distribution shift)를 다루는 데에는 여전히 어려움을 겪는다. 우리는 CLIP이 날씨, 조명, 노이즈와 같은 센서 조건으로 인해 발생하는 현실적인 분포 변화의 일종인 이미지 손상(image corruption)에 특히 취약함을 발견했다. 이미지 손상은 예기치 않게 발생하며 그 유형이 매우 다양하기 때문에, 미세조정을 위해 테스트 분포에서 새로운 데이터셋을 수집하는 것은 비용이 매우 크다. 따라서 우리는 레이블이 없는 테스트 데이터로 테스트 분포에 즉각적으로 적응할 수 있는 제로샷 분류의 테스트 시점 적응(test-time adaptation, TTA)을 연구한다. CLIP을 위한 기존 TTA 방법은 주로 분포 변화를 해결하기 위해 이미지 및 텍스트 임베딩이나 예측을 수정하는 데 초점을 맞춘다. 이러한 방법은 분포 외(out-of-distribution)나 입력 이미지의 서로 다른 렌디션(rendition)과 같은 도메인 변화에는 적응할 수 있지만, 이미지 손상처럼 도메인 변화를 넘어서는 분포 변화에는 적응하지 못한다. 우리는 정보량과 관련된 이미지 임베딩의 균일성(uniformity)이 도메인 변화와 그 밖의 분포 변화를 구분하는 핵심 요인임을 발견했다. 이미지 손상에 대한 적응을 가능하게 하기 위해, 우리는 균일성 인식 정보 균형 TTA(uniformity-aware information-balanced TTA, UnInfo)라는 새로운 방법을 제안한다. 분포 변화를 해결하기 위해 균일성 인식 신뢰도 최대화, 정보 인식 손실 균형 조정, 그리고 지수 이동 평균(EMA) 교사 모델로부터의 지식 증류를 도입한다. 실험을 통해 UnInfo가 균일성 측면에서 정보를 보존함으로써 이미지 손상 상황에서의 정확도를 향상시킴을 보인다. 코드는 https://github.com/kzkadc/uninfo 에서 확인할 수 있다.

arXiv:2403.01560v3cs.CV공식 코드 · Papers with Code

XOV-Action: 일반화 가능한 오픈-보캐뷸러리 행동 인식을 향하여

XOV-Action: Towards Generalizable Open-Vocabulary Action Recognition

XOV-Action은 오픈-보캐뷸러리 행동 인식 모델이 미지의 비디오 도메인에서 일반화에 실패한다는 문제를 해결하기 위해, 다양한 텍스트 설명으로 행동 개념을 풍부하게 학습하는 Diversified Elaboration Representation Learning과 씬 편향을 제거하는 Scene-Aware Video-text Alignment를 제안한다. 이를 평가하기 위한 크로스-도메인 벤치마크 XOVABench도 함께 공개하며, 실험에서 클로즈드-셋 및 오픈-셋 행동 카테고리 모두에 걸쳐 도메인 일반화 성능이 향상됨을 입증했다.

arXiv:2305.14985v3cs.CV공식 코드 · Papers with Code

IdealGPT: 대규모 언어 모델을 통한 비전-언어 추론의 반복적 분해

IdealGPT: Iteratively Decomposing Vision and Language Reasoning via Large Language Models

비전-언어(VL) 이해 분야는 엔드-투-엔드 대규모 사전학습 VL 모델(VLMs)을 통해 전례 없는 발전을 이루었습니다. 그러나 이 모델들은 다단계 추론이 필요한 제로샷 추론 작업에서는 여전히 부족합니다. 이 목표를 달성하기 위해 이전 연구들은 분할 정복(divide-and-conquer) 파이프라인을 사용해 왔습니다. 본 논문에서 우리는 이전의 노력들이 몇 가지 본질적인 단점을 가지고 있다고 주장합니다: 1) 도메인 특화 하위 질문 분해 모델에 의존합니다. 2) 하위 질문이나 하위 답변이 불충분한 정보를 제공하더라도 모델이 최종 답변을 예측하도록 강요합니다. 우리는 대규모 언어 모델(LLMs)을 사용하여 VL 추론을 반복적으로 분해하는 프레임워크인 IdealGPT를 통해 이러한 한계점을 해결합니다. 구체적으로, IdealGPT는 하위 질문을 생성하기 위해 LLM을, 해당 하위 답변을 제공하기 위해 VLM을, 그리고 최종 답변에 도달하기 위해 추론하기 위해 또 다른 LLM을 활용합니다. 이 세 가지 모듈은 모델이 주요 질문에 대한 최종 답변을 확신할 때까지 분할 정복 절차를 반복적으로 수행합니다. 우리는 제로샷 설정 하에서 여러 가지 도전적인 VL 추론 작업에 대해 IdealGPT를 평가했습니다. 특히, 우리의 IdealGPT는 VCR에서 절대 10%, SNLI-VE에서 15%만큼 기존 최고의 GPT-4와 유사한 모델들을 능가했습니다. 코드는 https://github.com/Hxyou/IdealGPT 에서 확인할 수 있습니다.

arXiv:2403.18957v3cs.CY공식 코드 · Papers with Code

대규모 비전-언어 모델을 활용한 안전하지 않은 사용자 생성 콘텐츠 게임의 불법 온라인 이미지 홍보 조절

Moderating Illicit Online Image Promotion for Unsafe User-Generated Content Games Using Large Vision-Language Models

온라인 사용자 생성 콘텐츠 게임(UGCGs)은 사회적 상호작용과 더 창의적인 온라인 엔터테인먼트를 위해 어린이와 청소년 사이에서 점점 인기를 얻고 있습니다. 그러나 이들은 노골적인 콘텐츠에 노출될 높은 위험을 초래하며, 어린이와 청소년의 온라인 안전에 대한 우려를 증폭시키고 있습니다. 이러한 우려에도 불구하고, 우연히 어린 사용자를 유혹할 수 있는 소셜 미디어상의 안전하지 않은 UGCG의 불법 이미지 기반 홍보 문제를 다룬 연구는 거의 없습니다. 이러한 도전은 UGCG 이미지에 대한 포괄적인 학습 데이터를 확보하기 어렵고, 기존의 안전하지 않은 콘텐츠와는 다른 이러한 이미지의 독특한 특성에서 기인합니다. 본 연구에서는 안전하지 않은 UGCG의 불법 홍보 위협을 연구하는 최초의 단계를 내딛습니다. 우리는 게임 제작자가 UGCG를 홍보하기 위해 사용하는 다양한 성적으로 노골적이고 폭력적인 콘텐츠를 표시하는 2,924개의 이미지로 구성된 실제 데이터셋을 수집했습니다. 우리의 심층 연구는 이 문제에 대한 새로운 이해와 불법 UGCG 홍보를 자동으로 식별할 필요성의 시급성을 밝혀냈습니다. 또한, 우리는 소셜 미디어 플랫폼이 불법 UGCG 홍보에 사용되는 이미지를 효과적으로 식별하도록 돕기 위해 설계된 최첨단 시스템인 UGCG-Guard를 개발했습니다. 이 시스템은 최근 도입된 대규모 비전-언어 모델(VLMs)을 활용하고, 제로샷 도메인 적응을 위한 새로운 조건부 프롬프팅 전략과 문맥 식별을 위한 사고의 연쇄(CoT) 추론을 사용합니다. UGCG-Guard는 실제 시나리오에서 이러한 게임의 불법 홍보에 사용되는 이미지를 감지하는 데 있어 94%의 정확도를 기록하는 탁월한 결과를 달성했습니다.