많은 상용 대규모 언어 모델(LLM)은 종종 폐쇄형(closed-source)이어서, 개발자가 특정 응용에 맞게 콘텐츠 생성을 정렬(alignment)하기 위해 프롬프트 튜닝에만 의존하게 제한된다. 이러한 모델은 현재 토큰 로짓에 대한 접근을 제공하지 않지만, 그러한 접근이 가능하다면 프롬프트 엔지니어링을 넘어선 더 강력한 적응(adaptation) 기법을 가능하게 할 것이라고 주장한다. 본 논문에서는 로짓 접근과 소량의 태스크별 데이터가 주어졌을 때, 블랙박스 LLM을 응용별 콘텐츠 생성 방향으로 효과적으로 유도할 수 있는 토큰 수준 확률 재가중(reweighting) 프레임워크를 제안한다. 우리 접근법은 다음 토큰 예측을 지도 분류(supervised classification)의 관점에서 본다. 블랙박스 LLM을 태스크별 데이터와 정렬하는 문제를 레이블 노이즈 보정(label noise correction) 문제로 형식화할 수 있음을 보이며, 이는 로짓만으로 동작하는 자기회귀(autoregressive) 확률 재가중 모델인 Plugin 모델로 이어진다. 태스크 적응을 위해 로짓 재가중만으로 충분한 이유에 대한 이론적 근거를 제공한다. 다양한 데이터셋, LLM, 재가중 모델을 사용한 광범위한 실험은 본 방법의 효과를 보여 주며, 폐쇄형 모델에서 토큰 로짓에 대한 더 넓은 접근을 촉구한다.
기계학습이 발전함에 따라 도메인 일반화(DG)와 도메인 적응(DA)은 다양한 환경에서 모델 견고성을 높이는 데 핵심이 되었다. Contrastive Language-Image Pretraining(CLIP)은 이러한 과제에서 중심적 역할을 하며, 보지 못한 도메인에서도 모델이 효과적으로 동작하게 하는 강력한 제로샷(zero-shot) 능력을 제공한다. 그러나 CLIP의 영향력이 커지고 있음에도 DG와 DA에서의 CLIP 응용을 체계적으로 검토한 종합 서베이는 없어, 본 리뷰의 필요성이 부각된다. 본 서베이는 CLIP 기반 DG와 DA에 대한 통합적이고 심층적인 개관을 제공한다. 방법을 검토하기에 앞서, 소스 접근성(SA vs. SF), 소스 수(SS vs. MS), 레이블 관계(CS, PS, OS, OPS)를 포괯하는 정밀하고 완전한 시나리오 정의를 수립하여, 이후 모든 분석을 구조화하는 일관된 분류 체계를 형성한다. DG에 대해서는 과제 정렬(task alignment)을 강화하는 프롬프트 최적화 기법과, 이전 가능한 특징 추출을 위해 CLIP을 백본(backbone)으로 활용하는 아키텍처로 방법을 분류한다. DA에 대해서는 레이블이 있는 소스 데이터에 의존하는 소스 이용(source-available) 접근과, 주로 타깃 도메인 샘플에서 동작하는 소스 프리(source-free) 접근을 모두 검토하며, 이질적 설정 간 적응을 가능하게 하는 지식 전이(knowledge transfer) 메커니즘을 강조한다. 또한 DG와 DA 모두에 대해 통합된 동향 분석을 제공하여, 전반적 패턴, 방법론적 원칙, 시나리오 의존적 행동을 드러낸다. 이어 현실적 배포 시나리오, LLM 지식 통합, 멀티모달 융합, 해석 가능성(interpretability), 파국적 망각(catastrophic forgetting) 등 핵심 과제를 논의하고, 확장 가능하고 신뢰할 수 있는 CLIP 기반 DG·DA 시스템 개발을 위한 향후 방향을 개괄한다. 본 서베이는 실제 시나리오에서 CLIP 기반 도메인 견고성을 발전시키기 위한 실행 가능한 통찰을 제공한다.
본 논문은 CLIP을 효과적이고 일반화 가능한 얼굴 위조 탐지기로 변환하도록 설계된 어댑터 네트워크인 Forensics Adapter를 소개한다. CLIP은 매우 다재다능하지만, 위조 관련 지식이 광범위한 무관한 지식과 얽혀 있어 얼굴 위조 탐지에 맞추는 것은 사소하지 않다. 기존 방법들은 CLIP을 단순히 특징 추출기로만 다루며 작업별 적응이 부족하여 효과가 제한된다. 이를 해결하기 위해, 작업별 목표의 안내 하에 위조된 얼굴에 고유한 블렌딩 경계인 얼굴 위조 흔적을 학습하는 어댑터를 도입한다. 그런 다음 CLIP과 어댑터 간 지식을 교환하는 전용 상호작용 전략으로 CLIP 시각 토큰을 강화한다. 어댑터가 CLIP과 병행하므로 CLIP의 다재다능성이 크게 유지되어, 얼굴 위조 탐지에서 강한 일반화 성능이 자연스럽게 보장된다. 학습 가능한 파라미터가 $\textbf{5.7M}$에 불과함에도, 우리 방법은 6개의 표준 데이터셋에서 우수한 성능을 달성한다. 또한 새롭게 제안한 위조 인식 프롬프트 학습 전략을 통해 텍스트 모달리티를 통합하는 확장 방법인 Forensics Adapter++를 설명한다. 이 확장은 원래 Forensics Adapter 대비 추가로 $\textbf{1.3\%}$의 성능 향상을 가져온다. 제안한 방법들이 향후 CLIP 기반 얼굴 위조 탐지 방법의 기준선이 될 수 있다고 믿는다. 코드는 https://github.com/OUC-VAS/ForensicsAdapter 에 공개되었다.
최근 대규모 언어 모델(LLM)의 발전으로 자연어 인터페이스(NLI)가 데이터 탐험에 널리 접근 가능해졌지만, 광범위한 분석 목표를 가진 분석가들은 특히 낯선 다중 테이블 관계형 데이터베이스에서 이를 효과적인 단계별 쿼리로 분해하는 데 여전히 어려움을 겪는다. 고수준 분석 의제를 생성하는 대신, 관계형 데이터베이스 탐험을 위한 분석적 보조 구조로 작동하는 의미·맥락 인식 다음 단계 쿼리 추천으로 NLI를 보강하는 방법을 조사한다. 본 접근법은 의미적 관련성, 데이터 흥미로움, 맥락 일관성을 공동으로 통합하여 탐험을 일관되고 주제 중심적인 분석 및 잠재적으로 통찰력 있는 부분집합으로 이끄는 방식으로 흥미로움만을 사용하는 방법을 넘어선다. NL2SQL 벤치마킹, LLM 강화 설명 검증, 흥미로움만 사용하는 기준선 및 LLM 기반 프롬프팅 기준선에 대한 에이전틱 비교, 12명 참가자 사용자 연구로 QRec-NLI를 평가한다. 에이전틱 비교에서 QRec-NLI는 두 기준선 모두보다 주제적으로 더 관련성 있고 국소적으로 더 일관된 쿼리 시퀀스를 생성한다. 흥미로움만 사용하는 기준선과의 사용자 연구에서, 통찰 생성 지원 및 의사결정 지원에 대해 더 높은 평가를 받는다.
대규모 언어 모델(LLM)이 점점 더 제한된 라이선스 하에 공개되면서, 견고한 모델 소유권 검증에 대한 수요가 커지고 있다. 기존 지문(fingerprinting) 방법은 하류 파인튜닝(downstream finetuning)에서 종종 취약하며, 침습적인 학습 수정을 필요로 하거나 블랙박스 설정에서 실패한다. 우리는 희귀 영역 지문을 통해 LLM 계보를 식별하는 견고한 프레임워크인 RAFP를 제안한다. 핵심 통찰은, 하류 파인튜닝이 주로 일반적인 고밀도 언어 행동을 갱신하는 반면, 낮은 확률의 프롬프트 영역은 파인튜닝된 분포 하에서 약한 최적화 신호와 제한적인 그래디언트 정렬만을 받는다는 것이다. 그 결과, 희귀한 프롬프트-응답 행동은 일반적인 모델 적응을 가로질러 안정적으로 유지된다. RAFP는 비침습적이며, 모델 가중치를 수정하지 않고 희귀 프롬프트에 대한 이산 그래디언트 기반 최적화를 통해 지문을 구성한다. 파인튜닝 하에서 희귀 영역 지문의 가능도 변화가 유계로 남는다는 것을 보여주는 이론적 분석을 제공한다. 4개 LLM 패밀리와 지도 학습(supervised finetuning), LoRA, 양자화, 프롬프트 템플릿 변화, 디코딩 변경 등 다양한 하류 적응에 걸친 실험은, RAFP가 강한 지문 지속성을 달성하고 블랙박스 설정에서 기존 지문 기준선을 크게 능가함을 보여준다.
온라인 사용자 생성 콘텐츠 게임(UGCGs)은 사회적 상호작용과 더 창의적인 온라인 엔터테인먼트를 위해 어린이와 청소년 사이에서 점점 인기를 얻고 있습니다. 그러나 이들은 노골적인 콘텐츠에 노출될 높은 위험을 초래하며, 어린이와 청소년의 온라인 안전에 대한 우려를 증폭시키고 있습니다. 이러한 우려에도 불구하고, 우연히 어린 사용자를 유혹할 수 있는 소셜 미디어상의 안전하지 않은 UGCG의 불법 이미지 기반 홍보 문제를 다룬 연구는 거의 없습니다. 이러한 도전은 UGCG 이미지에 대한 포괄적인 학습 데이터를 확보하기 어렵고, 기존의 안전하지 않은 콘텐츠와는 다른 이러한 이미지의 독특한 특성에서 기인합니다. 본 연구에서는 안전하지 않은 UGCG의 불법 홍보 위협을 연구하는 최초의 단계를 내딛습니다. 우리는 게임 제작자가 UGCG를 홍보하기 위해 사용하는 다양한 성적으로 노골적이고 폭력적인 콘텐츠를 표시하는 2,924개의 이미지로 구성된 실제 데이터셋을 수집했습니다. 우리의 심층 연구는 이 문제에 대한 새로운 이해와 불법 UGCG 홍보를 자동으로 식별할 필요성의 시급성을 밝혀냈습니다. 또한, 우리는 소셜 미디어 플랫폼이 불법 UGCG 홍보에 사용되는 이미지를 효과적으로 식별하도록 돕기 위해 설계된 최첨단 시스템인 UGCG-Guard를 개발했습니다. 이 시스템은 최근 도입된 대규모 비전-언어 모델(VLMs)을 활용하고, 제로샷 도메인 적응을 위한 새로운 조건부 프롬프팅 전략과 문맥 식별을 위한 사고의 연쇄(CoT) 추론을 사용합니다. UGCG-Guard는 실제 시나리오에서 이러한 게임의 불법 홍보에 사용되는 이미지를 감지하는 데 있어 94%의 정확도를 기록하는 탁월한 결과를 달성했습니다.