PyTorchKR Papers

최신 논문

총 58편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12052v2cs.CV

학습 없는 합성 이미지 귀속에서의 표현과 참조 선택

Representation and Reference Selection in Training-Free Synthetic Image Attribution

Synthetic image attribution aims at identifying the generator responsible for a given AI-generated image. Training-free reference-based attribution methods are easily scalable, since newly emerging generators can be incorporated by adding source-specific references rather than retraining a task-specific classifier. Their performance depends on two coupled factors: the representation space used for comparison and the way source-specific references are constructed. However, the interaction between these two factors remains largely unexplored. In this paper, we provide a controlled analysis of this interaction using references and off-the-shelf pretrained representations. We study representations extracted from different layers of CLIP and DINOv2, along with three reference selection strategies with varying semantic constraints: arbitrary, semantically aligned, and resynthesis-based references. Our results show that attribution accuracy generally peaks at intermediate representation levels, indicating that source-discriminative cues are more accessible before strong semantic abstraction dominates. We further show that intermediate representations are not completely semantically neutral, making reference selection critical: semantically constrained references reduce query-reference mismatch and improve attribution, especially under limited reference budgets. Resynthesis is useful in low-reference regimes, while semantically aligned references provide a better accuracy-cost trade-off when a moderate-sized reference pool is available. Our findings show that training-free reference-based attribution should be understood as the interaction between where images are compared, how the reference set is constructed, and how many references are available. Code and datasets are available at https://github.com/meiling-fdu/RefPrint.

arXiv:2410.21582v4cs.CV

대규모 사전학습 데이터셋이 이미지 분류의 미세조정 후 강건성을 보장하지는 않는다

Large Pretraining Datasets Don't Guarantee Robustness after Fine-Tuning in Image Classification

대규모 사전학습(pre-training) 모델은 모델의 일반적인 성능을 유지하면서 새로운 기술을 습득할 수 있도록 미세조정(fine-tuning)을 통해 새로운 전문 태스크를 학습하기 위한 기반으로 널리 활용됩니다. 이러한 모든 모델에 있어 가치 있는 목표는 분포 외(OOD, out-of-distribution) 태스크에서도 우수한 성능을 발휘하는 능력인 강건성(robustness)입니다. 본 연구에서는 이미지 분류(image classification)에서 미세조정이 사전학습 모델의 전반적인 강건성을 보존하는지 평가하였으며, 대규모 데이터셋으로 사전학습된 모델이 심각한 파국적 망각(catastrophic forgetting)과 OOD 일반화 손실(loss)을 보인다는 점을 관찰했습니다. 미세조정된 모델의 강건성 보존 여부를 체계적으로 평가하기 위해, 우리는 강건성 상속 벤치마크(ImageNet-RIB, Robustness Inheritance Benchmark)를 제안합니다. 모든 사전학습 모델에 적용할 수 있는 이 벤치마크는 관련이 있지만 구별되는 일련의 OOD(다운스트림) 태스크로 구성되며, 해당 세트의 OOD 태스크 중 하나에서 미세조정을 수행한 후 나머지 태스크에서 테스트하는 방식으로 진행됩니다. 연구 결과, 지속 학습(continual learning) 방법이 도움이 되기는 하지만 미세조정은 사전학습 모델 전반에 걸쳐 강건성을 저하시키는 것으로 나타났습니다. 놀랍게도 가장 크고 다양한 데이터셋(예: LAION-2B)으로 사전학습된 모델은 더 작은 데이터셋으로 사전학습된 모델에 비해, 소규모 데이터셋에서 미세조정한 후 강건성 손실이 더 크고 절대적인 강건성 또한 더 낮았습니다. 대조학습으로 사전학습된(CLIP) 모델과 이를 미세조정한 변형 모델에서 이러한 붕괴 현상을 관찰했으며, 이는 사전학습 규모가 커질수록 심화되었습니다. 반면 우리가 테스트한 지도학습 모델에서는 이러한 현상이 나타나지 않았습니다. 이러한 결과는 가장 강력한 파운데이션 모델에서 시작하는 것이 전문 태스크 성능을 위한 최선의 접근 방식이 아닐 수도 있음을 시사합니다. https://jd730.github.io/projects/ImageNet-RIB

arXiv:2610.03370v1cs.CV

LAS-CLIP: CLIP 시각 인코더를 위한 경량 어댑터 스티어링 접근법

LAS-CLIP: A Lightweight Adapter Steering Approach for CLIP's Visual Encoder

CLIP의 시각 인코더는 전역(global) 이미지 표현만을 생성하므로 영역 수준 작업에서의 활용이 제한됩니다. 기존의 적응 방식들은 시각적 프롬프팅(visual prompting), 입력 마스킹, 또는 인코더 미세조정에 의존하며, 각각 사전학습된 표현을 손상시킵니다. 본 논문에서는 모든 CLIP 매개변수를 동결(frozen) 상태로 유지하는 경량 어댑터 스티어링 접근법인 LAS-CLIP을 제안합니다. 소형 MaskAdapter는 입력 마스크로부터 헤드별, 층별 어텐션 편향을 생성하여 동결된 셀프 어텐션 층에 주입함으로써 어텐션을 대상 영역으로 유도합니다. 결정적으로 백본이 엄격하게 변경되지 않은 상태로 유지되기 때문에, LAS-CLIP은 마스크가 제공되지 않을 때 바닐라 CLIP으로 원활하게 복귀하여 근본적인 제로샷(zero-shot) 능력을 보존합니다. 약 116K~145K개의 학습 가능한 매개변수와 두 대의 T4 GPU에서 100K개의 학습 샘플만으로, LAS-CLIP은 Alpha-CLIP이 수백만 개의 샘플에서 전체 인코더를 미세조정했음에도 불구하고 ImageNet-S 제로샷 분류 및 RefCOCO 지칭 표현 이해(referring expression comprehension)에서 경쟁력 있거나 우수한 결과를 달성합니다. 정성적 분석은 잘못된 마스크가 주어졌을 때와 다운스트림 생성 작업에서 더 강력한 표현 충실도를 추가로 확인해 줍니다. 프로젝트 페이지 링크는 https://github.com/AnhKhoa585/lasclip 입니다.

arXiv:2606.00435v5cs.CV

도약하기 전에 감지하라: 비전-언어 모델의 신기루 현상 탐지

Detect Before You Leap: Mirage Detection in Vision-Language Models

비전-언어 모델(VLM)은 관련 시각적 증거 없이도 확신에 찬 답변을 생성할 수 있으며, 이러한 실패 양상을 신기루(mirage)라고 부릅니다(Asadi et al., 2026). 본 연구에서는 사전 공개 신기루 탐지(pre-release mirage detection), 즉 VLM의 답변을 공개할지 보류할지를 결정하는 문제를 연구합니다. 우리가 제안하는 모델 비의존적 방법인 텍스트 조건부 층별 내부 정렬(TC-LIA)은 동결된 CLIP ViT-H/14 인코더의 여러 층에 걸쳐 질문-이미지 간 정렬을 추적하며, 최종 유사도, 후반 층 top-k 정렬, 초기-후반 간 이득 및 기울기를 통해 패치-텍스트 정렬을 요약합니다. TC-LIA는 고정된 프로젝션과 점수 가중치를 활용하여 배포 시 별도의 학습이 필요 없고(training-free), 레이블 특화 학습 없이도 독자적으로 강력한 탐지 성능을 제공합니다. 또한 빈 이미지/노이즈 탐지, 도메인 라우팅, VLM 자체 평가와 결합할 경우 앙상블을 형성하며, 이 앙상블의 지도학습은 성능을 향상시키지만 이는 선택적인 추가 기능입니다. 10개 VQA 도메인에 걸친 19,004개 샘플에서 14개의 최신 VLM은 57.3-75.0%의 기본 신기루 비율을 보였습니다. 제안된 TC-LIA 단독으로도 이를 7.5%로 낮추고 83.5%의 관련/무관/빈 이미지-노이즈 분류 정확도를 달성하며, 앙상블은 84.5-88.4%의 정확도와 5.9-7.2%의 신기루 비율에 도달합니다(최고 공동 결과: 정확도 88.4%, 신기루 비율 6.4%). 특히 단일 백본에서 학습된 앙상블은 보지 못한 백본으로도 잘 전이되어, 가장 우수한 전이 성능을 보인 소스는 13개의 미공개 VLM 전체에서 백본별 학습 대비 정확도 차이가 0.7%p 이내로 유지되었습니다.

arXiv:2512.04125v2cs.LG

ASCIIBench: 시각 지향 텍스트에 대한 언어 모델 기반 이해 평가

ASCIIBench: Evaluating Language-Model-Based Understanding of Visually-Oriented Text

대규모 언어 모델(LLM)은 스케일에 따라 추론과 장문 생성의 유창성 등 여러 창발적(emergent) 행동을 보여 왔다. 그러나 정밀한 공간·위치 추론이 필요한 과제에서는 여전히 어려움을 겪는다. 문자가 구조와 형태를 인코딩하는 기호적 매체인 ASCII art는 이러한 한계를 탐색하는 독특한 프로브가 된다. 본 논문은 ASCII 텍스트 이미지의 생성과 분류를 모두 평가하는 새로운 벤치마크 ASCIIBench를 제안한다. ASCIIBench는 5,315개의 클래스 라벨이 붙은 ASCII 이미지로 구성된 필터링된 데이터셋이며, 우리가 아는 한 동종의 최초 공개 벤치마크이다. 데이터셋과 함께 ASCII 구조를 포착하도록 적응된 파인튜닝 CLIP 모델의 가중치를 공개하여 LLM이 생성한 ASCII art 평가를 가능하게 한다. 분석 결과 CLIP 임베딩 위의 코사인 유사도는 대부분의 ASCII 클래스를 분리하지 못해, 분산이 낮은 클래스에서도 우연 수준의 성능을 낸다. 반면 내부 평균 유사도가 높은 클래스는 뚜렷한 변별력을 보여, 병목이 생성적 분산이 아니라 표현(representation)에 있음을 드러낸다. 이러한 결과는 ASCII art를 멀티모달 표현의 스트레스 테스트로 자리매김하고, 기호적 시각 양식에 맞춘 새로운 임베딩 방법이나 평가 지표 개발을 촉구한다. 모든 자료는 https://github.com/ASCIIBench/ASCIIBench 에서 이용할 수 있다.

arXiv:2609.27356v1cs.CV

평균 Foil을 넘어: 고정 CLIP 영역 설명의 최악-Foil 특이성 감사

Beyond Mean Foils: Auditing Worst-Foil Specificity in Frozen CLIP Region Explanations

한 영역이 대상 객체와 겹치면서도 다른 클래스에 더 크게 기여할 수 있다. 고정(frozen) CLIP에서 클러스터 기반 개념 중요도(Cluster-based Concept Importance, CCI)로 선택한 영역을 검증한다. COCO와 VOC, 두 체크포인트에 걸쳐 겹침 및 평균 대비(mean-contrast) 검사를 통과한 영역 중 41.08–64.78%가 가장 강한 경쟁 클래스에 대해 실패한다. 이미지에 주석된 경쟁 클래스를 제거해도 39.69–63.64%가 여전히 실패한다. 이어 이미지당 후보 영역 8개를 모두 검증한다. 대안 영역은 COCO에서 실패 사례의 6.25–7.84%, VOC에서 27.40–31.15%에 대해 검사를 통과한다. 원래 대상 점수 하락을 $\epsilon = 0.02$ 이내로 유지할 것을 요구하면 이 비율은 0.16–0.98%로 줄어든다. 사용 가능한 영역과 대상 점수 하락 허용치가 수리(repair)를 제한하며, 허용치를 완화하면 수리 기회가 늘어난다.

arXiv:2609.24564v1cs.CV

HyperCLIP++: 쌍곡 공간에서 개방 어휘 의미 분할을 위한 CLIP 미세조정

HyperCLIP++: Fine-tuning CLIP forOpen-vocabulary Semantic Segmentation in Hyperbolic Space

기초 비전-언어 모델인 CLIP은 개방 어휘 의미 분할(open-vocabulary semantic segmentation)에 강력한 도구로 부상했다. CLIP의 텍스트 인코더를 동결(freezing)하면 일반화 능력이 유지된다는 것이 알려져 있지만, 최근 연구들은 CLIP의 텍스트·이미지 인코더를 함께 미세조정하면 분할 성능, 특히 개방 집합(open set) 클래스에서 크게 향상된다고 보여준다. 본 연구에서는 미세조정 과정에서 이미지 임베딩(embedding)의 위계 수준이 이미지 수준에서 픽셀 수준으로 이동하기 때문에, 위계 정렬(hierarchy alignment) 관점에서 이 현상을 설명한다. 이를 위해 위계 구조를 자연스럽게 인코딩하는 쌍곡 공간(hyperbolic space)을 활용한다. 핵심 관찰은 미세조정 동안 CLIP 텍스트 임베딩의 쌍곡 반경(hyperbolic radius)이 감소하여 시각 데이터의 픽셀 수준 세분성과 더 잘 정렬된다는 점이다. 이를 바탕으로 HyperCLIP++라는 새로운 매개변수 효율적 적응 전략을 제안한다. HyperCLIP++는 스케일링 변환을 통해 CLIP 임베딩의 쌍곡 반경을 직접 조정하여 목표 과제인 분할에 맞는 위계 정렬을 달성한다. 두 모달리티 전반에 걸쳐 위계 정렬이 일관되게 이루어지고 학습 중 교차 모달 정렬이 유지되도록, HyperCLIP++는 비전·텍스트 경로 간 조정을 동기화하는 Dual Cross-Relation Communication(DCRC) 모듈을 통합한다. 실험 결과 HyperCLIP++는 CLIP 전체 매개변수의 약 5%만 미세조정하면서 세 벤치마크에서 최첨단(state-of-the-art) 성능을 달성한다. 더 중요하게, 조정 후 CLIP 텍스트 임베딩은 데이터셋에 걸쳐 상대적으로 고정된 쌍곡 반경을 보이며, 이 분할 과제에 필요한 위계 수준이 쌍곡 반경으로 정량화될 수 있음을 시사한다.

arXiv:2609.23717v1cs.CV

BindCLIP: 구성적 비전-언어 스코어링을 위한 하나의 균형 잡힌 커플링

BindCLIP: One Balanced Coupling For Compositional Vision Language Scoring

전역 비전-언어 유사도(global vision-language similarity)는 이미지와 캡션을 하나의 벡터로 압축하여 의미는 보존하지만, 어떤 단어가 어떤 영역에 대응하는지 또는 그 영역들이 어떻게 배치되어 있는지는 보존하지 못한다. 그 결과 모델은 모든 단어와 객체를 인식하면서도 구성적으로 잘못된 캡션을 선호할 수 있다. 우리는 고정된(frozen) 인코더가 이러한 연관 구조를 이미 보유하고 있으며, 따라서 문제는 사전학습된 유사도 옆에 이를 재구축하는 것이 아니라 그것을 읽어내는 것이라고 주장한다. 우리는 하나의 잠재 객체 위에 구축된 쌍별(pairwise) 스코어러인 BindCLIP을 제안한다: 이는 후보 캡션들과 여러 시각적 깊이(visual depth)를 하나의 계획(plan)에 배치하는 균형 잡힌 토큰-패치-깊이 최적수송(optimal-transport) 커플링이다. 의미적, 개체적, 순서적, 공간적 증거는 이 상태의 에너지로 읽히며, 후보들을 교환하면 계획이 치환되어 점수가 정확히 반대칭(antisymmetric)이 된다. 커플링 내부의 기하학적 정제(geometric refinement)는 후보들과 시각적 깊이가 뒷받침하지 않는 이동(move)을 수축시킨다. 과제 레이블, 파서(parser), 관계 목록(relation inventory), 검출기(detector)는 전혀 사용되지 않는다. 하나의 체크포인트와 하나의 추론 경로만으로 고정된 전역 CLIP 대비 공식 What'sUp, ARO, SugarCrepe 벤치마크에서 성능이 향상되며, 관계(relation) 분할에서 가장 강한 전이(transfer) 성능을 보인다. 대조군(control) 실험은 패치 접근이나 캡션 길이를 이용한 지름길(shortcut) 가능성을 배제하며, 추론 시점의 병변(lesion) 실험은 공간적 배치 정보가 커플링에 국지화되어 있음을 보여준다.

arXiv:2609.23600v1cs.CV

PETR: 비전-언어 모델을 위한 학습 불필요 라우팅 기반 프롬프트 앙상블

PETR: Prompt Ensembling with Training-free Routing for Vision-Language Models

프롬프트 학습(prompt learning)은 비전-언어(vision-language) 모델(VLM)을 다운스트림 태스크에 효율적으로 적응시키지만, 기존에 본 클래스(seen classes)에서의 성능 향상은 종종 보지 못한 클래스(unseen classes)에 대한 일반화 성능 저하를 초래합니다. 이러한 한계를 해결하기 위해, 우리는 학습 불필요 라우팅 기반 프롬프트 앙상블(PETR)을 제안합니다. 이 방법의 핵심 혁신은 정교하게 설계된 듀얼 프롬프트 아키텍처로, 서로 다른 데이터와 목적함수로부터 두 개의 상호 보완적인 프롬프트를 학습하여 각각 본 클래스 구별과 보지 못한 클래스 일반화를 강조합니다. 학습(training) 중에는 공유된 동결 CLIP 백본을 사용하여 두 프롬프트를 모두 파인튜닝(fine-tuning)하며, 학습 세트 로짓(logit)으로부터 통계 정보를 수집합니다. 추론(inference) 시점에는 각 테스트 샘플과 본 데이터 간의 유사도를 판별하고, 해당 샘플을 가장 적절한 프롬프트 브랜치로 라우팅합니다. 우리가 아는 한, 이는 통계적 유사성을 기반으로 학습 불필요 적응형 라우팅을 수행하는 최초의 프롬프트 튜닝 프레임워크입니다. 이러한 설계는 해석 가능한 라우팅 신호를 제공하며 라우터 학습 불안정성 및 부하 불균형과 같은 일반적인 전문가 혼합(MoE) 방식 라우팅의 병리적 현상을 방지합니다. 11개 벤치마크(benchmark) 데이터셋(dataset)에 대한 광범위한 실험은 제안하는 프레임워크가 본 클래스와 보지 못한 클래스 모두에서 기존 방법들을 일관되게 능가하며 새로운 최고 성능(state-of-the-art)을 달성함을 입증합니다.

arXiv:2609.23409v1cs.CV

검색 기하 구조가 캐시 기반 CLIP 적응을 좌우한다

Retrieval Geometry Shapes Cache-Based Clip Adaptation

캐시 기반 테스트 시점 적응(test-time adaptation)은 모델을 고정(frozen)한 채 타깃 스트림에서 예시를 저장하고 검색함으로써 CLIP의 예측을 향상시킨다. 그러나 기존 방법들은 이미지-이미지 검색에 사용되는 특징 공간을 대부분 고정된 것으로 취급하여, 적응이 검색 공간 자체에 얼마나 의존하는지는 밝혀지지 않은 채로 남아 있었다. 본 연구는 메모리를 고정하고 검색 인코더만 변경함으로써 이 질문을 탐구하며, 동일한 메모리라도 매우 다른 성능 향상을 가져올 수 있음을 발견하였다: 16개의 검색 공간에 걸쳐 ImageNet-A 캐시 성능 향상은 CLIP과 MAE의 경우 최대 +0.44점에 그치는 반면, DINOv2-L의 경우 +19.7 ± 0.4점에 달했으며, 레이블 없이(label-free) 검색 공간을 선택하는 방식은 ImageNet-V2에서 오라클(oracle) 성능 향상의 98%를 유지하였다. 이러한 결과는 메모리의 품질이 어떤 예시가 저장되는지뿐만 아니라 그것들이 어떻게 검색되는지에도 좌우됨을 보여준다. 이 발견에 착안하여, 우리는 예측에는 고정된(frozen) CLIP을, 검색에는 DINOv2-B를 사용하고 단일 융합 가중치(weight)를 적용하는 학습이 필요 없는(training-free) 시스템인 MARC(Memory Augmented Retrieval for CLIP)를 제안한다. 단일 뷰(single-view) 캐시는 약 7분의 1의 비용으로 1074 ± 21개의 기준선(baseline) 오류를 수정하는 반면, 64개 뷰 앙상블(ensemble)은 878 ± 4개를 수정하는 데 그친다. 네 가지 ImageNet 분포 이동(distribution shift)에 걸쳐 MARC는 67.91%의 분포 외(OOD) 평균 성능을 달성하였으며, 동일한 DINOv2-B 규모와 8개 뷰 조건에서 그래프 기반 캐시 시스템의 62.75 ± 0.15% 대비 64.17 ± 0.31%를 달성하면서도 2.6배 더 빠르게 동작하였다. 전반적으로, 본 연구의 결과는 원격 탐사(remote sensing), 과학 이미징(scientific imaging), 그리고 변화하는 시각 환경에서 강건한(robust) 캐시 기반 적응을 위해 검색 공간이 1차적인(first-order) 설계 선택 요소임을 확립한다.

arXiv:2609.23248v1cs.CV

SPACE: 도메인 적응을 위한 CLIP 임베딩의 의미적 투영 및 정렬

SPACE: Semantic Projection and Alignment of CLIP Embeddings for Domain Adaptation

비전 모델을 배포할 때 근본적인 난제는 도메인 시프트(domain shift)이며, 학습 데이터와 테스트 데이터의 분포가 달라 성능이 저하될 때 이를 야기한다. 동일한 의미 개념이 사진과 스케치처럼 서로 다른 시각적 형태로 나타날 때, 의미적으로는 대응하지만 시각적 유사성은 약해져 이 난제는 더욱 커진다. 기존 비지도 도메인 적응(domain adaptation) 방법은 도메인 간 분포를 맞추는 것을 목표로 하지만, 같은 클래스에 속한 샘플들 간의 의미적 관계를 종종 무시한다. 이 문제를 해결하기 위해 본 논문은 CLIP의 비전-언어(vision-language) 공간의 의미 구조를 도메인 적응에 활용하는 방법인 SPACE를 제안한다. 핵심 아이디어는 클래스 설명에 대한 CLIP 임베딩에 특이값 분해(Singular Value Decomposition)를 적용해 범주 간 의미적 관계를 포착하는 직교 기저(orthogonal basis)를 얻고, 텍스트 설명을 의미 앵커(semantic anchor)로 사용하는 것이다. 양 도메인의 시각 특징을 이 의미 부분공간(semantic subspace)에 투영하여, 외관이 아니라 의미에 기반해 이미지를 정렬한다.

arXiv:2609.22834v1cs.CV

SatOV: 원격 탐사 영상에서 학습이 필요 없는 개방형 어휘 분할을 위한 공간 사전 정보 복원

SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery

원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.

arXiv:2504.14280v2cs.CV공식 코드 · Papers with Code

CLIP 기반 도메인 일반화 및 도메인 적응: 종합 서베이

CLIP-Powered Domain Generalization and Domain Adaptation: A Comprehensive Survey

기계학습이 발전함에 따라 도메인 일반화(DG)와 도메인 적응(DA)은 다양한 환경에서 모델 견고성을 높이는 데 핵심이 되었다. Contrastive Language-Image Pretraining(CLIP)은 이러한 과제에서 중심적 역할을 하며, 보지 못한 도메인에서도 모델이 효과적으로 동작하게 하는 강력한 제로샷(zero-shot) 능력을 제공한다. 그러나 CLIP의 영향력이 커지고 있음에도 DG와 DA에서의 CLIP 응용을 체계적으로 검토한 종합 서베이는 없어, 본 리뷰의 필요성이 부각된다. 본 서베이는 CLIP 기반 DG와 DA에 대한 통합적이고 심층적인 개관을 제공한다. 방법을 검토하기에 앞서, 소스 접근성(SA vs. SF), 소스 수(SS vs. MS), 레이블 관계(CS, PS, OS, OPS)를 포괯하는 정밀하고 완전한 시나리오 정의를 수립하여, 이후 모든 분석을 구조화하는 일관된 분류 체계를 형성한다. DG에 대해서는 과제 정렬(task alignment)을 강화하는 프롬프트 최적화 기법과, 이전 가능한 특징 추출을 위해 CLIP을 백본(backbone)으로 활용하는 아키텍처로 방법을 분류한다. DA에 대해서는 레이블이 있는 소스 데이터에 의존하는 소스 이용(source-available) 접근과, 주로 타깃 도메인 샘플에서 동작하는 소스 프리(source-free) 접근을 모두 검토하며, 이질적 설정 간 적응을 가능하게 하는 지식 전이(knowledge transfer) 메커니즘을 강조한다. 또한 DG와 DA 모두에 대해 통합된 동향 분석을 제공하여, 전반적 패턴, 방법론적 원칙, 시나리오 의존적 행동을 드러낸다. 이어 현실적 배포 시나리오, LLM 지식 통합, 멀티모달 융합, 해석 가능성(interpretability), 파국적 망각(catastrophic forgetting) 등 핵심 과제를 논의하고, 확장 가능하고 신뢰할 수 있는 CLIP 기반 DG·DA 시스템 개발을 위한 향후 방향을 개괄한다. 본 서베이는 실제 시나리오에서 CLIP 기반 도메인 견고성을 발전시키기 위한 실행 가능한 통찰을 제공한다.

arXiv:2607.24465v1cs.CV

프롬프트 학습 기반 모델 병합을 위한 전문가 학습 재고

Rethinking Expert Training for Model Merging with Prompt Learning

모델 병합은 공유 기반 모델로부터 학습된 여러 도메인 특화 전문가를 단일 다중 과제 모델로 결합하는 것을 목표로 한다. 기존 접근법은 대체로 병합 절차 자체를 개선하는 데 집중하며, 일반적으로 전체 매개변수 미세조정을 통해 얻은 전문가를 가정한다. 본 연구에서는 모델 병합을 위한 전문가 학습을 재검토한다. 먼저 프롬프트 기반 적응이 강력한 기준선을 제공함을 보인다. 독립적으로 학습된 프롬프트는 백본을 고정한 채 여러 과제에 활용할 수 있으며, 가중치 병합으로 인한 간섭을 피할 수 있다. 이 관찰을 바탕으로, 먼저 프롬프트를 학습한 다음 비전 인코더를 미세조정하는 2단계 학습 전략인 Dual-Tuned Experts(DTEs)를 제안한다. 이는 과제별 매개변수 갱신의 크기를 줄이고 병합 호환성이 더 높은 전문가를 생성한다. 다양한 CLIP 아키텍처, 전체 미세조정, LoRA 전문가에 걸친 실험은 DTEs가 표준 병합 접근법의 병합 성능을 일관되게 향상시키며, 이질적인 전문가 집합을 결합할 때에도 효과적임을 보여준다.

arXiv:2607.23981v1cs.CV

오픈 월드 객체 검출을 위한 멀티모달 의미-확률적 객체성

Multimodal Semantic-Probabilistic Objectness for Open World Object Detection

오픈 월드 객체 검출(OWOD)은 검출기가 알려진 범주를 인식하고, 보지 못한 범주의 이름 없는 객체를 발견하며, 새로 주석이 달린 클래스를 점진적으로 학습해야 한다. PROB는 디코더-쿼리 공간에서 클래스에 구애받지 않는 확률적 객체성(objectness)을 모델링하여 미지 객체 발견을 개선한다. 그러나 시각적 객체성만으로는 객체 같은 쿼리가 어려운 알려진 인스턴스, 보지 못한 범주의 객체, 또는 배경 잡음에 해당하는지 판별할 수 없어, 알려진-미지(known-unknown) 결정 경계가 모호해진다. 우리는 MSPO를 제안한다. 이는 PROB에 작업 인식(task-aware) 알려진 범주 언어 사전(prior)을 보강하는 경량 의미 보정(semantic calibration) 프레임워크로, 검출기 아키텍처와 점진적 학습 프로토콜은 그대로 유지한다. 현재 알려진 각 범주에 대해 MSPO는 범주 속성, 시각적 외형, 전형적인 장면, 기능적 용도를 포괄하는 확장 텍스트 설명을 구성하고, 고정(frozen) CLIP 텍스트 인코더로 이를 인코딩한다. 디코더 쿼리 특징은 동일한 의미 공간으로 투영되어, 현재 알려진 범주 의미로부터의 지지(support)를 추정한다. 이 의미적 증거는 PROB의 시각적 객체성과 융합되어, OWOD를 개방 어휘(open-vocabulary) 분류로 바꾸지 않고 알려진/미지 예측을 보정한다. 중요하게, MSPO는 미래 범주 이름을 절대 사용하지 않으며, 평가 동안 모든 보지 못한 범주는 이름 없는 상태로 유지된다. M-OWODB 및 S-OWODB에서의 실험은 MSPO가 강력한 PROB 기준선의 주요 집계 지표를 개선하면서 경쟁력 있는 미지 재현율을 유지함을 보여준다. 또한 초기 미지 혼동 지표를 개선하고 PASCAL VOC 최종 mAP를 최대 2.7 포인트 향상시킨다. 이러한 결과는 표준 OWOD 설정에서 알려진 범주 언어 의미가 확률적 객체성에 대한 효과적인 보정 신호를 제공함을 보여준다.

arXiv:2607.23271v1cs.CV

CLIP이 알지만 말하지 못하는 것: 동결된 중간 특징으로부터 부정 복원

What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features

CLIP과 같은 대조적 비전-언어 모델은 의미적으로 상반된 구문(예: "a dog" vs. "not a dog")을 거의 동일한 임베딩으로 매핑하여 부정에 둔감하게 만든다. 우리는 이 실패를 Representational Collapse(표현 붕괴)라고 부르는 현상에 기인한다고 본다. CLIP 텍스트 인코더 전반에 걸쳐 구성적 발산과 시각적 정렬을 추적함으로써, 중간 층이 구성적 구문을 형성하지만 최종 층에서는 시각적 정렬이 증가함에 따라 이 구조가 붕괴되어 구문을 인식하지 못하는 최종 표현이 생성됨을 보인다. 사전학습된 가중치를 변경하지 않고 잃어버린 부정 신호를 복원하기 위해, 우리는 구성적 정점에서 인코더를 가로채는 경량 사후 보정 시스템인 PeakPatch를 제안한다. 임베딩 보정 네트워크(ECN)는 크로스-어텐션을 사용하여 정점 층에서 안정적인 기준선에 고정된 부정 특화 신호를 추출하고, 잃어버린 구문을 최종 층 임베딩 공간에 재주입하는 편차 벡터를 예측한다. 보완적인 점수 보정 네트워크(SCN)는 판별적 작업을 위해 유계 스칼라 점수 오프셋을 예측한다. 두 모듈은 모든 CLIP 파라미터가 동결된 상태에서 end-to-end로 공동 학습되며, 5.2M 파라미터(백본의 3.5%)만 추가하고 표준 코사인 유사도 인터페이스를 유지한다. NegBench에서 PeakPatch는 COCO MCQ에서 74.3%(CLIP 대비 +35.1, 최고 인코더 미세조정 방법 대비 +17.8), VOC MCQ에서 65.5%를 달성하며, 파라미터의 3.5%만 학습했음에도 완전히 분포 외(out-of-distribution) 부정 검색에서 모든 미세조정 기준선을 능가한다. 보정된 임베딩은 텍스트-이미지 생성에도 전이되며(+18.4 부정 점수), ViT-B/32, ViT-L/14, SigLIP 백본 전반에 일반화된다. 프로젝트 URL: https://stevencylu.github.io/PeakPatch/.

arXiv:2607.22919v1cs.CV

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

arXiv:2607.21970v1cs.CV

TextSLIP: 의료 보고서 생성을 위한 텍스트 자기지도 CLIP

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.

arXiv:2507.16257v2cs.CV

고품질 텍스트, 견고한 비전: 비전-언어 모델의 시각적 견고성 향상에서 언어의 역할

Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models

CLIP과 같은 사전학습 비전-언어 모델(VLM)을 적대적 공격으로부터 방어하는 것은 중요하다. 이 모델들은 이미지 분류를 포함한 다양한 제로샷 작업에서 널리 사용되기 때문이다. 그러나 견고한 미세조정을 위한 기존 적대적 학습(AT) 방법들은 시각적 견고성을 향상시키는 데 있어 언어의 역할을 대체로 간과한다. 구체적으로, (1) 지도 AT 방법은 적대적 교란을 생성하기 위해 짧은 텍스트(예: 클래스 레이블)에 의존하여 학습 데이터의 객체 클래스에 과적합되는 경향이 있고, (2) 비지도 AT는 이러한 과적합을 피하지만 의미적 안내의 부재로 인해 실용적인 텍스트 유도 적대적 공격에 대해 여전히 최적이 아니다. 이러한 한계를 해결하기 위해, 우리는 학습 중 고품질 캡션을 활용하여 이미지에 존재하는 다양한 의미론으로부터 적대적 예시를 유도하는 Quality Text-guided Adversarial Fine-Tuning(QT-AFT)을 제안한다. 이를 통해 시각 인코더가 적대적 노이즈 하에서도 더 넓은 범위의 이미지 특징을 견고하게 인식할 수 있게 되어, 다양한 하류 작업 전반에 걸쳐 견고성이 향상된다. QT-AFT는 기존 방법의 핵심 약점—지도 AT의 과적합과 비지도 AT의 의미 인식 부족—을 극복하여, 16개의 제로샷 데이터셋에서 평가한 결과 최첨단 제로샷 적대적 견고성과 클린 정확도를 달성한다. 또한, 포괄적인 연구를 통해 비전 견고성 향상에서 언어의 역할에 대한 여러 핵심 통찰을 밝혔다. 예를 들어, 객체명 외에 객체 속성을 기술하는 것이 제로샷 견고성을 더욱 향상시킨다. 우리의 발견은 향후 연구의 시급한 방향—견고한 시각적 표현 학습에서 고품질 언어적 감독을 중심에 두는 것—을 제시한다.

arXiv:2607.13805v2cs.CV

AspectCLIP: 측면 가이드 일관성 정규화를 통한 CLIP 표현 공간 최적화

AspectCLIP: Optimizing CLIP Representation Space via Aspect-Guided Consistency Regularization

대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining)은 대규모 대조 학습을 통해 공유 표현 공간을 학습한다. 그러나 전역 일관성 정규화를 적용하는 기존 방법들은 핵심적인 과제를 간과한다: 이미지와 텍스트 간의 고유한 정보 비대칭성이다. 캡션은 일반적으로 이미지의 특정 측면만을 기술하므로, 유사한 시각적 내용을 가진 이미지가 완전히 상이한 텍스트 내용 및 의미 정보와 짝지어질 수 있다. 결과적으로 전역 정규화는 캡션이 서로 다른 측면을 기술하는 시각적으로 유사한 이미지들 사이에 부적절하게 제약을 가하고, 표현 공간에 의미적 왜곡을 도입한다. 우리는 이러한 1:N 구조를 존중하도록 일관성 정규화를 재구성하는 프레임워크인 AspectCLIP을 제안한다. AspectCLIP은 먼저 텍스트 유사도에 기반하여 학습 샘플을 속성 클러스터로 분할하여 측면 일관성이 있는 그룹을 식별하고, 각 클러스터 내에서는 완전한 순환 일관성을 적용하면서 클러스터 간 정규화는 프로토타입 수준의 비교로 제한한다. 이러한 측면 가이드 정규화는 이미지와 텍스트가 일관된 측면을 기술할 때만 엄격한 기하학적 정렬을 강제하고, 상이한 측면들 사이에서는 유연성을 허용한다. 하위 과제에 대한 광범위한 실험을 통해 AspectCLIP이 기존 방법을 일관되게 능가하고 더 구조화된 표현 공간을 달성함을 보여준다.