PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03370v1cs.CV

LAS-CLIP: CLIP 시각 인코더를 위한 경량 어댑터 스티어링 접근법

LAS-CLIP: A Lightweight Adapter Steering Approach for CLIP's Visual Encoder

CLIP의 시각 인코더는 전역(global) 이미지 표현만을 생성하므로 영역 수준 작업에서의 활용이 제한됩니다. 기존의 적응 방식들은 시각적 프롬프팅(visual prompting), 입력 마스킹, 또는 인코더 미세조정에 의존하며, 각각 사전학습된 표현을 손상시킵니다. 본 논문에서는 모든 CLIP 매개변수를 동결(frozen) 상태로 유지하는 경량 어댑터 스티어링 접근법인 LAS-CLIP을 제안합니다. 소형 MaskAdapter는 입력 마스크로부터 헤드별, 층별 어텐션 편향을 생성하여 동결된 셀프 어텐션 층에 주입함으로써 어텐션을 대상 영역으로 유도합니다. 결정적으로 백본이 엄격하게 변경되지 않은 상태로 유지되기 때문에, LAS-CLIP은 마스크가 제공되지 않을 때 바닐라 CLIP으로 원활하게 복귀하여 근본적인 제로샷(zero-shot) 능력을 보존합니다. 약 116K~145K개의 학습 가능한 매개변수와 두 대의 T4 GPU에서 100K개의 학습 샘플만으로, LAS-CLIP은 Alpha-CLIP이 수백만 개의 샘플에서 전체 인코더를 미세조정했음에도 불구하고 ImageNet-S 제로샷 분류 및 RefCOCO 지칭 표현 이해(referring expression comprehension)에서 경쟁력 있거나 우수한 결과를 달성합니다. 정성적 분석은 잘못된 마스크가 주어졌을 때와 다운스트림 생성 작업에서 더 강력한 표현 충실도를 추가로 확인해 줍니다. 프로젝트 페이지 링크는 https://github.com/AnhKhoa585/lasclip 입니다.

arXiv:2607.08267v1cs.CV

UniRef-UAV: UAV 영상에서의 범용 참조를 위한 멀티모달 벤치마크

UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery

UAV 영상에서 텍스트 전용·이미지 전용·텍스트+이미지 쿼리를 모두 지원하고 대상 없음·단일·다중 타깃 그라운딩을 포함하는 범용 참조(Universal Referring) 태스크를 정의하고, 22개 공개 UAV 데이터셋 기반의 멀티모달 벤치마크 UniRef-UAV(15만 건 이상의 쿼리 샘플)와 이종 쿼리를 공유 쿼리 공간으로 매핑하는 탐지 방식 기준선 UAV-URNet을 제안한다. UAV-URNet은 대형 범용 MLLM 대비 더 일관된 대상 없음 판별과 경량화된 재현 가능성을 보이며, 멀티모달 쿼리가 시각적 쿼리 모호성을 줄이고 통합된 쿼리-대상 정렬 공간을 형성함을 실험으로 입증한다.

arXiv:2606.13156v1cs.CV

반복적 시각적 사고: 시각적 피드백을 통한 비전-언어 모델의 공간 자가 수정 학습

Iterative Visual Thinking: Teaching Vision-Language Models Spatial Self-Correction through Visual Feedback

비전-언어 모델(VLM)은 강력한 원샷(one-shot) 공간 그라운딩을 달성하지만, 자신의 예측을 관찰하고 수정할 수 있는 메커니즘이 없습니다. VLM이 자신의 예측을 렌더링한 시각화를 반복하도록 단순히 프롬프트를 주면 치명적인 실패가 발생함을 발견했습니다: 지시 표현 이해(referring expression comprehension)에서 [email omitted] 79.6%에서 48.7%로 급락(31%p 하락)하여, 그라운딩 능력과 자가 수정 능력 사이의 근본적 격차를 드러냅니다. 우리는 반복적 시각적 사고(IVT)를 제안합니다. 이는 모델이 바운딩 박스를 예측하고, 이미지에 렌더링된 예측을 관찰하며, 시각적 피드백을 통해 반복적으로 정제하는 폐루프(closed-loop) 프레임워크입니다. 2단계 학습 절차가 자가 수정 격차를 해소합니다: 첫째, 기본 모델의 자체 예측을 현실적인 오류로 활용하고 교사 VLM에게 수정 추론 궤적을 생성하도록 프롬프트하여 인간 주석 없이 지도 학습 데이터를 확보합니다. 둘째, 다단계 정제를 안정화하기 위해 단순한 IoU 보상과 함께 그룹 상대 정책 최적화(GRPO)를 적용합니다. RefCOCOg, Ref-Adv, Ref-L4(505개 테스트 샘플)에 걸친 혼합 벤치마크에서 IVT를 적용한 SFT 웜업은 모든 지표에서 원샷 기본 모델을 능가했습니다: [email omitted] 82.0%(+2.4%p), [email omitted] 74.1%(+3.2%p), [email omitted] 48.3%(+2.8%p)로 상승했습니다. GRPO는 단계별 IoU 저하를 5배 더 줄여 정제 궤적을 안정화합니다. 모든 학습은 단일 GPU에서 2,400개 샘플만 사용하며, 공간 자가 수정이 적은 규모에서도 주입 가능한 학습 가능한 능력임을 입증합니다.