PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02831v1cs.AI

AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.

arXiv:2609.24152v1cs.IR

대규모 이커머스 시각 검색을 위한 등급별 관련성 합성 멀티모달 검색

Graded-Relevance Composed Multimodal Retrieval for E-commerce Visual Search at Scale

대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.

arXiv:2607.12621v1cs.CV

비전 없는 CIR을 향하여: 제로샷 구성 이미지 검색을 위한 속성 증강 스코어링과 LLM 기반 재순위화

Towards Vision-Free CIR: Attribute-Augmented Scoring and LLM-Based Reranking for Zero-Shot Composed Image Retrieval

최근 연구는 이미지를 텍스트로 표현하는 "비전 없는(Vision-Free)" 접근법이 표준 이미지 검색 작업에 효과적일 수 있음을 보여주었다. 그러나 텍스트 설명에 내재된 정보 손실로 인해, 이러한 패러다임이 보다 복잡한 멀티모달 과제인 구성 이미지 검색(Composed Image Retrieval, CIR)을 효과적으로 처리할 수 있는지는 아직 불분명하다. 본 논문에서는 두 가지 핵심 기법을 통해 이 과제를 해결하는 비전 없는 CIR 프레임워크를 제안한다: (1) 명시적 속성 매칭을 통해 손실된 시각적 세부 정보를 보완하는 속성 증강 하이브리드 스코어링(Attribute-Augmented Hybrid Scoring), (2) 상위 후보들의 의미적 일관성을 검증하는 LLM 기반 재순위화(LLM-Based Reranking). 오픈 도메인 CIRR 데이터셋에서의 실험은 우리 접근법이 기존 제로샷 CIR 방법들을 능가함을 보여준다(44.04% R@1, +8.79%). FashionIQ에서는 우리 결과가 의미적 추론과 세밀한 시각적 매칭 사이의 트레이드오프를 부각한다. 절제 연구는 속성 증강 스코어링과 LLM 기반 재순위화 모두가 일관되게 성능을 향상시킴을 보여준다.

arXiv:2607.00374v1cs.CV

합성 학습: 제로샷 합성 이미지 검색을 위한 프록시 태스크 설계 재고찰

Learning to Compose: Revisiting Proxy Task Design for Zero-Shot Composed Image Retrieval

제로샷 합성 이미지 검색(ZS-CIR)에서 기존 방법들이 미리 정의된 합성 메커니즘에 특징 표현을 맞추는 데 그쳐 합성 함수 자체를 학습하지 못하는 문제를 해결하기 위해, FoCo는 수정 관련 시각 콘텐츠에 집중하는 텍스트 앵커 시각 집계와 이를 맥락 조건부로 완성하는 두 단계의 학습 가능한 합성 메커니즘을 제안한다. 네 가지 ZS-CIR 벤치마크에서 최첨단 성능을 달성하며 향상된 일반화 능력을 입증하였다.

arXiv:2606.31222v1cs.AI

Thinking Before Retrieving: Robust Zero-Shot Composed Image Retrieval via Strategic Planning and Self-Criticism

제로샷(zero-shot) 복합 이미지 검색(Composed Image Retrieval)에서 단일 패스 생성 전략이 야기하는 의미 왜곡 및 환각(hallucination) 전파 문제를 해결하기 위해, PEC-CIR은 Planner–Executor–Critic 구조의 다단계 추론 파이프라인으로 검색 쿼리를 구성하는 학습 불필요(training-free) 프레임워크를 제안한다. FashionIQ와 CIRR 벤치마크 실험에서 기존 학습 불필요 방식 대비 최고 성능을 달성했다.

arXiv:2602.00813v5cs.CV

학습 없는 제로샷 컴포지드 이미지 검색을 위한 Paracosm 생성

Generating a Paracosm for Training-Free Zero-Shot Composed Image Retrieval

컴포지드 이미지 검색(CIR)에서 참조 이미지와 수정 텍스트로만 암묵적으로 정의되는 정신적 이미지(mental image)를 대규모 멀티모달 모델(LMM)로 직접 생성하고, 데이터베이스 실제 이미지에도 합성 대응물을 만들어 합성-실제 도메인 격차를 줄이는 학습 없는 제로샷 방법 Paracosm을 제안한다. 어려운 벤치마크에서 기존 제로샷 CIR 방법들을 크게 능가하는 성능을 달성한다.

arXiv:2606.19684v1cs.CV

패션 이미지 검색을 위한 멀티모달 대규모 언어 모델 및 2단계 미세조정 탐구

Exploring Multi-Modal Large Language Models and Two-Stage Fine-Tuning for Fashion Image Retrieval

구성 이미지 검색은 참조 이미지와 수정된 텍스트 설명으로 구성된 쿼리를 사용하여 대상 이미지를 검색합니다. 패션 도메인에서 이 작업은 색상, 패턴, 질감과 같은 미세한 속성 변화를 이해하는 것이 필요합니다. 하지만 기존 접근 방식은 부족한 주석 데이터와 단순한 네거티브 샘플링으로 인해 한계가 있습니다. 우리는 속성 인식 트리플렛을 생성하기 위해 멀티모달 대규모 언어 모델(LLaVA)을 통합하고 대비 학습을 강화하기 위해 2단계 미세조정 전략을 도입하는 새로운 프레임워크를 제안합니다. CLIP-ViT/B32와 같은 사전학습된 비전-언어 모델을 활용하여 상대 캡션과 함께 문장 수준 프롬프트를 생성하고 연결하며, 정적 표현을 사용하여 네거티브의 수를 확장합니다. 실험 결과는 향상된 구성적 추론과 개선된 정밀 검색 성능을 입증하며, 패션 검색을 위한 제안된 프레임워크의 실현 가능성과 잠재력을 강조합니다.

arXiv:2606.18992v1cs.CV

보여주고 묻지 마라: 턴 유효 커버리지를 갖는 합성 이미지 검색을 위한 생성적 시각적 모호성 해소

Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

합성 이미지 검색(CIR)은 참조 이미지와 텍스트 수정을 사용하여 대상 이미지를 검색합니다. 그러나 이러한 쿼리는 종종 하나의 정확한 대상보다는 여러 가능한 이미지를 설명하므로, 사용자의 의도를 모호하게 만듭니다. 최근 방법들은 모호성을 추정하기 위해 컨포멀 예측(conformal prediction)을 사용하고 사용자에게 명확화 텍스트 질문을 함으로써 이 문제를 해결합니다. 그러나 이러한 방법에는 두 가지 제한이 있습니다: 커버리지 보장이 첫 번째 상호작용에서만 유지되며, 텍스트 질문은 외관, 속성 또는 시점과 같은 세밀한 시각적 차이를 해결하는 데 종종 부족합니다. 우리는 사용자에게 시각적 대안들의 작은 패널을 보여줌으로써 모호성을 해결하는 명확화 프레임워크인 CLARA를 제안합니다. 텍스트 질문에 답하는 대신, 사용자는 의도한 대상에 가장 가까운 프로토타입 이미지를 단순히 선택합니다. 이는 직접적인 시각적 신호를 제공하고 사용자의 답변을 예측하기 위해 모델(model)에 의존하는 것을 피합니다. 여러 상호작용 라운드에 걸쳐 유효한 컨포멀 보장을 유지하기 위해, CLARA는 사용자의 선택에 의해 유도된 가능도(likelihood) 비율을 사용하여 보정(calibration)을 재가중합니다. 표시된 프로토타입들은 또한 현재 후보 집합을 나타내도록 제약되며 실제 말뭉치(corpus) 이미지에 스냅(snapped)되어, 생성된 이미지가 커버리지를 인위적으로 향상시킬 수 없음을 보장합니다. 오픈 도메인 및 패션 벤치마크(benchmark)에 대한 실험 결과, CLARA는 단일 턴 최신 검색 성능과 대등하며, 상호작용 라운드 전반에 걸쳐 명목상 커버리지를 유지하고, 강력한 텍스트 질문 기준선(baseline)보다 더 적은 라운드로 의도한 대상을 찾는 것으로 나타났습니다. 시각적 명확화가 텍스트 질문보다 더 효과적인 시점이나 세밀한 속성과 관련된 모호성의 경우, 그 장점이 특히 명확합니다.

arXiv:2606.13427v1cs.CV

VietFashion: 문화 의상 스케치-텍스트 합성 이미지 검색 벤치마크

VietFashion: Benchmarking Sketch-Text Composed Image Retrieval for Cultural Outfits

문화 의상은 시각 검색 시스템에 독특한 도전을 제기하며, 그 정체성은 종종 미묘한 구조적·상징적 세부사항에 의존하는데 표준 AI 모델이 이를 잘 포착하지 못한다. 우리는 전통 베트남 의상인 Ao Dai를 중심으로 한 스케치-텍스트 합성 이미지 검색(sketch-text composed image retrieval)을 위한 새로운 벤치마크인 VietFashion을 소개한다. VietFashion은 의상 구조를 전달하는 손그림 스케치와 문화적 의미를 담은 텍스트 설명을 결합하여, 디자이너와 연구자가 문화적으로 의미 있는 의상을 검색할 수 있게 한다. 데이터셋은 650개의 스케치로 초기화되었으며, 생성 모델을 사용해 확장하여 정렬된 캡션이 포함된 21,000개 이상의 사실적 이미지를 생성했다. 상세한 의상 속성을 묘사하는 텍스트 프롬프트는 진정성과 다양성을 보장하기 위해 패션 잡지에서 추출된다. 설계 의도의 고유한 모호성을 더 잘 반영하기 위해 VietFashion은 단일 쿼리가 여러 유효한 결과에 대응할 수 있는 다중 타깃 검색 설정을 채택한다. 우리는 표준화된 평가 프로토콜을 수립하고 최신 합성 이미지 검색 방법들을 벤치마킹한다. 실험 결과는 미세한 문화적 의미와 다중 모달 합성 모델링에서 상당한 성능 격차를 보여주며, 이는 VietFashion을 미세 단위 패션 검색을 위한 도전적인 벤치마크로 자리매김한다. 데이터셋은 https://hng0303.github.io/VietFashion 에서 공개 제공된다.

arXiv:2606.11689v1cs.CV

RankVR: 강건한 합성 이미지 검색을 위한 저계수 구조 인식 및 가치 재보정

RankVR: Low-Rank Structure Perception and Value Recalibration for Robust Composed Image Retrieval

합성 이미지 검색(CIR)은 모델이 참조 이미지와 수정 텍스트에 대해 결합 추론을 수행해야 하는 중추적인 패러다임입니다. 그러나 대규모 데이터셋에서 노이즈 삼중항 대응(NTC)의 만연은 모델 성능을 심각하게 제약합니다. 기존 노이즈 제거 방법들은 이진 불일치만을 대상으로 하거나 스칼라 기반 포인트와이즈 추정에 의존하여, 샘플 집단 간의 풍부한 전역 구조적 상관관계와 학습 중의 동적 가치 변화를 간과하여 준최적의 결과를 초래합니다. 본 논문은 의미론적 상관관계의 전역 구조적 불일치와 하드 샘플 식별 불확실성이라는 두 가지 중요한 미해결 과제를 식별합니다. 이를 해결하기 위해, 우리는 전역 구조 일관성과 동적 가치 인식을 통해 강건한 CIR 모델을 구축하도록 설계된 RankVR 프레임워크를 제안합니다. 구체적으로, 우리는 상관 행렬의 유효 계수를 활용하여 구조적 노이즈로부터 깨끗한 샘플을 분리하는 전역 구조 일관성 인식(GSCP) 모듈을 도입합니다. 계수 차이를 측정함으로써, GSCP는 거시적 의미론적 대칭성을 깨뜨리는 샘플들을 식별합니다. 더 나아가, 우리는 높은 가치를 가진 하드 클린 샘플을 구별하기 위해 적응형 의미론적 가치 보정(ASVC) 모듈을 개발합니다. 학습 잠재력과 신뢰성을 통합하여, 각 삼중항의 의미론적 가치를 동적으로 정량화함으로써, 논리적 충돌로 특징지어지는 노이즈를 억제하면서 하드 샘플의 효과적인 활용을 보장합니다. FashionIQ 및 CIRR 벤치마크 데이터셋에 대한 광범위한 실험을 통해 RankVR이 기존 최신 방법론들을 상당히 능가함을 입증하며, 노이즈 환경에서의 우수한 강건성을 검증합니다.

arXiv:2606.07032v1cs.CV

전에 본 적 없는: 일관된 비디오 출처 데이터셋으로 진정한 제로샷 구성 이미지 검색 벤치마킹

Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

제로샷 구성 이미지 검색(Zero-Shot Composed Image Retrieval, ZS-CIR)은 학습 샘플 없이 참조 이미지와 상대적 캡션으로 구성된 쿼리를 기반으로 목표 이미지를 검색하는 것을 목표로 한다. 기존 ZS-CIR 데이터셋은 노이즈가 많은 이미지 출처로 인해 참조 이미지와 목표 이미지 사이에 완전한 무관성이 발생하는 문제가 있으며, CLIP과 같은 모델이 학습에 사용한 공개 이미지 데이터셋을 활용하기 때문에 진정한 제로샷 시나리오를 달성하지 못한다. 이러한 과제를 해결하기 위해, 우리는 ZS-CIR을 위한 새로운 벤치마크인 ZeroSight를 제안한다. 이 벤치마크는 비디오에서 추출한 일관된 참조-목표 쌍으로 구성된 데이터셋, 데이터 구축 파이프라인, 그리고 다수의 양성 및 음성 목표 이미지의 순위를 고려하는 평가 방법을 포함한다. 단일 비디오에서 프레임을 추출하고 LLM 보조 방법으로 상대적 캡션을 생성함으로써 시각적·의미적으로 일관된 참조-목표 쌍을 보장한다. 진정한 제로샷 시나리오를 보장하기 위해 2022년 3월 31일 이후에 공개된 비디오 데이터를 사용하여 CLIP의 사전학습 데이터에 포함되지 않았음을 보장한다. 또한 학습 없이 MLLM 기반 방법인 SC4CIR(Symmetric Consistency for CIR)을 제안하며, 이는 3가지 대칭 일관성 검사를 통해 어려운 음성 목표를 효과적으로 식별할 수 있다. 이 방법은 플러그 앤 플레이 방식으로 다양한 CIR 방법과 원활하게 통합되며 성능을 크게 향상시킨다. 27개 방법에 대한 실험 결과, 현재 ZS-CIR 데이터셋과 평가 지표가 검색 성능을 부풀려 CIR 방법의 능력을 과장하고 있음을 보여준다. 우리의 벤치마크와 모델은 https://github.com/sotayang/ZeroSight 에서 접근할 수 있다.