arXiv:2308.09096

Identity-Aware Semi-Supervised Learning for Comic Character Re-Identification

Gürkan Soykan, Deniz Yuret, Tevfik Metin Sezgin

제출 2023-08-17

원문 초록

Character re-identification, recognizing characters consistently across different panels in comics, presents significant challenges due to limited annotated data and complex variations in character appearances. To tackle this issue, we introduce a robust semi-supervised framework that combines metric learning with a novel 'Identity-Aware' self-supervision method by contrastive learning of face and body pairs of characters. Our approach involves processing both facial and bodily features within a unified network architecture, facilitating the extraction of identity-aligned character embeddings that capture individual identities while preserving the effectiveness of face and body features. This integrated character representation enhances feature extraction and improves character re-identification compared to re-identification by face or body independently, offering a parameter-efficient solution. By extensively validating our method using in-series and inter-series evaluation metrics, we demonstrate its effectiveness in consistently re-identifying comic characters. Compared to existing methods, our approach not only addresses the challenge of character re-identification but also serves as a foundation for downstream tasks since it can produce character embeddings without restrictions of face and body availability, enriching the comprehension of comic books. In our experiments, we leverage two newly curated datasets: the 'Comic Character Instances Dataset', comprising over a million character instances and the 'Comic Sequence Identity Dataset', containing annotations of identities within more than 3000 sets of four consecutive comic panels that we collected.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05268v5cs.CV공통 태그 Metric Learning, Contrastive Learning

기하 구조가 실제로 작동하는가? 쌍곡 비전-언어 모델의 위계에 대한 작동점 감사

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

쌍곡 비전-언어 모델은 추상성을 기하학적으로 인코딩하도록 설계되어 있다. 일반적인 개념은 원점 근처에, 구체적인 개념은 더 먼 곳에 놓이며, 함의 원뿔(entailment cone)은 방향성 있는 순서를 나타낸다. 본 연구는 학습된 MERU, HyCoCLIP, PHyCLIP 모델이 이러한 메커니즘을 실제로 사용하는지 묻는다. 공개된 일곱 개의 체크포인트와 이에 대응하는 처음부터 학습한 개입 모델을 감사한다. 감사한 수렴 체크포인트는 모두 무차원 반경 $u=\sqrt{c}\rho$에서 거의 유클리드적인 상태에 머문다. 이미지 측에서 관측된 최댓값은 $0.37$로, 국소 계량 왜곡이 $10\%$에 이르는 $u\approx0.84$에 크게 못 미친다. 곡률 하한을 해제하면 곡률과 노름은 변하지만 이 영역은 바뀌지 않으며, 하위 과제 성능 변화는 일관되지 않고 대체로 미미하다. 학습된 함의 원뿔은 포화되었거나 거의 포화되어 있어, 낮은 위반율은 학습된 순서가 아니라 지나치게 넓은 원뿔에서 비롯될 수 있다. 사전 등록된 의미 순회는 가지 내부의 약한 순서는 검출하지만 전체 위계를 읽어 내는 작동 가능한 판독은 검출하지 못한다. 셔플 대조 검정은 공개된 체크포인트에서 쌍별 고유의 반경 순서를 검출하지 못하며, 대응하는 세 개의 ViT-B 시드 전체에서 일관된 양성 결과도 없다. 이 비검출은 민감도에 의해 제한된다. 이 진단은 셔플 대조 초과분이 약 13.5 pp일 때에야 검정력 $80\%$에 도달하는 반면, 공개 모델 중 가장 큰 격차는 약 5 pp이다. 우리는 이를 낮은 곡률 지름길로 추적한다. 곡률을 낮추면 순서를 학습하지 않고도 함의 원뿔이 넓어져 위반이 억제된다. 조사한 궤적에서 그래디언트 분해는 붕괴 중 곡률을 낮추는 지배적 압력이 함의 항임을 보여 준다. 그러나 함의를 제거해도 곡률은 수축하므로 이 지름길이 유일한 원인은 아니다. 우리의 진단 아래에서 감사한 정식화들은 작동하는 반경 기반 또는 원뿔 기반 위계를 입증하지 못한다. 우리는 이 감사를 향후 위계 주장을 평가하기 위한 다섯 개 수치의 기하 보고서로 정리한다.

arXiv:2609.27142v1cs.CV공통 태그 Metric Learning, Contrastive Learning

MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화

MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders

고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.

arXiv:2609.23307v1cs.IR공통 태그 Metric Learning, Contrastive Learning

의미 기반 후보자-직무 매칭: 하이브리드 검색에서 밀집 임베딩 모델의 비교 평가

Semantic Candidate-Job Matching: A Comparative Evaluation of Dense Embedding Models in Hybrid Retrieval

본 논문은 대량 채용 워크플로에서 의미적 후보자-직무 매칭을 위한 밀집 임베딩 모델에 대한 비교 평가를 제시한다. 유입되는 직무 기술서는 LLM 기반 파싱을 통해 구조화된 영어 검색 텍스트와 언어별 키워드로 변환되며, 후보자 프로필은 의미적으로 강화된 이력서 표현으로 색인된다. 벡터 유사도와 전문(full-text) 관련성을 상호 순위 융합(RRF)으로 결합하는 통합 하이브리드 검색 파이프라인 안에서 EmbeddingGemma(base)와 Cached Multiple Negatives Ranking Loss(MNRL)로 미세조정한 EmbeddingGemma를 비교 평가하고, 배포된 직무-후보자 매칭 채점 파이프라인으로 점수를 매긴 배치 비교 평가 데이터셋에서 둘 다 MPNet 모델과 벤치마크한다. 또한 모델 개발 과정에서 검토한 대조(contrastive) 미세조정 목표의 더 넓은 집합(AnglE/CoSENT 스타일 정제 포함)을 수학적으로 상세히 기록하고, 선호 구성으로 Cached-MNRL-only 적응만 유지한 경험적 근거를 제시한다. 재현 가능한 모델 선택을 지원하기 위해 동일한 하이브리드 검색 프로토콜 하에서 표준 정보 검색 지표(재현율@K, mean reciprocal rank, nDCG)를 포함하는 더 넓은 평가 프레임워크를 정의하되, 본 논문에서 보고하는 평가에 실제로 사용한 지표는 미세조정 수렴 진단과 배포된 AI-Match 점수 및 독립적인 LLM-as-a-Judge 관련성 점수를 활용한 배치 비교 평가이며, 전체 프레임워크를 측정한 것처럼 암시하지 않고 이 범위를 명시적으로 밝힌다. 본 논문은 범용 임베딩 벤치마크와 기업 환경의 직무-후보자 매칭 제약 사이의 간극을 다루며, 현실적인 직무-후보자 검색 조건에서 임베딩 전략을 비교할 수 있는 구조화된 기반을 제공한다.

arXiv:2609.24152v1cs.IR공통 태그 Metric Learning, Contrastive Learning

대규모 이커머스 시각 검색을 위한 등급별 관련성 합성 멀티모달 검색

Graded-Relevance Composed Multimodal Retrieval for E-commerce Visual Search at Scale

대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.

arXiv:2607.14113v1cs.CL공통 태그 Metric Learning, Contrastive Learning

T5-CSBoost: 적대적 교란에 강인한 LLM 핑거프rinting

T5-CSBoost: Adversarial Perturbation Resistant LLM Fingerprinting

많은 AI 생성 텍스트(AIGT) 탐지기는 깨끗한 입력에서 강한 성능을 달성하지만, 가벼운 패러프레이징(paraphrasing), 단어 치환, 문자 편집, 분포 이동(distribution shift) 하에서 정확도가 크게 저하된다. 본 논문은 T5 Contrastive Style Boosted Classifier(T5-CSBoost)를 제안한다. 이는 T5-Sentinel 프레임워크의 확장으로, 출처 귀속(source attribution)을 위해 원래의 다음 토큰 예측 목적(next-token prediction objective)을 유지하면서 디코더 임베딩(decoder embeddings) 위에 보조적인 마진 기반 트리플릿 손실(triplet loss)을 도입한다. 이러한 대비 스타일 정규화(contrastive style regularization)는 컴팩트하고 교란에 강인한 스타일 표현(stylistic representations)의 학습을 촉진하며, 기존 T5-small 백본을 변경하지 않으면서 아키텍처 수정, 적대적 학습(adversarial training), 또는 복잡한 다중 과제 목적(multi-task objectives)에 의존하는 선행 접근법에 대한 경량이면서도 효과적인 대안을 제공한다. T5-CSBoost는 OpenLLMText 및 HC3 AIGT 벤치마크에서 최신 최고 수준의 다중 클래스 출처 귀속 및 이진 human-vs-LLM 탐지 성능을 달성한다. 더 중요한 것은, T5-CSBoost가 최대 90% 강도의 단어 및 문자 수준 적대적 교란(adversarial perturbations)에 대한 강화된 강건성(robustness)을 보여주며, 미공개 모델(unseen models), 미공개 도메인(unseen domains), 극단적 패러프레이징 시나리오를 포함한 도전적인 MAGE/Deepfake 스트레스 테스트 스위트에서 최신 최고 성능을 달성한다는 점이다. 우리 결과는 대비 학습(contrastive learning)을 통해 스타일 임베딩을 명시적으로 정규화하는 것이 실제 적대적 환경에서 더 강건한 LLM 핑거프rinting 시스템을 구축하기 위한 실용적이고 효과적인 전략임을 보여준다.

arXiv:2607.09888v1cs.CV공통 태그 Metric Learning, Contrastive Learning

카탈로그-실세계 간극 해소: 다단계 대조 학습을 통한 확장 가능한 상품 인식

Bridging the Catalog-to-Real Gap: Scalable Product Recognition via Multi-Stage Contrastive Learning

자동화된 상품 인식은 현대 리테일 인텔리전스의 핵심이다. 그러나 방대한 기업 카탈로그에 대해 실세계 매장 이미지를 정확하게 매칭하는 것은 대규모 응용에서 여전히 주요한 확장성 병목으로 남아 있다. 본 연구에서는 이 과제를 표준적인 폐쇄형 집합 분류(classification) 작업이 아닌 임베딩(embedding) 기반 교차 도메인 검색 문제로 재정의함으로써 이 문제에 접근한다. 구체적으로, 광범위한 인벤토리로부터 주어진 실세계 상품 쿼리 크롭에 대해 가장 대응되는 카탈로그 참조 이미지를 검색하는 것을 목표로 정의한다. 깔끔한 스튜디오 팩샷과 노이즈가 있는 매장 내 쿼리 사이의 심각한 도메인 격차를 해소하기 위해, 본 논문은 새로운 카탈로그-실세계 다단계 대조 학습 패러다임(Cat2Real)을 제안한다. 이 프레임워크는 아이템 수준 및 이미지 수준 유사도를 체계적으로 활용하여 타깃화된 하드 네거티브 마이닝을 유도함으로써 비전 백본을 파인튜닝한다. 광범위한 실증적 평가를 통해, 제안된 패러다임이 미학습 상품 및 카테고리로 원활하게 확장됨을 입증하며, 새로운 인벤토리에 대한 실세계 학습(training) 이미지가 전혀 없는 상황에서도 뛰어난 제로샷(zero-shot) 일반화 성능을 달성함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.