arXiv:2008.07641

Learning Graph Edit Distance by Graph Neural Networks

Pau Riba, Andreas Fischer, Josep Lladós, Alicia Fornés

제출 2020-08-17

원문 초록

The emergence of geometric deep learning as a novel framework to deal with graph-based representations has faded away traditional approaches in favor of completely new methodologies. In this paper, we propose a new framework able to combine the advances on deep metric learning with traditional approximations of the graph edit distance. Hence, we propose an efficient graph distance based on the novel field of geometric deep learning. Our method employs a message passing neural network to capture the graph structure, and thus, leveraging this information for its use on a distance computation. The performance of the proposed graph distance is validated on two different scenarios. On the one hand, in a graph retrieval of handwritten words~\ie~keyword spotting, showing its superior performance when compared with (approximate) graph edit distance benchmarks. On the other hand, demonstrating competitive results for graph similarity learning when compared with the current state-of-the-art on a recent benchmark dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28290v1cs.CL공통 태그 Retrieval, Metric Learning

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.27142v1cs.CV공통 태그 Retrieval, Metric Learning

MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화

MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders

고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.

arXiv:2609.23307v1cs.IR공통 태그 Retrieval, Metric Learning

의미 기반 후보자-직무 매칭: 하이브리드 검색에서 밀집 임베딩 모델의 비교 평가

Semantic Candidate-Job Matching: A Comparative Evaluation of Dense Embedding Models in Hybrid Retrieval

본 논문은 대량 채용 워크플로에서 의미적 후보자-직무 매칭을 위한 밀집 임베딩 모델에 대한 비교 평가를 제시한다. 유입되는 직무 기술서는 LLM 기반 파싱을 통해 구조화된 영어 검색 텍스트와 언어별 키워드로 변환되며, 후보자 프로필은 의미적으로 강화된 이력서 표현으로 색인된다. 벡터 유사도와 전문(full-text) 관련성을 상호 순위 융합(RRF)으로 결합하는 통합 하이브리드 검색 파이프라인 안에서 EmbeddingGemma(base)와 Cached Multiple Negatives Ranking Loss(MNRL)로 미세조정한 EmbeddingGemma를 비교 평가하고, 배포된 직무-후보자 매칭 채점 파이프라인으로 점수를 매긴 배치 비교 평가 데이터셋에서 둘 다 MPNet 모델과 벤치마크한다. 또한 모델 개발 과정에서 검토한 대조(contrastive) 미세조정 목표의 더 넓은 집합(AnglE/CoSENT 스타일 정제 포함)을 수학적으로 상세히 기록하고, 선호 구성으로 Cached-MNRL-only 적응만 유지한 경험적 근거를 제시한다. 재현 가능한 모델 선택을 지원하기 위해 동일한 하이브리드 검색 프로토콜 하에서 표준 정보 검색 지표(재현율@K, mean reciprocal rank, nDCG)를 포함하는 더 넓은 평가 프레임워크를 정의하되, 본 논문에서 보고하는 평가에 실제로 사용한 지표는 미세조정 수렴 진단과 배포된 AI-Match 점수 및 독립적인 LLM-as-a-Judge 관련성 점수를 활용한 배치 비교 평가이며, 전체 프레임워크를 측정한 것처럼 암시하지 않고 이 범위를 명시적으로 밝힌다. 본 논문은 범용 임베딩 벤치마크와 기업 환경의 직무-후보자 매칭 제약 사이의 간극을 다루며, 현실적인 직무-후보자 검색 조건에서 임베딩 전략을 비교할 수 있는 구조화된 기반을 제공한다.

arXiv:2609.24152v1cs.IR공통 태그 Retrieval, Metric Learning

대규모 이커머스 시각 검색을 위한 등급별 관련성 합성 멀티모달 검색

Graded-Relevance Composed Multimodal Retrieval for E-commerce Visual Search at Scale

대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.

arXiv:2609.02012v2cs.CV공통 태그 Retrieval, Metric Learning

POI-Loc: 세밀한 POI 로컬라이제이션 벤치마크 및 비대칭 전역-지역 매칭 기법

POI-Loc: A Fine-Grained POI Localization Benchmark and an Asymmetric Global-to-Local Matching Method

관심 지점(POI, Point-of-interest) 로컬라이제이션은 사용자가 제공한 매장 전면 근접 촬영 사진을 위치 태그(geo-tagged)가 지정된 차량 탑재 광각 스트리트 뷰 내 동일한 매장과 매칭한다. 주변 장면은 유사하게 유지되는 반면 POI는 변경될 수 있으므로, 장면 수준의 인식만으로는 POI의 동일성을 확립할 수 없다. 또한 대상 스케일 및 촬영 도메인의 차이는 매칭을 더욱 어렵게 만든다. 우리는 우리가 아는 한 이 비대칭적이고 세밀한(fine-grained) POI 로컬라이제이션 작업을 전담하는 최초의 벤치마크인 POI-Loc을 소개한다. 많은 시각적 장소 인식 방법들은 각 이미지를 단일 전역 벡터로 표현하는데, 이는 복잡한 배경 속에서 작은 매장 전면의 세밀한 특징을 희석시키는 경향이 있다. 우리는 전역 및 지역적 근거를 결합하기 위해 GLAM(Global-to-Local Asymmetric Matching)을 제안한다. 1단계에서는 학습 가능한 소프트 top-k 상호작용을 통해 단일 어텐션 풀링(attention-pooled) 쿼리 프로브를 압축된 참조 영역 토큰과 매칭하고, 그 결과로 도출된 지역 유사도를 검색을 위한 전역 유사도와 융합한다. 2단계에서는 어텐션 풀링 이전의 쿼리 영역 토큰과 저장된 참조 토큰을 재사용하여 상호 최근접 이웃 재순위화를 수행한다. GLAM은 Recall@1/5/10 및 mAP에서 전역 및 2단계 베이스라인을 모두 능가하며, FoL 대비 재순위화 특징은 약 $5\times$ 더 작고 쌍별 매칭 비용은 $280\times$ 더 낮다. 벤치마크와 코드는 https://github.com/roadhan/glam 에서 공개될 예정이다.

arXiv:2607.23451v1cs.CV공통 태그 Retrieval, Metric Learning

Prompt-S6와 시맨틱 인식 지식 가이던스를 활용한 다중 모달 객체 재식별

Multi-Modal Object Re-Identification with Prompt-S6 and Semantic-Aware Knowledge Guidance

다중 모달 객체 재식별(ReID)은 여러 모달리티의 상보적 정보를 통합하여 특정 객체를 검색하는 것을 목표로 한다. 그러나 기존 다중 모달 ReID 방법은 배경 간섭 억제나 삼중 모달 정렬을 효과적으로 다루지 못하고, 대신 쌍별 특징 융합에 집중한다. 또한 현재 많은 집계 접근법은 높은 계산 복잡도를 겪는다. 이러한 한계를 해결하기 위해, 우리는 Prompt-S6(PS6)와 시맨틱 인식 지식 가이던스를 기반으로 한 새로운 다중 모달 ReID 프레임워크인 PRISM을 제안한다. PS6는 Mamba의 선형 복잡도와 강력한 시퀀스 모델링 능력을 유지하면서 효율적인 교차 모달 상호작용을 가능하게 한다. 이러한 장점을 활용하여, 우리는 두 가지 핵심 구성 요소인 시맨틱 기반 토큰 가지치기(Semantic-Driven Token Pruning, SDTP)와 점진적 융합 네트워크(Progressive Fusion Network, PFN)를 설계한다. 분할 기반 모델(segmentation foundation models)에서 시맨틱 사전 정보를 파싱한 SDTP는 이 사전 정보를 활용하고 동적 토큰 가지치기를 적용하여 배경 노이즈를 억제하고 특징 표현을 정제한다. PFN은 다중 모달 특징을 점진적으로 집계하여 삼중 모달 정렬을 달성하고 모달리티 상보성을 충분히 활용한다. 제안된 모듈을 통해 PRISM은 복잡한 시나리오에서 더 견고한 다중 모달 표현을 생성한다. 네 가지 다중 모달 객체 ReID 벤치마크에 대한 광범위한 실험은 우리 접근법의 효과와 효율성을 입증한다. 소스 코드는 https://github.com/zw-absin/PRISM 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.