arXiv:2208.00493

Scrutinizing Shipment Records To Thwart Illegal Timber Trade

Debanjan Datta, Sathappan Muthiah, John Simeone, Amelia Meadows, Naren Ramakrishnan

제출 2022-07-31

원문 초록

Timber and forest products made from wood, like furniture, are valuable commodities, and like the global trade of many highly-valued natural resources, face challenges of corruption, fraud, and illegal harvesting. These grey and black market activities in the wood and forest products sector are not limited to the countries where the wood was harvested, but extend throughout the global supply chain and have been tied to illicit financial flows, like trade-based money laundering, document fraud, species mislabeling, and other illegal activities. The task of finding such fraudulent activities using trade data, in the absence of ground truth, can be modelled as an unsupervised anomaly detection problem. However existing approaches suffer from certain shortcomings in their applicability towards large scale trade data. Trade data is heterogeneous, with both categorical and numerical attributes in a tabular format. The overall challenge lies in the complexity, volume and velocity of data, with large number of entities and lack of ground truth labels. To mitigate these, we propose a novel unsupervised anomaly detection -- Contrastive Learning based Heterogeneous Anomaly Detection (CHAD) that is generally applicable for large-scale heterogeneous tabular data. We demonstrate our model CHAD performs favorably against multiple comparable baselines for public benchmark datasets, and outperforms them in the case of trade data. More importantly we demonstrate our approach reduces assumptions and efforts required hyperparameter tuning, which is a key challenging aspect in an unsupervised training paradigm. Specifically, our overarching objective pertains to detecting suspicious timber shipments and patterns using Bill of Lading trade record data. Detecting anomalous transactions in shipment records can enable further investigation by government agencies and supply chain constituents.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13660v1cs.LG공통 태그 Anomaly Detection, Contrastive Learning

CLIP 잠재 공간의 초구면 기하학: 의미적 혼합 모델

The Hyperspherical Geometry of CLIP Latent Space: A Semantic Mixture Model

Contrastive Language-Image Pretraining(CLIP) 표현은 코사인 유사도에 의해 지배되는 의미적 임베딩 공간을 형성하며, 이는 내재적인 초구면 기하학을 반영한다. 그러나 기존의 확률적 해석은 일반적으로 가우시안 가정에 의존하는데, 이는 이러한 방향성 및 다중모달 구조를 포착하지 못한다. 우리는 단위 초구면 위에 정의된 von Mises-Fisher(MovMF) 혼합 분포에 기반한 CLIP 잠재 공간을 위한 원칙적인 밀도 모델을 제안한다. 기대-최대화(EM) 알고리즘을 사용하여, 각 혼합 성분이 일관된 의미 개념에 대응하는 확률적 모델을 효율적으로 학습한다. 이 공식화는 초구면 기하학과 자연스럽게 정렬된 닫힌형 가능도를 산출하여, 정확하고 해석 가능한 밀도 추정을 가능하게 한다. 실험적으로, 우리의 모델은 롱테일 및 분포 외(out-of-distribution) 탐지를 크게 개선하고, 각 임베딩을 해석 가능한 개념들의 희소 확률적 조합으로 표현하는 자연스러운 의미 분해를 제공한다. 이러한 결과는 CLIP 잠재 공간이 등방성 가우시안보다는 초구면 의미 혼합으로 더 충실하게 특성화된다는 것을 시사하며, 다중모달 표현을 모델링하고 이해하기 위한 단순하고 기하학적으로 일관된 확률적 프레임워크를 확립한다. 프로젝트 페이지는 https://xiaoyuzhizi.github.io/movmf-clip/ 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.