arXiv:2212.02663

Efficient Malware Analysis Using Metric Embeddings

Ethan M. Rudd, David Krisiloff, Scott Coull, Daniel Olszewski, Edward Raff, James Holt

제출 2022-12-05

원문 초록

In this paper, we explore the use of metric learning to embed Windows PE files in a low-dimensional vector space for downstream use in a variety of applications, including malware detection, family classification, and malware attribute tagging. Specifically, we enrich labeling on malicious and benign PE files using computationally expensive, disassembly-based malicious capabilities. Using these capabilities, we derive several different types of metric embeddings utilizing an embedding neural network trained via contrastive loss, Spearman rank correlation, and combinations thereof. We then examine performance on a variety of transfer tasks performed on the EMBER and SOREL datasets, demonstrating that for several tasks, low-dimensional, computationally efficient metric embeddings maintain performance with little decay, which offers the potential to quickly retrain for a variety of transfer tasks at significantly reduced storage overhead. We conclude with an examination of practical considerations for the use of our proposed embedding approach, such as robustness to adversarial evasion and introduction of task-specific auxiliary objectives to improve performance on mission critical tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05464v1cs.LG공통 태그 Metric Learning, Attribute

명목형 및 순서형 속성을 포함한 범주형 데이터 클러스터링을 위한 속성 내 거리의 학습 가능한 가중치 부여

Learnable Weighting of Intra-Attribute Distances for Categorical Data Clustering with Nominal and Ordinal Attributes

범주형 데이터 클러스터링의 성공은 일반적으로 두 객체 간의 비유사도를 측정하는 거리 메트릭에 크게 의존한다. 그러나 기존의 클러스터링 방법 대부분은 비유사도를 계산할 때 순서형 값의 상대적 순서 정보를 고려하지 않은 채, 두 가지 범주형 하위 유형인 명목형(nominal) 속성과 순서형(ordinal) 속성을 동일한 방식으로 처리한다. 또한 명목형 속성과 순서형 속성 사이에는 비유사도를 나타내는 데 있어 탐구할 가치가 있는 상호 의존성이 존재할 수 있다. 이에 본 논문은 그래프와 유사한 관점에서 명목형 및 순서형 속성 값의 본질적인 차이와 연결성을 연구한다. 이를 바탕으로, 순서형 값 간의 순서 관계를 보존하면서 명목형 및 순서형 속성의 속성 내 거리를 통합된 방식으로 측정하는 새로운 거리 메트릭을 제안한다. 나아가, 속성 내 거리 가중치 학습과 데이터 객체의 분할을 두 개의 별도 단계가 아닌 단일 학습 패러다임으로 통합함으로써 준최적 해(suboptimal solution)를 회피하는 새로운 클러스터링 알고리즘을 제안한다. 실험 결과는 기존의 유사 방법들과의 비교에서 제안된 알고리즘의 효과를 입증한다.

arXiv:2606.26899v1cs.AI공통 태그 Metric Learning, Attribute

메트릭 순서 시퀀스 학습과 하이브리드 정책 선호 최적화를 적용한 확산 트랜스포머 기반 생성형 검색

Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization

임베딩 기반 검색은 공유 벡터 공간에서 쿼리와의 유사도에 따라 아이템을 순위화하며, 일반적으로 가장 높은 점수의 아이템을 반환하는 것을 목표로 한다. 많은 프로덕션 환경에서는 이것이 원하는 것이 아니다. 세밀한 패턴을 표현하는 시드 집합이 주어졌을 때, 목표 속성을 만족하면서 동시에 그 패턴 내에 머무는 더 많은 아이템이 필요하다. 이를 패턴 보존 속성 검색(pattern-preserving attribute retrieval)으로 형식화한다. 두 목표는 서로 상충한다. 시드를 평균하면 패턴은 보존되지만 낮은 속성 영역에 머물고, 전역 속성 검색은 관련 없는 패턴으로 표류한다. 연속 생성형 검색으로 이 과제에 접근한다. 여기서 모델은 아이템 임베딩 시퀀스를 읽고 최근접 이웃 검색을 위한 쿼리 임베딩을 생성한다. MO-DiT+HPPO를 제안한다. 이는 원시 시퀀스 사전학습, 다중 도메인 메트릭 순서 연속 사전학습(CPT), 꼬리 중심(tail-centroid) 미세조정, HPPO로 구성된 단계적 프레임워크이다. 메트릭 순서 학습은 희소한 온라인 검색 레이블을 낮은 예측 속성 밀도에서 높은 예측 속성 밀도 순으로 정렬된 패턴 내 궤적으로 변환하여, 하나의 모델이 도메인 전반에 걸친 메트릭 개선 방향을 학습하게 한다. HPPO는 하이브리드 후보 풀에 온라인 교집합 메트릭으로 레이블을 부여하고 참조 고정(reference-anchored) 선호 최적화를 적용하여, 생성된 쿼리 분포를 실제 온라인 목적 함수와 정렬한다. 파레토 쌍 필터는 동일 패턴 순도를 낮추지 않는 승자 쌍만 유지하여, 패턴을 희생하지 않고 속성 메트릭을 높인다. 아이템 및 패턴 홀드아웃 프로토콜 하에서 네 가지 속성 도메인 전반에 걸쳐, 메트릭 순서 DiT는 사전학습된 생성형 검색기 대비 교집합 메트릭을 개선하며, HPPO는 이를 더욱 개선한다. 8개 도메인 분할 셀 중 7개에서 유의미한 향상을 보였고, 가장 어려운 분할에서는 근소한 동률을 기록했다. 메트릭 예측기 검증, 순서 ablation, CPT/SFT 비교, 후보 정책 ablation을 통해 성능 향상의 원인을 밝힌다.

arXiv:2506.23921v5cs.CL공통 태그 Attribute공식 코드 · Papers with Code

대규모 언어 모델에서 진실의 트릴레마

The Trilemma of Truth in Large Language Models

일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.