XGV-BERT: Leveraging Contextualized Language Model and Graph Neural Network for Efficient Software Vulnerability Detection
원문 초록
With the advancement of deep learning (DL) in various fields, there are many attempts to reveal software vulnerabilities by data-driven approach. Nonetheless, such existing works lack the effective representation that can retain the non-sequential semantic characteristics and contextual relationship of source code attributes. Hence, in this work, we propose XGV-BERT, a framework that combines the pre-trained CodeBERT model and Graph Neural Network (GCN) to detect software vulnerabilities. By jointly training the CodeBERT and GCN modules within XGV-BERT, the proposed model leverages the advantages of large-scale pre-training, harnessing vast raw data, and transfer learning by learning representations for training data through graph convolution. The research results demonstrate that the XGV-BERT method significantly improves vulnerability detection accuracy compared to two existing methods such as VulDeePecker and SySeVR. For the VulDeePecker dataset, XGV-BERT achieves an impressive F1-score of 97.5%, significantly outperforming VulDeePecker, which achieved an F1-score of 78.3%. Again, with the SySeVR dataset, XGV-BERT achieves an F1-score of 95.5%, surpassing the results of SySeVR with an F1-score of 83.5%.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이
The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer
유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.
HGPTrans: 차량 공기역학적 항력 계수 예측을 위한 계층적 그래프 풀링 Transolver
HGPTrans: Hierarchical Graph-Pooling Transolver for Automotive Aerodynamic Drag Coefficient Prediction
공기역학적 항력 계수($C_D$)를 정확하고 신속하게 예측하는 것은 특히 수많은 후보 형상을 평가해야 하는 초기 설계 단계의 차량 설계에 필수적입니다. 전산유체역학(CFD)은 신뢰할 수 있는 공기역학적 추정치를 제공하지만, 높은 계산 비용으로 인해 대규모 설계 탐험(exploration)이 제한됩니다. 본 논문에서는 차량 표면 메시로부터 직접 $C_D$를 예측하기 위해 계층적 그래프 풀링(hierarchical graph pooling)과 Transolver 기반 어텐션을 결합한 계층적 그래프 풀링 Transolver(HGPTrans)를 제안합니다. 차량의 공기역학이 국소적 기하학적 특징과 공간적으로 떨어진 표면 영역 간의 장거리 상호작용 모두에 의존한다는 점에 착안하여, HGPTrans는 세 가지 상호보완적인 구성 요소를 통합합니다. 그래프 동형성 합성곱(Graph isomorphism convolution)은 변별력 있는 국소 기하학 정보를 인코딩하고, Transolver 방식의 슬라이스 어텐션은 선형 계산 복잡도로 전역적 상호작용을 포착하며, 정보 중복성을 고려한 계층적 풀링은 유익한 기하학적 구조를 보존하면서 중복 노드를 점진적으로 제거합니다. 이 모델은 대규모 DrivAerNet 및 DrivAerNet++ 데이터셋에서 학습(training) 및 평가(evaluation)되었으며, 평가된 베이스라인 중 가장 낮은 평균 절대 오차와 평균 제곱 오차를 달성했습니다. 또한 세단과 스포츠 유틸리티 차량(SUV)을 모두 포함하는 실제 차량 데이터셋에서의 전이학습(transfer learning)을 통해 일반화 성능을 추가로 검증하였으며, 차량당 약 $0.293$초의 추론(inference) 시간으로 1.56\%(세단) 및 2.12\%(SUV)의 상대 $L_1$ 오차를 기록했습니다. 이는 예측된 항력 계수를 CFD 기준치 대비 수 퍼센트 이내로 유지하면서 고정밀 CFD에 비해 몇 자릿수(orders of magnitude)에 달하는 속도 향상을 이루어낸 것에 해당합니다. 소제 연구(ablation study)를 통해 각 구성 요소의 기여도를 확인하고 네트워크 깊이 및 풀링 비율의 영향을 규명했습니다.
머신러닝 기반 고분자 물성 예측을 위한 공개 벤치마크
An open benchmark for machine learning-based polymer property prediction
고분자 물성 예측에는 머신러닝 방법론의 엄밀한 비교를 가능하게 하는 공개적이고 표준화된 벤치마크(benchmark)가 부족하며, 기존 리소스는 단일중합체(homopolymer)와 같이 좁은 범위의 고분자 구조만을 다룹니다. 본 연구에서는 실험적 측정, 밀도 범함수 이론(DFT), 분자 동역학(molecular dynamics) 데이터를 포함하여 8가지 물리적 특성에 걸친 약 250,000개의 고분자-물성 데이터포인트로 구성된 공개 데이터셋인 Polymer Benchmark 2026(PolyBench26)을 소개합니다. 이 벤치마크는 단일중합체 및 교대, 랜덤, 블록 공중합체에 걸쳐 분포 내(in-distribution) 물성 예측, 데이터셋 크기 스케일링(scaling), 반복 단위(repeat-unit) 복잡도, 미확인 고분자 구조로의 전이 등 4가지 평가(evaluation) 태스크를 지원합니다. 우리는 언어 모델(language model), 그래프 기반, 기술자(descriptor) 기반 접근법을 비교하였으며, 그래프 기반 모델이 물성 예측에서 가장 낮은 오차를 보이고 평가된 학습(training) 세트 크기 전반에서 우위를 유지하며 반복 단위 복잡도 증가에 대해서도 견고함을 유지한다는 것을 발견했습니다. PolyBench26은 점점 더 복잡해지는 고분자 설계 공간을 위한 모델을 개발하는 데 재현 가능한 기반을 제공합니다. PolyBench26 벤치마크는 https://github.com/rlearsch/PolymerBenchmark2026 에서 오픈소스로 이용할 수 있습니다.
Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정
Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters
Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.