Unveiling Project-Specific Bias in Neural Code Models
원문 초록
Deep learning has introduced significant improvements in many software analysis tasks. Although the Large Language Models (LLMs) based neural code models demonstrate commendable performance when trained and tested within the intra-project independent and identically distributed (IID) setting, they often struggle to generalize effectively to real-world inter-project out-of-distribution (OOD) data. In this work, we show that this phenomenon is caused by the heavy reliance on project-specific shortcuts for prediction instead of ground-truth evidence. We propose a Cond-Idf measurement to interpret this behavior, which quantifies the relatedness of a token with a label and its project-specificness. The strong correlation between model behavior and the proposed measurement indicates that without proper regularization, models tend to leverage spurious statistical cues for prediction. Equipped with these observations, we propose a novel bias mitigation mechanism that regularizes the model's learning behavior by leveraging latent logic relations among samples. Experimental results on two representative program analysis tasks indicate that our mitigation framework can improve both inter-project OOD generalization and adversarial robustness, while not sacrificing accuracy on intra-project IID data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
거부를 넘어서: 취약점 분석을 위한 정렬 및 어블리터레이티드 LLM의 동일 계보 연구
Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis
대규모 언어 모델(LLM) 기반 소프트웨어 보안은 어려운 경계에서 작동한다: 합법적인 코드 리뷰, 분류(triage), 수정에 필요한 취약점 분석 용어는 악용과 관련된 용어와 매우 유사할 수 있다. 기존의 안전성 및 사이버보안 평가는 이 맥락에서 해석하기 어려운데, 이는 관련 없는 모델 패밀리를 비교하는 경우가 많아 안전성 동작을 아키텍처, 규모, 학습 데이터, 배포 방식의 차이와 혼동하기 때문이다. 이 요인을 격리하기 위해, 우리는 동일 계보 모델 내에서 거부 동작이 유지되는지(정렬됨, Aligned) 또는 거부가 제거되었는지(어블리터레이티드, Abliterated)를 나타내는 안전성 상태를 연구한다. 우리는 이 안전성 상태가 소프트웨어 보안 워크플로우 전반에 걸쳐 방어적 유용성에 어떻게 영향을 미치는지 분석한다. 우리는 정렬된 인스트럭션 튜닝 모델과 Gemma 및 Qwen 두 모델 패밀리에서 공개적으로 배포된 거부 제거 파생 모델을 비교한다. 취약점 탐지, CWE 귀속, 취약 라인 위치 파악, 근본 원인 위치 파악, 실행 가능한 패치 검증에 걸쳐 정렬 및 어블리터레이티드 상태를 평가한다. 또한 프롬프트 표현을 통제된 프레이밍 차원으로 다룬다: 프롬프트는 중립적인 코드 리뷰 언어로 시작하고, 인가 컨텍스트를 추가하며, 사이버보안 용어의 밀도를 변화시킨다. Gemma 기반 Java/Vul4J 수정 검증 연구에서 어블리터레이티드는 더 높은 초기 단계 검증률을 달성했으며, 정렬 모델의 29.9%, 24.9%, 9.0%에 비해 패치의 67.8%, 65.0%, 32.8%가 각각 사용 가능, 성공적 적용, 성공적 컴파일로 평가되었다. Qwen 쌍에서는 어블리터레이티드가 위치 파악 성능을 개선하여 라인 수준 F1을 2.08%에서 3.91%로, Top-1 정확도를 4.10%에서 6.95%로 향상시켰다. 이러한 결과는 LLM 기반 보안 어시스턴트 평가 시 모델이 응답하는지, 유용한 응답이 정확한지, 그리고 출력이 엔지니어링 워크플로우 전반에 걸쳐 실행 가능한 상태를 유지하는지를 함께 측정해야 함을 시사한다.
SoK: AI Secure Code Generation: Progress, Pitfalls, and Paths Forward
RAS: 거부 정렬을 통한 LLM 안전성 측정
RAS: Measuring LLM Safety Through Refusal Alignment
오픈 웨이트 거대 언어 모델의 반복적인 안전성 평가에는 서로 관련된 다수의 체크포인트에 대해 응답을 생성하고 판정하는 과정이 필요하다. 우리는 5단계 SafeVec 절차로 계산되는, 유해 요청 거부에 대한 표현 기반의 참조 상대적 지표인 RAS(Refusal Alignment Score)를 소개한다. SafeVec은 정렬된 참조 모델로부터 계층별 거부 방향을 추출하고, 관련 대상 모델에서 그 정렬 정도를 측정하며, 참조 모델과 보정 모델의 행동적 공격 성공률(ASR)을 이용하여 0에서 100 사이의 점수를 보정한다. 이후의 대상 모델 점수 산출에는 입력 순전파만 사용된다. Llama, Gemma, Qwen 계열에서 따로 떼어 둔 18개 변형 모델에 걸쳐 RAS는 $100(1-\mathrm{ASR})$과 상관관계를 보이며(Pearson 0.934, Spearman 0.851) 83.0%의 쌍별 순서 일치도를 달성한다. Llama 참조 모델에 대한 다섯 가지 프롬프트 구성에 걸쳐 방향들의 평균 코사인 유사도는 0.939이다. 보정 ASR을 이미 확보한 경우, 설정 비용을 포함한 다섯 개 대상 모델의 평가는 규정된 행동 프로토콜 대비 3.2배에서 80.5배의 속도 향상을 달성한다. 이러한 결과는 거부 정렬이 관련 체크포인트를 선별하고 행동 감사의 우선순위를 정하는 데 효율적인 신호임을 뒷받침한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
RedPhys: An Extensible Red-Teaming Platform for Physical-World Models and Agents
토론
이 논문과 연결된 포럼 글이 아직 없습니다.