Blackknife: 이종 그래프 신경망에 대한 하드 레이블 쿼리 제한 블랙박스 공격
Blackknife: Hard-Label Query-Limited Black-Box Attacks on Heterogeneous Graph Neural Networks
한국어 초록
이종 그래프 신경망(HGNN)은 다양한 노드 및 관계 유형을 가진 복잡한 그래프 구조 데이터를 모델링하는 데 있어 높은 성능을 달성했다. 그러나 현실적인 블랙박스 적대적 환경에서의 견고성은 아직 충분히 탐구되지 않은 상태이다. HGNN에 대한 기존 공격들은 일반적으로 모델 그래디언트, 소프트 예측 점수, 또는 완전한 그래프 구조에 대한 접근을 가정하지만, HGNN 기반 서비스가 폐쇄형 시스템으로 배포될 때는 이러한 정보를 얻기 어려운 경우가 많다. 본 논문에서는 이종 그래프 신경망을 위한 하드 레이블, 쿼리 제한, 구조 제한 블랙박스 회피 공격 프레임워크인 Blackknife를 제안한다. Blackknife는 피해자 모델의 아키텍처, 파라미터, 그래디언트, 로짓(logit), 신뢰도 점수, 또는 전체 그래프 구조에 대한 접근을 가정하지 않는다. 대신, 로컬에서 관찰 가능한 1홉 이종 구조와 소수의 하드 레이블 쿼리에만 의존한다. 이러한 엄격한 제약 조건 하에서 효과적인 섭동(perturbation)을 생성하기 위해, Blackknife는 먼저 관찰 가능한 이종 이웃으로부터 로컬 관계 인식 대리 모델(surrogate model)을 구성한다. 이후 이산적인 엣지 추가 및 삭제 연산을 연속적인 소프트 가중치로 완화하고, 투영 경사하강법(projected gradient descent)을 통해 최적화한다. 마지막으로, 최적화된 섭동은 관계를 보존하는 구조적 재배선(structural rewiring) 연산으로 이산화되며, 피해자 모델로부터 제한된 하드 레이블 피드백을 사용하여 검증된다. ACM, DBLP, IMDB를 포함한 세 가지 벤치마크 이종 그래프 데이터셋에 대한 광범위한 실험을 통해, Blackknife가 대표적인 HGNN 모델들에 대해 일관되게 높은 공격 성공률을 달성함을 입증한다. 또한 결과는 Blackknife가 위상 기반 방어 전략 하에서도 효과적임을 보여주며, 이를 통해 HGNN이 로컬 구조 제한 블랙박스 공격에 취약함을 드러낸다.
원문 초록
Heterogeneous graph neural networks (HGNNs) have achieved strong performance in modeling complex graph-structured data with multiple node and relation types. However, their robustness under realistic black-box adversarial settings remains insufficiently explored. Existing attacks on HGNNs usually assume access to model gradients, soft prediction scores, or the complete graph structure, which is often unavailable when HGNN-based services are deployed as closed systems. In this paper, we propose Blackknife, a hard-label, query-limited, and structure-limited black-box evasion attack framework for heterogeneous graph neural networks. Blackknife assumes no access to the victim model architecture, parameters, gradients, logits, confidence scores, or the full graph structure. Instead, it only relies on locally observable one-hop heterogeneous structures and a small number of hard-label queries. To generate effective perturbations under these strict constraints, Blackknife first constructs a local relation-aware surrogate model from observable heterogeneous neighborhoods. It then relaxes discrete edge addition and deletion operations into continuous soft weights and optimizes them through projected gradient descent. Finally, the optimized perturbations are discretized into relation-preserving structural rewiring operations and verified using limited hard-label feedback from the victim model. Extensive experiments on three benchmark heterogeneous graph datasets, including ACM, DBLP, and IMDB, demonstrate that Blackknife consistently achieves strong attack success rates against representative HGNN models. The results further show that Blackknife remains effective under topology-based defense strategies, revealing the vulnerability of HGNNs to local structure-limited black-box attacks.
요약
이종 그래프 신경망(HGNN)의 현실적인 블랙박스 적대적 공격 취약성을 탐구하기 위해, 모델 파라미터·그라디언트·전체 그래프 구조에 접근하지 않고 1홉 로컬 이웃 정보와 소수의 하드 레이블 쿼리만으로 공격하는 프레임워크 Blackknife를 제안한다. Blackknife는 로컬 대리 모델(surrogate model)을 구성하고 투영 경사하강법으로 에지 섭동(perturbation)을 최적화하여 ACM, DBLP, IMDB 벤치마크에서 위상 기반 방어 전략 하에서도 높은 공격 성공률을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29240v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
랜덤 로짓 스케일링: 블랙박스 점수 기반 적대적 예제 공격에 대한 심층 신경망 방어
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
머신러닝 모델은 다양한 도메인에서 점점 더 널리 채택되고 있다. 그러나 적대적 예제는 이러한 모델의 신뢰할 수 있는 배포에 심각한 위협을 가한다. 최근 몇 년간 블랙박스 시나리오에서도 적대적 예제를 빠르고 쿼리 효율적으로 생성하는 강력한 적대적 예제 공격이 제안되어, 확장 가능하고 저비용이며 강력한 방어의 필요성이 부각되었다. 본 연구에서는 블랙박스 적대적 예제 공격과 방어 영역에 두 가지 기여를 제시한다. 첫째, 블랙박스 점수 기반 적대적 예제 공격에 대한 무작위화 기반 방어인 랜덤 로짓 스케일링(RLS)을 제안한다. RLS는 기존 ML 모델 위에 최소한의 노력으로 구현할 수 있는 플러그앤플레이(post-processing) 후처리 방어이다. RLS의 핵심 아이디어는 모델 정확도를 유지하면서 무작위로 스케일링된 로짓에서 비롯된 위조 점수를 출력하여 공격자를 혼란시키는 것이다. RLS는 최첨단(state-of-the-art) 블랙박스 점수 기반 공격의 성공률을 크게 낮추면서 정확도는 보존하고, 최첨단 무작위화 기반 방어에 비해 신뢰도 점수 왜곡을 최소화함을 보인다. 둘째, 블랙박스 점수 기반 공격에 대응하는 최첨단 비무작위화 블랙박스 방어인 AAA(출력 로짓을 수정하여 공격자를 혼란시키는 방식)에 대한 새로운 적응형(adaptive) 공격을 제안하고, 적응형 공격에 대한 취약성을 입증한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어
Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
PANDA: 사전 지식 기반 어텐션 이중 경로 아키텍처
PANDA: Prior-guided Attentional Dual-path Architecture
쌍별 상호작용(pairwise interaction)을 넘어 고차 관계(higher-order relation)를 모델링하기 위해 설계된 하이퍼그래프 신경망(Hypergraph Neural Network, HNN)은 일반적으로 고정된 구조적 가중치 또는 정규화된 어텐션에 의존한다. 고정 가중치는 이질적(heterophilic) 환경에서 잘못된 정보를 전파할 수 있으며, 정규화는 메시지 전달(message-passing) 프레임워크에서 하나의 송신자(sender)의 가중치를 높이면 동일한 집계 집합(aggregation set) 내 다른 송신자들의 가중치를 반드시 낮춰야 한다는 의미에서 어텐션 계수를 경쟁적으로 만든다. 본 연구의 주요 기여는 무방향 및 방향 설정 모두에 적용 가능한 2단계 메시지 전달 HNN을 위한 플러그인인 PANDA(Prior-guided AttentioNal Dual-path Architecture, 사전 지식 기반 어텐션 이중 경로 아키텍처)의 도입이다. 메인 경로(main path)는 학습된 수신자 정규화 어텐션과 구조적 인시던스(incidence) 사전 지식(prior) 사이를 보간(interpolate)하며, 비경쟁적인(정규화되지 않은) 보조 경로(auxiliary path)는 각 송신자가 자신만의 변환된 정보를 기여할 수 있도록 한다. 또한 고정된 구조적 계수를 사용할 경우, PANDA가 이전 연구들에서 채택된 특정 복소수 값 합성곱 연산자를 복원함을 보인다. 방향 및 무방향 설정에서 공간적(spatial) 및 스펙트럴(spectral) 방법을 포괄하는 네 가지 HNN에 걸쳐, PANDA를 적용하면 8개의 실세계 벤치마크 데이터셋에서 평균 5.18퍼센트포인트의 성능 향상을 얻는다. 코드는 https://github.com/jainris/panda 에서 확인할 수 있다.
JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다
JevOut: Natural Context Can Flip Decision Models
평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.