머신러닝 모델은 다양한 도메인에서 점점 더 널리 채택되고 있다. 그러나 적대적 예제는 이러한 모델의 신뢰할 수 있는 배포에 심각한 위협을 가한다. 최근 몇 년간 블랙박스 시나리오에서도 적대적 예제를 빠르고 쿼리 효율적으로 생성하는 강력한 적대적 예제 공격이 제안되어, 확장 가능하고 저비용이며 강력한 방어의 필요성이 부각되었다. 본 연구에서는 블랙박스 적대적 예제 공격과 방어 영역에 두 가지 기여를 제시한다. 첫째, 블랙박스 점수 기반 적대적 예제 공격에 대한 무작위화 기반 방어인 랜덤 로짓 스케일링(RLS)을 제안한다. RLS는 기존 ML 모델 위에 최소한의 노력으로 구현할 수 있는 플러그앤플레이(post-processing) 후처리 방어이다. RLS의 핵심 아이디어는 모델 정확도를 유지하면서 무작위로 스케일링된 로짓에서 비롯된 위조 점수를 출력하여 공격자를 혼란시키는 것이다. RLS는 최첨단(state-of-the-art) 블랙박스 점수 기반 공격의 성공률을 크게 낮추면서 정확도는 보존하고, 최첨단 무작위화 기반 방어에 비해 신뢰도 점수 왜곡을 최소화함을 보인다. 둘째, 블랙박스 점수 기반 공격에 대응하는 최첨단 비무작위화 블랙박스 방어인 AAA(출력 로짓을 수정하여 공격자를 혼란시키는 방식)에 대한 새로운 적응형(adaptive) 공격을 제안하고, 적응형 공격에 대한 취약성을 입증한다.
자동 음성 인식(ASR) 시스템은 트랜스포머 기반 모델로 높은 정확도를 달성하여 중요한 응용 분야에 배포되고 있다. 그러나 이러한 시스템은 적대적 조작에 여전히 취약하며, 특히 공격이 지각적 자연스러움을 보존해야 하는 블랙박스 환경에서 더욱 그러하다. 본 연구는 텍스트-투-스피치 모델의 음소 수준 잠재 공간에서 동작하여 실패를 유발하는 입력을 생성하는 블랙박스 테스팅 접근법인 GATAS를 제안한다. 파형을 직접 교란하는 대신, 자연 음성의 매니폴드 내에 머무르면서 잠재 표현을 보간하여 전사 오류를 유발한다. 이 공격은 의미적 발산과 지각적 품질의 균형을 맞추는 다목적 최적화 문제로 정식화된다. 화이트박스 및 블랙박스 기준선에 대한 실험적 평가 결과, GATAS는 98%의 성공률을 달성하면서 낮은 왜곡과 높은 지각적 품질을 제공함을 인간 연구를 통해 확인하였다. 그래디언트 접근 없이 동작함에도 불구하고, GATAS는 화이트박스 방법에 필적하는 성능을 보이며, 표현 및 지각적 정렬이 모델 내부에 대한 접근보다 더 중요함을 강조한다. 전반적으로, 본 연구의 결과는 비표적 잠재 공간 최적화가 ASR 시스템에 대한 현실적이고 효과적인 테스트 케이스의 효율적 생성을 가능하게 함을 보여준다.
Embodied AI의 발전에도 불구하고, 비전-언어 내비게이션(Vision-and-Language Navigation) 시스템은 적대적 시각 교란에 취약한 상태로 남아 있다. 기존 방법의 대부분은 대상 모델의 그래디언트에 대한 화이트박스 접근에 의존하는데, 이는 실제 배포된 시스템에서 비현실적이며 최적화를 위한 재귀적 역전파로 인해 계산 비용이 높아 적용 가능성이 제한된다. 기존 블랙박스 방법들은 주로 단일 단계의 즉각적인 의사결정 태스크를 대상으로 하여, 태스크의 복잡성과 시간적 의존성을 처리하는 데 어려움을 겪는다. 이는 관측 가능한 입출력만을 활용하여 다단계 순차적 인식-행동 루프를 효과적으로 방해할 수 있는 그래디언트 없는 공격 방법의 필요성을 부각시킨다. 이에 우리는 내비게이션 중 에이전트의 1인칭 시점을 교란하는 행동 유도 블랙박스 적대적 공격 프레임워크인 AdvNav를 제안한다. 블랙박스 설정에서 그래디언트 없는 탐색을 위한 효과적인 최적화 지침을 제공하는 유익한 대리 목적 함수를 구성하기 위해, 우리는 이중 세분성 행동 기반 피드백을 설계하였다. 이는 전반적인 내비게이션 성능 저하를 나타내는 궤적 수준 성능 점수, 잠재적 의사결정 위험을 고려한 행동 수준 보상 점수, 그리고 편차 지표를 집계하며, 이 모두는 에이전트의 자가 출력 행동에서 추출된다. 이 피드백은 적응적 업데이트를 통해 섭동 강도를 휴리스틱하게 조정하고 유전적으로 노이즈 공간 구조를 진화시키는 하이브리드 최적화 전략을 안내하여, 가장 파괴적인 노이즈 구성을 반복적으로 탐색한다. R2R 데이터셋에서 두 가지 유형의 백본을 갖춘 트랜스포머 기반 HAMT 및 대규모 언어 모델(LLM) 기반 MapGPT에 대해 평가한 결과, AdvNav는 49.70/65.96/87.30%의 공격 성공률(Attack Success Rate)을 달성하였다. 이 결과는 AdvNav의 효과성과 범용성을 입증하고, 중요한 인식 취약점을 드러내며, 향후 강건한 VLN 모델 설계에 대한 통찰을 제공한다.
GNN에 대한 블랙박스 노드 주입 공격에서 기존 방법들이 악성 노드의 특징 생성과 엣지 연결을 분리 처리해 공격 효과가 저하되는 문제를 해결하기 위해, 이 연구는 공격을 마르코프 결정 과정으로 정식화하고 타깃 인식 상호작용 인코더, 클래스 중심 유도 메커니즘, 토폴로지 차이 인식 상태 가치 평가를 통합한 강화학습 프레임워크 TIRBA를 제안한다. 실험 결과 TIRBA는 4개의 실세계 벤치마크 데이터셋에서 최신 블랙박스 노드 주입 공격 방법들을 크게 능가하는 성능을 보였다.
제한적인 블랙박스 API 접근만으로 상용 대규모 언어 모델(LLM)의 은닉 차원, 깊이, 파라미터 수를 추정하는 공격 기법 NightVision을 제시하며, 단일 로그 확률 노출만 가능한 현재 API 환경에서도 공통 집합 프롬프팅(common-set prompting)과 추론 타이밍 측정을 결합해 32개 오픈소스 LLM에서 은닉 차원을 평균 23% 오차로 복원하는 데 성공했다. 이 결과는 현재 상용 LLM API가 모델 아키텍처 정보를 완전히 은닉하기에 충분히 제한적이지 않음을 시사한다.
블랙박스 정보 검색(IR) 시스템 API에서 반환된 비순위 문서 집합만을 관찰하여 해당 시스템이 사용하는 임베딩(embedding) 모델을 식별하는 임베딩 추론 공격(EIA, Embedding Inference Attack)을 제안한다. 맞춤형 판별 쿼리를 생성해 리랭커(reranker) 방어 수단이 존재하는 환경과 실제 검색-증강 생성(RAG) 시스템에서도 후보 모델 중 피해자 모델을 높은 정확도로 추론할 수 있음을 MS MARCO 및 Alloprof 교육 QA 데이터셋으로 검증하였다.
이종 그래프 신경망(HGNN)의 현실적인 블랙박스 적대적 공격 취약성을 탐구하기 위해, 모델 파라미터·그라디언트·전체 그래프 구조에 접근하지 않고 1홉 로컬 이웃 정보와 소수의 하드 레이블 쿼리만으로 공격하는 프레임워크 Blackknife를 제안한다. Blackknife는 로컬 대리 모델(surrogate model)을 구성하고 투영 경사하강법으로 에지 섭동(perturbation)을 최적화하여 ACM, DBLP, IMDB 벤치마크에서 위상 기반 방어 전략 하에서도 높은 공격 성공률을 달성했다.
적대적 패치는 현대 객체 검출기(object detector)에 실질적인 위협이 됩니다. 기존 연구는 이러한 취약성을 보여주었지만, 실행 가능한 통찰력을 제한하는 세 가지 격차가 존재합니다: (i) 제한된 쿼리 예산(query budget) 하에서 패치의 위치, 텍스처, 크기를 공동으로 최적화하는 점수 기반 블랙박스(score-based black-box) 공격은 거의 없습니다; (ii) 성공 여부가 패치의 시각적 점유 영역(visual footprint)과 거의 연결되지 않습니다; (iii) 평가에서 종종 EOT 강건성을 단순 뷰(suppression) 억제와 혼동합니다. 본 논문에서는 경량의 문맥형 톰슨 샘플링(Contextual Thompson-Sampling) 배치자와 NES 스타일 픽셀 업데이트를 결합하고, 진전이 멈췄을 때만 패치를 성장시키는 쿼리 효율적이고 예산 적응형 블랙박스 공격인 \method{}를 제안합니다. 보고는 엄격한 단순 이미지 억제 테스트를 기준으로 하며; EOT는 감사(audit)되지만 성공의 대체재로 사용되지 않으며, 선택적인 외관/인쇄 가능성 가중치는 강도와 가시성 간의 트레이드오프를 보여줍니다. YOLOv5, Faster R-CNN, YOLOS에 걸쳐 \method{}는 컴팩트한 패치를 사용하여 CNN 기반 검출기에서 강력한 억제를 달성하고 트랜스포머 기반 검출기에서 상당한 억제를 달성하며, 고정 크기 및 휴리스틱 기준선에 비해 명확한 쿼리-점유 영역 트레이드오프를 보여줍니다. 인쇄-캡처 파일럿(pilot) 실험은 보이지 않는(unseen) 물리적 객체 및 시점 간의 전이성을 추가로 보여줍니다.
결정 기반 블랙박스 적대적 공격은 심각한 보안 위협을 제기하지만, 현재 방법론들은 근본적인 한계를 갖고 있다. 픽셀 단위 공격은 부자연스러운 고주파 시각적 아티팩트를 자주 유발하는 반면, 잠재 공간(latent-space) 프레임워크는 저차원 매니폴드의 제한된 탐색 공간과 내재된 재구성 결함에 의해 제약받는다. 이러한 한계를 해결하기 위해, 우리는 쿼리 효율적 결정 기반 적대적 공격을 위한 Latent Geometric Chords(LGC)와 변형인 LGC-H를 제안한다. LGC의 핵심은 압축된 의미적 매니폴드 내에서 곡률 인식 기하학적 탐색을 수행함으로써 결정 경계(decision boundary)를 탐색하는 것이다. 높은 시각적 충실도를 보장하고 차원 병목을 우회하기 위해, 우리는 Residual-based Adversarial Generation(RAG) 메커니즘을 도입한다. RAG는 의미적 교란(perturbation)을 기하학적 chord로 분리하여 원본 소스 이미지에 직접 중첩한다. RAG는 기준선 재구성 결함을 실질적으로 해결하고 허용 가능한 탐색 공간 차원을 효과적으로 두 배로 늘린다. 실험 결과는 LGC가 강건한 교차 데이터셋 전이성을 달성하고 최신 기준선들을 실질적으로 능가함을 보여준다. 특히 우리 방법 LGC는 교란 크기를 최소화하면서도 최신 수준의 시각적 충실도를 달성한다--5000회 쿼리에서 Structural Similarity Index Measure(SSIM)이 0.99를 초과하고 Learned Perceptual Image Patch Similarity(LPIPS)가 0.01 미만--엄격한 지각(perceptual) 제약 하에서도 높은 공격 성공률을 유지하며, 적대적 학습으로 훈련된 강건(robust) 모델을 성공적으로 무력화한다. 소스 코드는 https://github.com/eihmuekhine/Latent-Geometric-Chords 에서 이용할 수 있다.