SafeGEO: Understanding Generative Engine Optimization Risks in Recommendation Agents
원문 초록
Generative Engine Optimization (GEO) lets content owners rewrite web content to increase their visibility in generative systems. In recommendation agents, this creates a risk that seller-controlled sources make flawed products appear better supported than they are. We study this risk by asking whether recommendation agents preserve utility-aligned decisions when seller-controlled sources are rewritten for GEO. To make this question measurable, we construct SafeGEO, an evaluation suite with 22 GEO attack variants across 600 recommendation cases. We empirically show that GEO attacks can promote flawed target products. On average, they increase the rate at which such flawed products enter the recommendation set by up to 83.2%. We further study whether agent-side design choices can mitigate this risk and show that simple defenses, including defensive prompting and structured evidence checks, reduce harmful target promotion by up to 39.2%. These gains are substantial but do not restore the no-GEO performance, showing that GEO remains a serious risk despite developer-side mitigation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.28356v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MLCommons 탈옥 벤치마크 v1.0
MLCommons Jailbreak Benchmark v1.0
현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선
Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations
프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.
BRANCH: 다중 스캐너 AI 가드레일 우회 기법
BRANCH: Bypassing Multi-Scanner AI Guardrails
AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.
음성 품질 지표는 얼마나 해킹에 취약한가? 수정된 프로토콜, 벤치마크, 그리고 패치 적용의 실효성
How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys
음성 품질 예측기는 보상(reward)으로 점점 더 널리 사용되고 있으나, 이들의 해킹 취약성(hackability)에 대한 합의된 측정 기준은 존재하지 않는다. 기존의 측정 방식에는 두 가지 결함이 있다. 첫째, 섭동(perturbation)은 그 자체로 점수를 변화시키는 처리 체인(여기서는 신경망 코덱)을 거쳐 예측기에 도달하는데, 원시 입력(raw input)을 기준으로 점수를 매기면 이러한 점수 변화를 공격 탓으로 돌리게 된다. 대신 섭동이 없는 왕복 처리를 참조하면 측정된 해킹 취약성이 최대 4배까지 달라진다(한 방어 기법의 경우 0.31에서 0.08로 변화). 둘째, 학습된 공격자 하나는 하나의 표본일 뿐 측정치 자체가 아니다. 무작위 시드만 다른 다섯 공격자가 하나의 고정된 예측기를 상대로 0.00에서 0.38에 이르는 성공률을 기록하므로, 방어 성능을 입증하려면 여러 공격자에 대한 최악의 경우를 평가해야 한다. 이 프로토콜 하에서 공개된 4개의 예측기는 큰 차이를 보인다. NISQA는 발화의 90%에서 해킹되었고, SSL-MOS는 21%, DNSMOS는 14%, UTMOS는 6%에서 해킹되었다. 이어 우리는 폐쇄형 공격-탐지-패치(attack-detect-patch) 루프를 점검한다. 이는 공격자들 간의 편차보다도 작은 수준으로 자체 공격 공간 내에서만 예측기를 방어할 뿐이며, 무작위 섭동 기준선(baseline)만으로도 이와 대등한 수준을 달성할 수 있고, 도메인 외(out of domain) 환경에서는 시스템 SRCC가 최대 0.30 감소하는 대가를 치른다. 패치된 예측기를 대상으로 사후학습(post-training)된 음성 향상 모델은 해당 지표를 훨씬 덜 해킹한다(PESQ -0.03 대 -0.23). 코드, 사전 등록 정보 및 실행 결과는 모두 공개된다.
서사적 래핑이 대규모 언어 모델(LLM) 거절에 미치는 영향: 다국어 벤치마크 및 방어 기법
How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense
안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.