숨겨진 프롬프트가 필요 없습니다! 프레젠테이션만 수정하여 AI 동료 평가를 조작할 수 있습니다
No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions
한국어 초록
AI 생성 리뷰가 실험적 도구에서 동료 평가 인프라로 자리 잡음에 따라, 대부분의 견고성 우려는 숨겨진 지시사항(hidden instructions)이나 프롬프트 주입(prompt injection)과 같은 명시적 공격에 집중되었습니다. 우리는 더 어렵고 정책적으로 더 중요한 실패 모드를 연구합니다: 숨겨진 텍스트가 없고, 프롬프트 주입이 없으며, 방법(methods), 실험(experiments), 그림(figures), 방정식(equations), 증명(proofs), 또는 수치적 결과(numerical results)의 변경이 없는 상황입니다. 공격자는 초록(abstract), 기여 프레이밍(contribution framing), 관련 연구(related work), 논의(discussion), 및 서사 구조(narrative structure)와 같은 프레젠테이션 수준의 콘텐츠만 수정합니다. 우리는 적대적 재포장(adversarial repackaging)을 소개합니다: 이는 과학적 증거를 고정된 상태로 유지하면서 AI 리뷰어 피드백을 사용하여 프레젠테이션 수준의 수정을 탐색하는 폐루프 공격(closed-loop attack)입니다. 세 가지 주류 AI 리뷰어에서 적대적 재포장은 75.1%의 공격 성공률과 평균 +1.21/10의 점수 상승을 달성했습니다. 이 효과는 일반적인 문장 다듬기로는 설명되지 않습니다. 또한, 관련 연구 재배치(related-work repositioning)와 분석적 논의 확장(analytical discussion expansion)과 같이 리뷰어가 논문을 해석하는 방식을 변경하는 전략들이, 국부적 다듬기(local polishing), 표 형식화(table formatting), 알고리즘 박스(algorithm boxes)와 같은 표면적 편집보다 훨씬 우수한 성능을 보인다는 것을 밝혀냈습니다. 우리의 분석은 두 가지 더 깊은 구조적 실패 모드를 보여줍니다. 첫째, AI 리뷰어는 설득하기보다 인상을 주기가 더 쉽습니다: 강점을 강조하는 것은 인식된 장점(perceived merit)을 확실히 높이는 반면, 약점을 해소하려는 시도는 빈번히 역효과를 낳습니다. 둘째, AI 리뷰어는 한계점을 다루는 외형과 실제 해결을 혼동할 수 있어, 변경되지 않은 증거가 더 강력한 과학적 기여로 재해석될 수 있게 합니다. 이러한 결과는 배포 위험이 악의적인 숨겨진 지시사항뿐만 아니라, 논문 프레젠테이션 자체가 최적화 표면(optimization surface)으로 등장하는 것임을 보여줍니다. 우리는 AI 리뷰어가 프레젠테이션 전용 편집 하에서 과학적 콘텐츠에 고정(anchored)되어 있는지 테스트하기 위한 오염되지 않은 롤링 벤치마크(contamination-free rolling benchmark)와 공격 프레임워크를 공개합니다.
원문 초록
As AI-generated reviews move from experimental tools into peer-review infrastructure, most robustness concerns have focused on explicit attacks such as hidden instructions and prompt injection. We study a harder and more policy-relevant failure mode: no hidden text, no prompt injection, and no changes to methods, experiments, figures, equations, proofs, or numerical results. The attacker modifies only presentation-level content, such as the abstract, contribution framing, related work, discussion, and narrative structure. We introduce adversarial repackaging: a closed-loop attack that uses AI-reviewer feedback to search for presentation-level revisions while keeping the scientific evidence fixed. Across three mainstream AI reviewers, adversarial repackaging achieves a 75.1% attack success rate and a mean score gain of +1.21/10. The effect is not explained by ordinary prose polishing. We also reveal that strategies that change how the reviewer interprets the paper, such as related-work repositioning and analytical discussion expansion, substantially outperform surface edits such as local polishing, table formatting, and algorithm boxes. Our analysis reveals two deeper structural failure modes. First, AI reviewers are easier to impress than to convince: highlighting strengths reliably increases perceived merit, while attempts to dissolve weaknesses frequently backfire. Second, AI reviewers can confuse the appearance of addressing a limitation with actually resolving it, allowing unchanged evidence to be reinterpreted as stronger scientific contribution. These results show that the deployment risk is not only malicious hidden instructions, but the emergence of paper presentation itself as an optimization surface. We release a contamination-free rolling benchmark and attack framework for testing whether AI reviewers remain anchored to scientific content under presentation-only edits.
요약
AI 동료 평가 시스템은 과학적 증거를 고정하고 프레젠테이션만 수정하는 적대적 재포장(adversarial repackaging) 공격에 취약하여, 평균 1.21점의 점수 상승과 75.1%의 공격 성공률을 보였습니다. AI 리뷰어는 논문의 실제 한계 해결 여부와 그 외형을 혼동하여, 프레젠테이션 자체가 최적화 대상이 될 수 있음을 시사합니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13044v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
음성 품질 지표는 얼마나 해킹에 취약한가? 수정된 프로토콜, 벤치마크, 그리고 패치 적용의 실효성
How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys
음성 품질 예측기는 보상(reward)으로 점점 더 널리 사용되고 있으나, 이들의 해킹 취약성(hackability)에 대한 합의된 측정 기준은 존재하지 않는다. 기존의 측정 방식에는 두 가지 결함이 있다. 첫째, 섭동(perturbation)은 그 자체로 점수를 변화시키는 처리 체인(여기서는 신경망 코덱)을 거쳐 예측기에 도달하는데, 원시 입력(raw input)을 기준으로 점수를 매기면 이러한 점수 변화를 공격 탓으로 돌리게 된다. 대신 섭동이 없는 왕복 처리를 참조하면 측정된 해킹 취약성이 최대 4배까지 달라진다(한 방어 기법의 경우 0.31에서 0.08로 변화). 둘째, 학습된 공격자 하나는 하나의 표본일 뿐 측정치 자체가 아니다. 무작위 시드만 다른 다섯 공격자가 하나의 고정된 예측기를 상대로 0.00에서 0.38에 이르는 성공률을 기록하므로, 방어 성능을 입증하려면 여러 공격자에 대한 최악의 경우를 평가해야 한다. 이 프로토콜 하에서 공개된 4개의 예측기는 큰 차이를 보인다. NISQA는 발화의 90%에서 해킹되었고, SSL-MOS는 21%, DNSMOS는 14%, UTMOS는 6%에서 해킹되었다. 이어 우리는 폐쇄형 공격-탐지-패치(attack-detect-patch) 루프를 점검한다. 이는 공격자들 간의 편차보다도 작은 수준으로 자체 공격 공간 내에서만 예측기를 방어할 뿐이며, 무작위 섭동 기준선(baseline)만으로도 이와 대등한 수준을 달성할 수 있고, 도메인 외(out of domain) 환경에서는 시스템 SRCC가 최대 0.30 감소하는 대가를 치른다. 패치된 예측기를 대상으로 사후학습(post-training)된 음성 향상 모델은 해당 지표를 훨씬 덜 해킹한다(PESQ -0.03 대 -0.23). 코드, 사전 등록 정보 및 실행 결과는 모두 공개된다.
모방을 넘어서: LLM 지원 피어 리뷰를 위한 프레임워크와 벤치마크
Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review
과학 출판물의 급속한 증가는 특히 머신러닝 분야에서 피어 리뷰(peer review)에 부담을 가중시켰으며, 이는 리뷰 품질 저하와 리뷰어 업무량 증가에 대한 우려를 낳고 있다. 대규모 언어 모델(LLM)이 자동화된 리뷰 보조 도구로 제안되어 왔지만, 그 평가는 피어 리뷰의 핵심 기능을 지원하는 것보다는 인간이 작성한 리뷰를 모방하는 데 주로 초점을 맞춰왔다. 본 연구에서는 오류 탐지를 중요하고 자원 집약적인 과제로 강조하며, LLM 지원 피어 리뷰에 대한 검증 중심의 관점을 제시한다. 우리는 학술대회 논문에 오류를 합성적으로 삽입하여 구축한, 리뷰 시스템의 논리적 모순 식별 능력을 평가하는 확장 가능한 벤치마크를 제시하며, 이는 명확한 평가 목표를 제공하고 체계적인 비교를 가능하게 한다. 또한 우리는 리뷰 생성에 앞서 원고에 대한 상세한 이해를 우선시하는 다층 리뷰(Multi-Layered Review, MLR) 프레임워크를 제안하며, 이는 인간의 리뷰 관행에 더 가깝게 부합하면서도 토큰 효율성을 향상시킨다. 전반적인 평가에서 우리의 접근법은 인간 리뷰 점수와의 높은 정합성을 보여주고, 높은 오류 탐지 성능을 달성하며, 리뷰어의 초점에 대한 상호 보완적인 관점을 제공한다. 이러한 개선은 기반 LLM의 선택과 시스템 설계 모두에 기인할 수 있다. 동시에, 우리는 적대적 조작(adversarial manipulation)에 대한 지속적인 취약성을 확인하였으며, 이는 자동화된 리뷰 시스템에서 강건성(robustness)이 필요함을 강조한다. 본 연구의 결과는 피어 리뷰 및 기타 중요한 과학적 워크플로우에서 LLM 기반 도구의 책임 있는 배포를 이끌기 위해 엄격하고 오류 중심적인 평가가 중요함을 보여준다.
MLCommons 탈옥 벤치마크 v1.0
MLCommons Jailbreak Benchmark v1.0
현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.
분기 유도 공격으로부터 컴퓨터 활용 에이전트 보호하기
Securing Computer-Use Agents Against Branch Steering Attacks
현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.
잘못된 하한선: 분포 변화에서 무너지는 LLM 안전 라우팅 평가
False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift
안전 라우터는 각 요청을 여러 모델 중 하나로 보내며, 단일 최선 모델과 비교하여 평가된다. 주요 라우팅 벤치마크는 평가 데이터 상에서 이러한 비교 대상을 선택한다. 벤치마크 자체의 설정에서는 이것이 무해하지만, 분포 변화(distribution shift) 하에서는 그렇지 않다. HELM Safety에서 이러한 선택 비용은 무작위 분할 시 0.003-0.030의 위해(harm) 수준이며, 홀드아웃(held-out) 범주에서는 0.045-0.113으로, 라우팅 탓으로 돌려진 전체 결손과 맞먹는 수준이고 그 방향성은 기발표된 어느 한 심사자(judge) 기준 단독으로도 유지된다. AgentDojo에서 스위트(suite)가 홀드아웃될 때는 이것이 7배에서 9배까지 증가한다. 사전에 고정된 규칙에 따라 선택된 7개 안전 말뭉치 전반에서 3개는 사전 등록된 구간 검정을 충족하고 4개는 사후 순열 영가설(permutation null)을 능가하며, 구간 검정을 통과하지 못한 4개 중 3개는 일부 모델의 관측된 위해가 0인 말뭉치들이다. 선행 연구는 이러한 바이어스의 방향성을 입증한다. 본 연구는 위해와 정확도 측면에서 그 크기를 측정하고, 우리가 측정한 홀드아웃 분할 하에서 이것이 더 큼을 보이며, 낙관주의(optimism)와 변화 의존적 리그렛(regret)의 합으로 이를 한계 짓는다. 변화 하에서 정직하게 채점할 경우, 이러한 벤치마크들에서 라우팅이 가져다주는 이점은 거의 없다. 대부분의 풀 셀(pool cell)에서 중첩된 라우터는 정직한 기준선의 모델을 제공하며, 거의 포화 상태인 AgentDojo 말뭉치에서 완벽한 사전 디스패치(pre-dispatch) 라우터의 가치는 최대 2포인트의 위해 감소에 불과하다. 또한 우리는 후기 주입(late injection)에 대해 모델이 표출하는 인식이 조향 가능(steerable)함을 발견했다. 홀드아웃 재실행에서 자신이 마주한 모델을 아는 공격자는 GPT-5.4의 판정된 인식을 19.6포인트 낮추며, 이는 독립적인 레이블에 의해서도 확인된다. 제어기로의 오프라인 반사실적 합성(counterfactual composition)에서, 동일한 공격은 대체(fallback) 모델에 따라 추정 위해를 높이거나 낮춘다. 안전 라우팅은 변화 하에서, 테스트 레이블 없이 선택된 기준선과 비교하여 평가되어야 하며, 인식 기반 방어는 모델이 보는 것을 선택하는 공격자에 맞서 위해를 기준으로 채점되어야 한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.