PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10742v1cs.CR

BRANCH: 다중 스캐너 AI 가드레일 우회 기법

BRANCH: Bypassing Multi-Scanner AI Guardrails

AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.

arXiv:2606.15034v2cs.AI

OSGuard: 컴퓨터 사용 에이전트의 안전성 평가를 위한 벤치마크

OSGuard: A Benchmark for Safety in Computer-Use Agents

컴퓨터 사용 에이전트(computer-use agent)는 악의가 없는 사용자 지시를 완수하는 과정에서 사용자의 환경(environment)이 갖는 중요한 제약 조건을 위반할 수 있습니다. 본 연구에서는 로컬 차원의 실행 전 가드레일 결정과 엔드투엔드(end-to-end) 작업 실행을 통해 안전성(safety)을 평가하는 이중 세분성(dual-granularity) 벤치마크 스위트인 OSGuard를 소개합니다. 액션 수준 벤치마크에는 원본 지시와 현재 인터페이스 상태가 주어졌을 때 가드레일이 후보 액션을 허용(allowed), 무관(unrelated), 불안전(unsafe)으로 분류하는 324개의 인간 주석 예제가 포함되어 있습니다. 위험 증강(risk-augmented) 실행 스위트는 40개의 OSWorld 작업에서 파생된 45개의 작업을 포함하며, 원본 지시는 유지하면서 환경을 수정하여 상태 의존적 안전성 제약 조건을 도입하고 안전한 완수 경로를 보존합니다. 증강된 평가자는 기존의 작업 성공 기준을 유지하면서 명시적인 상태 기반 안전성 검사를 추가하여, 안전한 완수와 이러한 제약 조건을 위반하는 명목상 성공을 구분합니다. 액션 수준 벤치마크에서 평가된 가장 강력한 가드레일은 79.9%의 정확도와 0.80의 매크로-F1에 도달하지만, 위험 증강 실행에서 파생된 액션에 대해서는 성능이 크게 하락합니다. 전체 작업 평가에서 가드레일이 없는 에이전트는 작업의 62.2%를 안전하게 완수하지만 37.8%는 불안전한 완수로 이어집니다. 가장 강력한 가드레일을 추가하면 안전한 성공률은 그대로 유지하면서 불안전한 완수 비율을 33.3%로 낮춥니다. 이러한 결과는 상태 의존적 안전성 제약 조건을 로컬에서 인식하는 것과 엔드투엔드 컴퓨터 사용 과정에서 유지하는 것 모두 여전히 도전적인 과제임을 보여줍니다.

arXiv:2609.27620v1cs.CV

InGuard: 안전한 텍스트-이미지 생성을 위한 일반화된 내부 가드레일을 향하여

InGuard: Towards Generalized Inner Guardrail for Safe Text-to-Image Generation

최신 텍스트-이미지(T2I) 모델은 임의의 사용자 프롬프트로부터 고품질 이미지를 생성하지만, 그만큼 쉽게 부적절한(NSFW) 콘텐츠를 생성할 수도 있습니다. 기존의 외부 가드레일은 생성 전에 위험을 검사하는 프롬프트 분류기와 완전히 생성된 이미지를 검사하는 사후 이미지 분류기라는 두 가지 구성 요소로 이루어져 있습니다. 이러한 설계에서는 두 분류기 모두 생성 파이프라인 외부에서 작동하며 모델 자체의 표현(representation)을 사용하지 않습니다. 이러한 분리는 프롬프트 필터링 정확도를 제한할 수 있는 반면, 이미지 측 검사는 전체 생성 비용이 소모된 후에만 실행됩니다. 또한 위험 요소가 표시된 프롬프트는 안전한 이미지를 생성하도록 조정될 수 있는 경우에도 거부 처리만 가능합니다. 본 연구에서는 베이스 모델의 파라미터를 건드리지 않고 모델 자체의 표현을 활용하여 파이프라인 내부에서 작동하는 안전 프레임워크인 내부 가드레일(InGuard)을 제안합니다. 첫째, 위험 분류기는 외부 언어 모델 없이 텍스트 인코더의 임베딩을 기반으로 각 프롬프트를 안전하지 않음(unsafe), 위험함(risky), 무해함(benign)으로 등급을 매깁니다. 둘째, SAGE(Soft-gated Asymmetric Guardrail for Embeddings)는 위험한 프롬프트의 임베딩을 수정하여 거부 대신 안전한 이미지를 반환하는 것을 목표로 합니다. 셋째, 잠재 검출기(latent detector)는 노이즈 제거(denoising) 중간 단계에서 1단계 정제 잠재 추정치(one-step clean latent estimate)를 검사하여 이미지 수준에 가까운 성능을 달성하고 위험이 감지되면 생성을 중단합니다. 또한 실제 조건에서 T2I 안전성을 평가하기 위해 RevGen 안전성 벤치마크를 구축합니다. 이는 실제 이미지 역생성을 통해 구축된 10,000개의 프롬프트로 구성되며, 제어된 지식재산(IP) 캐릭터를 제공하는 재작성 단계를 포함하여 등급화된 음란물/유혈 위험, 범주형 IP 위험 및 무해한 부정을 포괄합니다. 5개의 오픈 가중치 T2I 모델 전반에서 InGuard는 97.9-98.8%의 안전율에 도달하여 외부 가드레일과 일치하거나 이를 능가하는 동시에, 무해한 프롬프트에 대한 방해를 57.5-73.5% 줄이고 파라미터 수를 약 3.7배 적게 사용하며 노이즈 제거 단계의 50-55.6%를 건너뜁니다.

arXiv:2312.06632v2cs.AI공식 코드 · Papers with Code

에이전트를 활용한 화학 과학 분야 AI 위험 통제

Controlling risks of AI in chemical science with agents

인공지능은 과학적 발견을 빠르게 진전시키고 있지만, 이러한 발전은 유해 물질 생성이나 기존 규제 우회와 같은 남용 위험을 수반한다. 본 논문에서는 화학 과학 분야에서 AI 남용의 실제 사례를 강조하여 위험을 먼저 입증하고, 이는 해당 AI 모델에 대한 효과적인 안전성 정렬(alignment)의 필요성을 부각한다. 이에 대응하여, 과학 AI 상호작용에서 위험을 평가하고 통제하기 위해 대규모 언어 모델, 도구 및 외부 지식을 활용하는 에이전트 기반 가드레일인 SciGuard를 제안한다. 공정한 비교를 위해, 서로 다른 AI 시스템의 안전성과 유용성을 모두 평가하는 벤치마크 SciMT(Scientific Multi-Task)를 도입한다. SciGuard는 레드팀 테스팅(red-teaming) 쿼리에서 최첨단 무해성 점수를 달성하면서, 과학 지식을 희생하지 않고 무해한 작업에서 높은 성능을 유지한다. 마지막으로, 과학 분야에서 AI의 안전한 배포를 보장하기 위한 지속적인 연구와 대화를 촉구한다.

arXiv:2607.22926v1cs.AI

SAGE: 고영향 생성형 AI의 검증된 라이프사이클 제어를 위한 안전성 우선 심층 방어 가드레일

SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

고영향 생성형 AI는 치명적 오용을 단순한 프롬프트 필터링 문제가 아니라 라이프사이클 제어 문제로 만든다. SAGE는 안전성 우선, 권한 분리(authorization-separated) 아키텍처로, 신뢰할 만한 치명적 활성화(catastrophic-enablement) 위험이 유틸리티, 지연 시간(latency), 또는 상업적 목표가 고려되기 전에 허용 가능성(admissibility)을 제약한다. 이는 서명된 릴리스 매니페스트, 다양한 탐지기, 견고한 위험 포락선(risk envelopes), 최소 위험 기본값(least-risk defaults), 출력 검사, 3값 모니터링(three-valued monitoring), 보호된 감사 체인, 격리(containment), 및 롤백을 결합한다. 형식적 결과는 안전성 우선순위, 보수적 탐지기 경계, 단조 릴리스 게이팅(monotone release gating), 변조 방지 기록(tamper-evident records), 및 권한 절단(authorization cut)을 확립한다; 두 PRISM 추상화는 명시적 가정 하에서 권한 분리와 라이프사이클 불변식을 검증한다. 동결된(frozen), 벤더 대칭(vendor-symmetric) 연구는 GPT 스냅샷 4개, Claude 스냅샷 4개, Gemini 스냅샷 2개 각각에 84건의 사례를 전송했다: 840회 호출은 794개의 대상 응답, 46개의 제공자 오류, 375개 응답을 아우르는 449건의 성공적 판정을 산출했다. 8개 스냅샷이 완전한 판정된 도메인 커버리지를 갖추었다. 유해 준수(harmful-compliance) 추정치는 낮았으며, 변동은 주로 양성(benign) 유틸리티와 안전한 재지향(safe redirection)에서 발생했다. Claude, Gemini, 또는 GPT-5 스냅샷과 GPT-5 mini 및 GPT-5 nano 스냅샷을 포함하는 7개의 다중성 보정(multiplicity-adjusted) 대비가 지지되었으며, Claude 또는 Gemini 스냅샷과 GPT-5 또는 GPT-5.5 간의 검증된 대비는 보정 후에도 유의하지 않았다. 관측된 유해 준수 범위는 도구, 검색(retrieval), 이력, 또는 인간 심사(human adjudication) 없이 프롬프트당 1회 생성에서 나온 보수적이고 프로토콜에 구속된 관점이며, 운영적 지원의 상한이 아니다. 사전 등록(preregistered) 확장은 잠금 분할(locked split), 반복 샘플링, 다중 턴 및 샌드박스 도구 조건, 도메인 전문가 채점을 사용하여 더 넓은 최선-최악(best-worst) 격차를 검증하는 방법을 명시한다.

arXiv:2607.21180v1cs.AI

Speech2Speech LLM 어시스턴트를 위한 안전장치: 자동차 응용 사례 연구

Safeguards for Speech2Speech LLM-Assistants: A Case Study in Automotive Applications

최근 발전으로 억양과 분위기 같은 비언어적 단서를 포함하여 자연스러운 상호작용을 생성할 수 있는 음성-음성(S2S) 대화형 어시스턴트가 등장했다. 자동차 분야에서는 이를 통해 직관적이고 인간과 유사한 차내 대화 경험이 가능해진다. 그러나 이러한 엔드투엔드 어시스턴트를 통합하면 프로그래밍 가능한 도메인 특화 안전장치를 위한 아키텍처 선택지가 제한된다. 본 논문은 S2S 가드레일을 위한 두 가지 구현 접근법, 즉 전사(transcript) 기반과 도구(tool) 기반 방식을 논의한다. 실증 평가를 통해, 두 전략 모두 과도한 지연(계산 비용이 낮은 검사에서도 각 응답을 0~1.4초 지연시킴)과 기술적 장애(예: 잠재적으로 비결정적인 도구 호출 동작)로 인해 대부분의 경우 산업 배포에 부적합함을 보인다. 마지막으로, 자동차 맥락에서 S2S 가드레일의 미해결 과제를 정리한다.

arXiv:2607.20982v1cs.AI

GuardianAgentBench: 에이전트가 실패하는 지점과 보호 방법

GuardianAgentBench: Where Agents Fail and How to Guard Them

도구와 외부 환경에 접근하며 대규모 언어 모델 에이전트가 점점 더 자율적으로 작동함에 따라, 이들의 안전하고 신뢰할 수 있는 행동을 보장하는 것이 중요해지고 있다. 본 논문은 LangChain, LlamaIndex, Vectara의 세 가지 프로덕션 수준 프레임워크에서 평가된 6개 도메인에 걸친 580개 시나리오로 구성된 벤치마크인 GuardianAgentBench(GABench)를 제시한다. 이 벤치마크는 엄격한 다단계 검증과 5가지 적대적 공격 모드를 포함한다. 6개의 최신(state-of-the-art) 모델에 대한 실험 결과, 가장 강력한 구성조차 전체 정확도 74.8%에 그치며 두 가지 뚜렷한 실패 양상을 드러낸다. 더 강한 모델은 필요한 도구를 과소 호출(under-call)하고, 더 약한 모델은 도구를 잘못 선택하고 과다 호출(over-call)한다. 성능은 도구 집합 크기와 순차적 턴 깊이 모두에 대해 단조적으로 저하되며, 장기 계획(long-horizon planning)이 더 가파른 병목으로 나타난다. 우리의 가드레일(guardrail) 구현은 모든 모델에서 시스템 프롬프트 기반 방어를 일관되게 능가하며, 단 0.5%의 거짓 양성(false positive) 비율로 실패의 19.9%를 회복한다. 이러한 결과는 실행 시점의 구조적 개입이 올바른 에이전트 행동을 방해하지 않으면서 안전성을 향상시킴을 보여준다.

arXiv:2607.21401v1cs.CV

추론 기반 가드레일은 언제 비효율적인가? ResponseGuard: 실시간 검열을 위한 고속 비전-언어 가드

When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation

비전-언어 AI 어시스턴트는 생성된 토큰의 스트림 형태로 답변을 반환한다. 따라서 그 답변을 감시하는 안전 가드는 스트림 속도를 따라잡아 사용자가 읽기 전에 유해한 응답을 중단해야 한다. 최근 비전-언어 가드레일은 판정을 내리기 전에 사고의 연쇄(Chain-of-Thought)를 생성한다. 이들은 단계별 추론이 더 안전한 가드를 만든다고 본다. 이 설계는 유해성 탐지를 위해 모델이 많은 토큰을 디코딩해야 하므로 가드를 무겁고 느리게 만든다. 우리는 비전-언어 가드가 응답을 선별하기 위해 정말 추론이 필요한지라는 질문을 제기한다. 우리는 사고의 연쇄가 없는 가드로 이에 답한다. ResponseGuard는 요청, 응답, 이미지의 단일 풀링(pooled) 표현에서 한 번의 순전파로 유해 판정을 읽어낸다. 표준 멀티모달 가드레일 벤치마크에서, 우리의 2B ResponseGuard는 추론 없이 약 150배 낮은 시간 비용으로 최근 3B 추론 기반 비전-언어 가드보다 응답 유해성 탐지에서 더 우수한 성능을 보인다. 요청 유해성에서는 추론 기반 가드가 전반적인 우위를 유지하며, 두 트랙 모두에서 남은 격차는 이미지 전용(image-only) 셀에 집중되어 있다. 우리는 그 격차가 사고의 연쇄 부재가 아니라 두 설계가 공통으로 사용하는 고정(frozen) 비전 인코더에서 비롯될 수 있음을 관찰한다. 또한 추론 기반 가드는 판정 어텐션을 이미지에 거의 전혀 할당하지 않음을 발견했다. 단일 패스(single-pass) 탐지를 바탕으로 ResponseGuard는 스트리밍되는 답변을 문장 단위로 선별하고 완성되기 전에 유해한 답변을 중단할 수 있다. 비전-언어 모델의 응답을 가드하는 데 있어, 보정(calibrated)된 단일 패스 레이블이 충분한 안전성 신호를 제공할 수 있다. 우리는 모든 소스 코드, 학습된 모델, 데이터셋을 https://github.com/ndb796/ResponseGuard 에서 전면 공개한다.

arXiv:2606.19380v1cs.SE

AgentArmor: 코딩 에이전트 실패에 대한 프레임워크, 평가 및 완화

AgentArmor: A Framework, Evaluation, \& Mitigation of Coding Agent Failures

소프트웨어 공학 및 배포는 점점 더 AI 코딩 에이전트에게 위임되고 있습니다. 도입 규모가 확대됨에 따라 드물지만 매우 파괴적인 실패 모드가 표면화되고 있습니다. 본 논문에서는 이러한 실패 모드가 세 가지 명확한 메커니즘에서 기인한다고 분석합니다: 기본 모델 동작이 안전하지 않은 명세 불충분(underspecification); 안전한 행동이 가능함에도 바이어스나 능력 제한으로 인해 모델이 이를 준수하지 않는 능력 오류(capability errors); 그리고 모델이 하니스(harness)를 통해 안전한 행동을 실행하지 못하는 에이전트 하니스 오류(agent harness errors)입니다. 실제 배포 실패 사례에서 영감을 받은 8가지 평가를 통해 이를 측정하였으며, 총 20개의 코딩 환경과 59개의 합성 대화 템플릿을 사용하였습니다. 이 평가를 바탕으로, 이러한 오류를 완화하기 위한 에이전트 하니스 수정안인 AgentArmor를 제안합니다. 확장된 시스템 프롬프트, 별도의 명령어 분류기, '3스트라이크' 정책, 결정론적 가드레일(guardrails), 그리고 에이전트가 자체 컨텍스트를 편집할 수 있는 도구를 추가하여, AgentArmor가 통계적으로 유의미한 수의 샘플에서 더 안전함을 입증합니다. 따라서 본 연구는 현재 코딩 에이전트에 대한 구체적인 완화책과 향후 에이전트 하니스 기능에 대한 설계 철학을 제시합니다.

arXiv:2606.12702v1cs.AI

배포 중심 평가: 임상 LLM 시스템에서 쿼리 수준 거부 위험 예측

Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System

대규모 언어 모델(LLM)이 임상 시스템에 점점 더 많이 통합됨에 따라, 이러한 시스템의 실세계 유용성을 평가하는 것이 필수적이 되었다. 그러나 정적 벤치마크는 사용자 수용도보다 정확성을 측정하고, 쿼리 전반에 걸쳐 성능을 집계하며, 밀도 있게 주석이 달린 데이터셋을 필요로 하는 경향이 있어 임상 시스템 평가에 있어 주요한 사각지대를 초래한다. 본 연구에서 우리는 학술 의료 센터의 전자 건강 기록에 내장된 LLM 시스템에 대한 배포 중심 평가를 수행하며, 이 환경에서 사용자 피드백은 희소하지만 배포 조건을 밀접하게 반영한다. 구체적으로, 우리는 생성 이전에 확보 가능한 쿼리 내용 및 배포별 컨텍스트를 기반으로 향후 상호작용에서 사용자가 LLM 응답을 거부할 위험을 추정하는 응답 전(pre-response) 분류기를 학습한다. 우리는 4.5개월간의 사용자 피드백에 대해 모델의 전향적 분석을 수행하여, 예측 모델이 0.719의 AUROC를 달성함을 확인하였다. 또한, 두 가지 다운스트림 활용 사례(가드레일 트리거링 및 기권(abstention))에서 이러한 예측의 효용을 추정한다. 핵심적인 개념적 통찰은, 쿼리 내용만을 사용하는 것이 아니라 배포별 컨텍스트(즉, 의료 제공자 유형, 부서명, 응답에 사용된 언어 모델)를 활용하는 것이 사용자가 시스템 출력을 거부할지 여부를 예측하는 능력을 향상시킨다는 점이다. 종합적으로, 우리의 실증적 사례 연구는 배포별 컨텍스트를 활용한 사용자 거부 예측의 실현 가능성을 입증하며, 타겟화된 가드레일로 나아가는 문을 열어준다.