PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22724v1cs.CR

MATE: 합성 주도 궤적 학습을 통한 모바일 에이전트의 정책 인지 보안 감사

MATE: Policy-Aware Security Auditing for Mobile Agents via Synthesis-Driven Trajectory Learning

파운데이션 모델로 구동되는 모바일 에이전트는 이제 실제 기기에서 복잡한 다단계 워크플로를 자동화하지만, 그 궤적(trajectory)은 앱별 보안 정책을 위반할 수 있다. 기존 궤적 수준 방어는 LLM 프롬프팅이나 경직된 규칙에 의존하므로, 앱과 태스크 전반에 일반화되는 세밀한 자연어 정책을 지원하지 못한다. 본 연구에서는 MATE를 제안한다. 이는 경량의 정책 조건부(policy-conditioned) 감사기로, 에이전트 궤적과 자연어 보안 정책을 모두 인코딩하여 궤적이 주어진 정책을 위반하는지와 그 이유를 판단한다. 정책을 고정된 모델 파라미터가 아닌 편집 가능한 텍스트로 다루면 MATE는 재학습 없이 사용자 정의 및 변화하는 요구사항을 처리할 수 있다. MATE 구축을 위해 전 세계 수백 개의 인기 모바일 앱에서 앱 설명, 워크플로, 정책을 추출해 지식 베이스를 만들고, 다단계 파이프라인으로 14만 개 이상의 의미적으로 현실적인 정책 조건 궤적을 합성한다. 또한 합성 서브셋 두 개와 수동 수집 실세계 궤적 서브셋 하나로 구성된 궤적 수준 감사 벤치마크 MATEBench를 공개한다. 합성 주도 궤적 학습으로 학습한 모델은 MATEBench에서 95% 이상 정확도를 달성하고, 외부 안전성(safety) 벤치마크에서도 강한 성능을 유지하며, 실제 기기에서 Zhipu의 AutoGLM과 Alibaba의 Mobile-Agent 궤적을 95% 이상 정확도로 감사해 기존 방법 대비 20% 이상 우수하다. MATE는 이종(heterogeneous) 모바일 에이전트를 위한 실용적이고 세밀한 보안 감사가 실현 가능하고 효과적임을 보여준다.

arXiv:2504.16116v4cs.CR

DMind Benchmark: Web3 도메인 전반의 LLM 역량 종합 평가

DMind Benchmark: Toward a Holistic Assessment of LLM Capabilities across the Web3 Domain

암호학적 원시 구조(cryptographic primitives)와 탈중앙화 합의(decentralized consensus)에 기반한 Web3 생태계는 소프트웨어 취약점과 인센티브 불일치가 곧바로 금융적 손실로 이어지는 고위험 환경이다. 대규모 언어 모델(LLM)이 스마트 계약 감사부터 탈중앙화 금융(decentralized finance) 분석에 이르는 다양한 작업을 위해 이 도메인에 점점 더 통합되면서, 그 신뢰성 확보가 무엇보다 중요하다. 그러나 범용 벤치마크는 이러한 적대적(adversarial)이고 프로토콜 중심의 설정에서 요구되는 전문적 추론을 포착하지 못한다. 이 격차를 메우기 위해, Web3 스택 전반에서 LLM 숙련도를 엄격히 평가하도록 설계된 종합 평가 모음인 DMind Benchmark를 제안한다. DMind Benchmark는 아홉 개의 서로 다른 하위 도메인(인프라, 스마트 계약, 토큰 경제학 등)을 포괘하며, 객관적 지식 검색과 실제 운영 과제를 모사하는 복잡한 개방형 추론 작업을 결합한다. 우리는 31개의 선도적인 독점 및 오픈 가중치(open-weights) 모델에 대해 광범위한 평가를 수행했으며, 오염(contamination) 인식 파이프라인을 사용하고 엄격한 교차 심사자(cross-judge) 일관성 검증을 통해 채점 프로토콜의 통계적 견고성을 확인했다. 분석 결과 중요한 이분법이 드러난다: 모델들은 기초 인프라 개념에서는 역량을 보이지만, 보안 감사와 같은 고추론(high-reasoning) 작업에서는 상당한 취약성을 나타낸다. 또한 비용 효율적인 배포를 안내하기 위한 파레토(Pareto) 분석을 제공하고, 적대적 실험을 통해 DMind Benchmark에서의 높은 성능이 피상적 암기가 아닌 진정한 추론을 필요로 함을 보여준다. 2025년 4월 오픈소스 공개 이후 DMind Benchmark는 거의 일주일간 Hugging Face에서 1위 트렌딩을 기록했으며, 2026년 6월까지 13k 이상의 다운로드를 누적하여 Web3에서 안전하고 신뢰할 수 있는 AI를 발전시키는 표준으로 자리 잡았다.