PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13626v1cs.SE

SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹

SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle

대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.

arXiv:2610.02869v1cs.CR

AgentTrap: 자율 침투 테스트 에이전트에 대응하는 상태 기반 피드백 기만 기법

AgentTrap: Stateful Feedback Deception against Autonomous Penetration Testing Agents

자율 침투 테스트 에이전트(autonomous penetration testing agent)는 대상의 반응에 맞춰 계획과 행동을 지속적으로 적응시키며 다단계 공격을 수행합니다. 일반적인 방어 기법으로 허니팟(honeypot)을 배치하여 미끼 서비스를 제시함으로써 이러한 에이전트를 실제 자산으로부터 유인하는 동시에, 공격 추적 및 능동적 반격을 지원할 수 있습니다. 그러나 기존의 허니팟은 주로 정적 아티팩트와 사전 정의된 응답에 의존하므로, 자율 침투 테스트 에이전트의 진화하는 공격 전략에 적응하지 못합니다. 이를 위해 본 연구에서는 자율 침투 테스트 에이전트에 맞춤화된 최초의 폐루프(closed-loop) 허니팟인 AgentTrap을 제안합니다. AgentTrap은 정상적인 간섭을 피하기 위한 센티넬 엔드포인트(sentinel endpoint), 보호 대상 애플리케이션에 기반한(grounded) 상태 기반 기만, 제어된 정보 공개를 통해 교전을 지속하고 에이전트 측 행동 증거를 수집하는 행동 유도형 에스컬레이션을 사용합니다. 실제 애플리케이션 엔드포인트와 세 가지 방어 전략으로 구성된 별도의 허니팟 엔드포인트가 포함되어 배포된 웹 애플리케이션 환경에서, 8개의 자율 침투 테스트 에이전트를 대상으로 AgentTrap을 평가합니다. 방어가 없는 경우와 비교했을 때, AgentTrap은 실제 대상을 향한 총 공격 성공률을 95.8%에서 79.2%로 감소시키고 실행 중 18.8%에서 공격자의 API 키를 성공적으로 유도해 내어 정적 기만 및 고정된 에스컬레이션 방식보다 우수한 성능을 보였습니다. 나아가 추적 분석 결과, 이러한 역공격에 대한 저항력은 기만적 요청에 대한 모델(model) 수준의 인식과 민감한 자원의 아키텍처 수준 격리에 복합적으로 의존함을 보여줍니다.

arXiv:2607.20444v1cs.CL

확신적 기만: 신뢰도가 LLM 기만 위험을 어떻게 증폭하는가

Confidently Deceptive: How Confidence Amplifies the Risk of LLM Deception

대규모 언어 모델(LLM)은 기만적인 응답, 즉 맥락상 또는 실험적으로 유도된 목표를 위해 사용자를 오도하는 출력을 생성할 수 있다. 그러나 모델이 얼마나 자신 있게 기만하는지, 더 높은 신뢰도가 기만적인 응답을 최종 사용자에게 더 설득력 있게 만드는지는 여전히 불분명하다. 본 논문에서는 다양한 모델과 서로 다른 기만 데이터셋에서 이러한 기본적인 질문들을 연구한다. 언어화된 자기 보고와 다양한 로짓 기반 추정기를 통해 신뢰도를 측정하는 포괄적인 연구를 제시한다. LLM이 상당한 수준의 언어화된 신뢰도로 기만적인 응답을 제공하며, 쌍별 비교에서 인간 어노테이터가 더 높은 신뢰도의 기만적 응답을 78%의 경우 선호한다는 것을 보여준다. 미정렬 미세조정은 이 문제를 증폭한다. 기만적 응답에 대한 신뢰도는 세 벤치마크 모두에서 상승하며, 그로 인한 잠재적 위험이 증가하고, 효과는 학습 분포를 넘어 일반화된다. 주목할 점은, 모델이 자신의 기만적 출력을 높은 비율(미정렬 하에서 82.7%)로 기만적이라 분류하면서도 여전히 그것을 생성할 것이라 예측한다는 것이다—회피 없는 인식. 우리는 자신 있는 기만이 기만, 신뢰도, 인식을 함께 측정하는 평가가 필요한 별개의 정렬 위험이라고 주장한다.