PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.27593v2cs.AI

경쟁하는 LLM 에이전트 간 비밀 도구를 활용한 자발적 담합

Voluntary Collusion with Secret Tools in Competing LLM Agents

어떤 도구가 타인에게 불공정하고 해롭다고 명시되어 있더라도, 겉보기에 안전성이 정렬(alignment)된 대규모 언어 모델(LLM) 에이전트들은 전략적 이점을 제공하기만 하면 여전히 비밀 담합에 자발적으로 참여합니다. 이러한 현상을 조사하기 위해, 본 연구에서는 두 가지 전략적 멀티 에이전트 환경(경쟁적 기만 시나리오인 Liar's Bar와 복합 동기 자원 관리 시나리오인 Cleanup)을 기반으로 구축된 실증적 프레임워크를 도입합니다. 이 환경들에서 에이전트들에게는 다른 에이전트들에게 명백히 불이익을 주는 동시에 상당한 이점을 제공하는 비밀 담합 도구가 제공됩니다. 12개 모델(7B, 70B 및 상용 규모)과 6가지 프롬프트(prompt) 변형 전반에 걸쳐, 대부분의 에이전트(agent)는 수락 전 도구의 불공정성을 명시적으로 인지하면서도 지속적으로 해당 도구를 수락하고 담합 전략을 발전시키는 것으로 나타났습니다. 또한 불공정성 라벨이나 기준선(baseline) 정렬만으로는 담합을 확실하게 저지하지 못함을 보입니다. 오직 명시적인 윤리적 프레이밍만이 도구 채택을 줄였으며, 그마저도 소형 모델은 여전히 취약한 상태로 남았습니다. 더 넓은 관점에서 본 연구는 LLM 기반 멀티 에이전트 시스템에서 자발적 담합 채택에 대한 최초의 체계적인 조사를 제시하며, 이러한 행동을 방지하기 위해서는 일반적인 정렬에 의존하기보다 명시적인 안전장치가 필요함을 시사합니다.

arXiv:2604.01151v3cs.AI

다중 에이전트 해석 가능성을 통한 다중 에이전트 담합 탐지

Detecting Multi-Agent Collusion Through Multi-Agent Interpretability

대규모 언어 모델(LLM) 에이전트가 다중 에이전트 시스템에 점점 더 많이 배포됨에 따라, 표준적인 형태의 인간 감독을 회피할 수 있는 은밀한 공모 위험이 대두되고 있습니다. 모델 활성화에 대한 선형 프로브(linear probe)는 단일 에이전트 환경에서 기만을 탐지하는 데 유망함을 보여주었으나, 담합은 본질적으로 다중 에이전트 현상이며 에이전트 간의 담합을 탐지하기 위해 내부 표현을 사용하는 방안은 아직 연구되지 않았습니다. 본 연구에서는 환경 분포 변화(distribution shift) 하에서 담합 탐지를 평가하기 위한 벤치마크인 NARCBench를 소개하고, 에이전트별 기만 점수를 집계하여 그룹 수준에서 시나리오를 분류하는 다섯 가지 프로빙 기법을 제안합니다. 이는 네 가지 오픈 가중치 모델(Qwen3-32B, Llama-3.1-70B, DeepSeek-R1 32B, GPT-OSS-20B)과 여섯 가지 프로브 아키텍처 전반에서 평가되었습니다. 우리는 이를 분산 이상치 탐지(distributed anomaly detection) 문제로 구성하여, 서로 다른 이상 유형 및 탐지 패러다임과 대응되는 세 가지 담합 시그니처를 식별합니다. 모든 모델은 분포 내(in-distribution)에서 1.00 AUROC에 도달하며, 가장 강력한 모델(Llama-3.1-70B)의 경우 우리의 다섯 가지 프로빙 기법은 구조적으로 다른 다중 에이전트 시나리오로 제로샷 전이되었을 때 0.73~0.93 AUROC를 달성하고, 스테가노그래피 블랙잭 카드 카운팅 태스크에서는 0.99~1.00 AUROC를 달성하며 모델 성능에 따라 탐지 성능이 스케일링됨을 확인했습니다. 우리는 서로 다른 이상 유형에는 서로 다른 탐지 패러다임이 필요하다는 프레임워크의 예측과 일치하게, 모든 담합 유형에 걸쳐 독점적으로 우수한 단일 프로빙 기법은 없음을 발견했습니다. 본 연구는 탐지를 위해 에이전트 전반의 신호를 집계해야 하는 다중 에이전트 맥락으로 화이트박스 검사를 단일 모델에서 확장함으로써 다중 에이전트 해석 가능성을 향한 한 걸음을 내딛습니다. 이러한 결과는 다중 에이전트 담합을 탐지하는 데 있어 모델 내부가 텍스트 수준 모니터링에 대한 상호보완적인 신호를 제공함을 시사합니다. 코드 및 데이터는 https://github.com/aaronrose227/narcbench 에서 확인할 수 있습니다.