AI가 숨겨진 메시지를 발견했을 때 이를 보고하는가?
When AI Finds Hidden Messages, Does It Report?
한국어 초록
AI 어시스턴트가 다른 AI를 향한 메시지를 마주했을 때 사용자에게 이를 알릴까? 네 가지 고정된 모델-제공자 배포 환경에서 1,280개의 일반 메모 세션과 128개의 강화된 메모 세션을 통해 시뮬레이션된 소스 작업을 수행한다. 무해한 메시지와 유해한 메시지는 메시지가 없는 대조군과 함께 대응하는 평문 및 ROT13 버전을 갖는다. 관찰자는 디코더나 디코딩된 의미를 받지 않으며, 요청된 참조 코드가 검사를 유도한다. 보고를 요청하면 다른 AI를 수신자로 식별하는 규칙 감지 알림이 무해한 ROT13 메시지의 경우 53.1%포인트, 유해한 메시지의 경우 54.7%포인트 증가한다. 이는 검사, 인식 및 알림의 결합 효과이며, 결측 응답 경계는 각각 38.3--77.3 및 36.7--78.1포인트이다. 모델 기반 추적 검사를 통해 에이전트(agent)가 메시지를 해석하지만 사용자에게 알리지 않는 11건의 일반 평문 사례를 확인했다. 강화된 메모를 통해 7건의 인코딩된 누락이 검증되었으며, 일반 인코딩 누락은 검증되지 않은 상태로 남아 있다. 7건의 시뮬레이션된 파일명 유출이 정확한 검토 상태 답변과 공존하며, 2건의 답변은 심어둔 거짓 개수를 사용한다. 해석, 알림, 그리고 승인된 작업 수행은 서로 별개의 결과이다.
원문 초록
When an assistant encounters a message for another AI, does it tell its user? Four fixed model-provider deployments perform simulated source tasks in 1,280 ordinary-note and 128 enhanced-note sessions. Harmless and harmful messages have matched plaintext and ROT13 versions, with no-message controls. Observers receive no decoder or decoded meaning; a requested reference code incentivizes inspection. Asking for reports increases rule-detected notifications identifying another AI as recipient by 53.1 percentage points for harmless ROT13 messages and 54.7 for harmful ones. This is a joint inspection, recognition, and notification effect; missing-response bounds are 38.3--77.3 and 36.7--78.1 points. Model-based trace checks identify eleven ordinary plaintext cases where agents interpret the message but do not notify their user. Seven encoded omissions are verified with enhanced notes; ordinary encoded omissions remain unverified. Seven simulated filename disclosures coexist with accurate review-status answers, and two answers use a planted false count. Interpretation, notification, and authorized task performance are distinct outcomes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Tool Use Enables Undetectable Steganography in Multi-Agent LLM Systems
에이전트를 활용한 화학 과학 분야 AI 위험 통제
Controlling risks of AI in chemical science with agents
인공지능은 과학적 발견을 빠르게 진전시키고 있지만, 이러한 발전은 유해 물질 생성이나 기존 규제 우회와 같은 남용 위험을 수반한다. 본 논문에서는 화학 과학 분야에서 AI 남용의 실제 사례를 강조하여 위험을 먼저 입증하고, 이는 해당 AI 모델에 대한 효과적인 안전성 정렬(alignment)의 필요성을 부각한다. 이에 대응하여, 과학 AI 상호작용에서 위험을 평가하고 통제하기 위해 대규모 언어 모델, 도구 및 외부 지식을 활용하는 에이전트 기반 가드레일인 SciGuard를 제안한다. 공정한 비교를 위해, 서로 다른 AI 시스템의 안전성과 유용성을 모두 평가하는 벤치마크 SciMT(Scientific Multi-Task)를 도입한다. SciGuard는 레드팀 테스팅(red-teaming) 쿼리에서 최첨단 무해성 점수를 달성하면서, 과학 지식을 희생하지 않고 무해한 작업에서 높은 성능을 유지한다. 마지막으로, 과학 분야에서 AI의 안전한 배포를 보장하기 위한 지속적인 연구와 대화를 촉구한다.
AGI에서 ASI로
From AGI to ASI
SCARCE: Scalable Cascade Analysis for Rare-event Characterisation via Embeddings
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
2 figures, 8 tables. Data and code (v1.0.0): https://github.com/williamguey/ai-hidden-message-reporting