PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.39788v2cs.AI

다중 에이전트 시스템에서 잠재 공간 통신의 안전성

Safety of Latent Communication in Multi-Agent Systems

잠재 공간 통신(Latent communication)은 다중 에이전트 시스템이 내부 표상 공간에서 직접 정보를 교환할 수 있게 하여, 텍스트 기반 통신에 수반되는 토큰, 연산 및 지연 오버헤드를 줄여줍니다. 이를 위해 발신자의 표상을 수신자의 입력 공간으로 매핑하는 경량의 학습 가능한 링크가 도입됩니다. 본 연구에서는 기반이 되는 안전성 정렬(safety alignment) 에이전트들이 변경되지 않더라도, 정상적인 링크 학습만으로도 텍스트 기반 통신 대비 유해한 요청에 대한 순응(harmful compliance)이 증가할 수 있음을 보입니다. 공격자는 유해한 질의-응답 쌍으로 링크를 최적화하거나 정상적인 학습 데이터를 오염시킴으로써 이러한 효과를 증폭시킬 수 있습니다. 나아가 유해한 타깃 응답을 요구하지 않으면서도 정상적인 작업 성능과 유해 요청 순응을 함께 보상하는 강화학습(RL) 공격을 개발합니다. 세 가지 통신 토폴로지와 네 가지 안전성 벤치마크에 걸쳐, 이 공격은 정상적으로 학습된 링크에서의 평균 유해 순응 점수를 27.9에서 76.9로 높입니다. 직접적인 지도 최적화와 비교했을 때, 두 가지 정상 유용성 벤치마크에서도 더 높은 평균 정확도를 달성합니다. 보상을 보다 안전한 동작을 지향하도록 조정하면 침해된 링크를 복구할 수도 있어, 에이전트를 업데이트하지 않고도 평가된 모든 공격 전반에서 유해 순응을 크게 줄일 수 있습니다. 전반적으로 본 연구 결과는 안전성 정렬 시 다중 에이전트 시스템 전체를 통합적으로 고려해야 함을 보여줍니다. 코드: https://github.com/Muhammad-Huzaifaa/latent-safety

arXiv:2606.05711v3cs.CL

토큰을 넘어서: LLM 기반 멀티 에이전트 시스템에서의 잠재 통신을 위한 통합 프레임워크

Beyond tokens: a unified framework for latent communication in LLM-based multi-agent systems

대규모 언어 모델(LLM)을 기반으로 구축된 멀티 에이전트 시스템은 복잡한 추론, 계획, 도구 사용 작업을 해결하기 위한 주류 패러다임이 되었습니다. 이러한 시스템에서 지배적인 통신 프로토콜은 자연어입니다. 에이전트는 토큰 단위로 메시지를 교환하며, 동료 에이전트가 읽고, 검증하고, 응답할 수 있도록 내부 추론 과정을 언어화합니다. 편리하고 해석 가능하지만, 이 프로토콜은 높은 추론 비용, 이산화 과정에서의 되돌릴 수 없는 정보 손실, 그리고 자연어의 모호성 및 중복성이라는 세 가지 구조적 단점이 있습니다. 따라서 점점 더 많은 연구가 대안 프로토콜인 '잠재 통신(latent communication)'을 탐색하고 있습니다. 잠재 통신에서는 에이전트가 텍스트 생성이라는 병목 현상을 우회하여 임베딩, 은닉 상태, 또는 KV 캐시와 같은 연속 표현을 직접 교환합니다. 본 논문은 잠재 통신에 관해 급속도로 확장되는 문헌을 체계화하기 위한 통합 프레임워크를 제시합니다. 우리는 세 가지 직교하는 축을 따라 기존 방법들을 분석합니다: (1) 어떤(WHAT) 정보가 전달되는지(임베딩, 은닉 상태, KV 캐시, 또는 기타 연속 상태), (2) 어떤(WHICH) 송신자-수신자 정렬이 사용되는지(잠재 공간 정렬 및 층 정렬), (3) 전달된 정보가 수신자에게 어떻게(HOW) 융합되는지(연결, 앞에 붙이기, 수학적 연산, 크로스 어텐션, 또는 캐시 복원). 이 3축 프레임워크 하에서 우리는 2024년부터 2026년 사이에 제안된 18가지 대표적인 방법을 체계적으로 분류하고, 5가지 주요 설계 패턴을 식별하며, 교차 아키텍처 정렬, 잠재 채널의 보안, 엣지 배포를 위한 압축, 그리고 잠재 통신과 잠재 사고의 연쇄(latent chain-of-thought) 간의 관계를 포함한 일련의 미해결 과제를 제시합니다. 우리는 이 프레임워크가 새로운 연구자들의 진입 장벽을 낮추고 미래 연구를 비교할 수 있는 어휘를 제공하기를 바랍니다.