PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32701v2cs.AI

지침에도 불구하고: 프론티어 에이전트가 테스트 시점에 은닉 채널을 즉흥적으로 형성하다

Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time

보안에 민감한 애플리케이션에서 언어 모델 에이전트(agent)는 기밀 정보를 공개하지 않고 협력해야 하는 경우가 많습니다. 그러나 반복된 상호작용은 평범한 메시지가 공유된 은밀한 의미를 획득하도록 만들 수도 있습니다. 본 연구에서는 발신자 모델이 네 가지 비밀 상태 중 하나를 관찰하고 동일한 공개 보고서의 네 가지 요약 중 하나를 선택하는 동안 수신자 모델이 비밀 상태를 추론(inference)하려고 시도하는 모델 쌍 간의 반복 게임을 조사합니다. 연구 결과, 수신자가 비밀을 올바르게 추론했는지 여부를 나타내는 단 1비트의 피드백만으로도 모델 쌍이 비밀을 전달하는 방법을 학습할 수 있음을 확인했습니다. 이러한 학습은 제공된 코드북이나 인코딩 예시 없이 고정된 파라미터를 사용한 추론 중에 발생합니다. 또한 모의 사고 대응 작업에서 에이전트가 자체적으로 자유 형식 업데이트를 생성할 때도 이러한 효과가 지속됩니다. 10회의 독립적인 게임 전반에서, 정보 공개를 금지하는 명시적인 지침과 에이전트의 상호작용 이력에 접근할 수 없이 각 메시지를 선별하는 모니터가 존재함에도 불구하고 GPT-5.6 Sol 에이전트 쌍은 무작위 확률 25%에 비해 최종 정확도 98.8%에 도달했습니다. 따라서 에이전트의 협력을 돕는 바로 그 상호작용이 정당한 협력을 목적으로 하는 메시지를 통해 기밀 정보가 유출되도록 만들 수 있습니다.

arXiv:2610.03033v1cs.AI

숫자가 말을 하기 시작할 때: LLM 간의 수치적 신호 전달과 전략적 행동

When Numbers Start Talking: Numerical Signalling and Strategic Behaviour Among LLMs

대규모 언어 모델(LLM) 기반 에이전트는 전략적 상호작용을 특징으로 하는 다중 에이전트 시스템(MAS)에서 점점 더 많이 활용되고 있습니다. 그러나 서로 다른 유형의 메시지가 전략적 게임의 결과에 영향을 미치는지, 그리고 어느 정도까지 영향을 미치는지에 대해서는 알려진 바가 거의 없습니다. 서로 다른 협력 균형을 갖는 4개의 게임을 플레이하는 4개의 대표적인 LLM 기반 AI 에이전트를 조사함으로써, 본 연구는 다양한 종류의 메시지(자연어, 수치적 신호 또는 무작위 시퀀스)가 에이전트에 부여된 성격에 따라 각 게임의 협력 수준을 유의미하게 변화시키는지 분석합니다. 연구 결과, 구조화된 메시지는 대부분의 게임과 LLM에서 최종 보수(payoff)를 변화시키지만 예측 가능한 패턴은 나타나지 않음을 확인했습니다. 이는 추가적인 기능과 무관하게 AI 에이전트가 안정적인 균형으로 수렴할 수 있다는 가정에 의문을 제기합니다. 또한, 에이전트가 생성한 수치적 메시지는 무작위성에서 벗어나며, 특히 에이전트가 명시적으로 소통하도록 지시받았을 때 이러한 경향이 가장 강하고 일관되게 나타남을 관찰했습니다. 그러나 이러한 수치적 메시지의 기호 분포는 주로 보수 구조와 연관되어 있고 반복을 통해 대체로 더 집중되는 경향을 보이지만 전반적으로 인간이 해석하기 어려워 추가적인 해석 가능성(interpretability) 문제를 야기합니다. 따라서 제한된 채널을 통한 AI 에이전트의 공모 및 협력(coordination)을 모니터링할 때는 모델 간에 일반화되지 않는 행동적 결정보다는 모델 전반에 일반화되는 메시지 수준의 지문(fingerprint)을 우선적으로 고려해야 합니다.

arXiv:2607.22591v1cs.AI

대규모 언어 모델이 조율하는 미지 환경에서의 어휘 발견

Lexical discovery in unknown environments orchestrated by Large Language Models

미지의 환경(예: 행성 또는 심해 탐험)에 배치된 자율 에이전트 집단은 어떤 인간 언어에도 이름이 없는 개체를 지칭하기 위해 공유 어휘를 개발해야 한다. 우리는 신경-기호적 어휘 발견(Neuro-Symbolic Lexical Discovery, NSLD) 프레임워크를 제안한다. 이 프레임워크에서 LLM 기반 에이전트 집단은 분포 외(out-of-distribution) 시각적 지시 대상에 대해 지시 게임(referential game)을 수행하며, 공유된 외계 어휘(alien lexicon)를 자율적으로 자기 조직화(self-organising)한다. 각 에이전트는 고정된(frozen) CLIP 비전 인코더, 사적인 FAISS 벡터 인덱스, 그리고 텍스트 전용 LLM을 결합한다. 핵심적으로, 발견된 외계 단어들은 임베딩 공간에서의 의미적 근접성을 통해 자연어에 고정(anchor)되며, 지각적으로 그라운딩된(perceptually grounded) 새로운 단어로 인간 어휘를 확장한다. 시뮬레이션에서 최대 20개의 에이전트와 10개의 시각적 지시 대상으로 구성된 집단에서 합의(consensus)에 도달한다. 수렴 동역학은 R^2 > 0.95를 달성하는 세 가지 분석 모델을 통해 특성화되며, 이는 자율 탐험 임무에서 배치 전 계획을 향한 첫걸음을 나타낸다.

arXiv:2607.03752v1cs.CV

EmCom-Diffusion: 이미지 생성을 통한 창발적 언어의 시각적 반영 탐색

EmCom-Diffusion: Probing Visual Reflection in Emergent Languages via Image Generation

창발적 언어(emergent language)가 입력의 시각적 내용을 얼마나 인코딩하는지를 측정하는 문제는 아직 열린 과제이다. 우리는 이 속성을 시각적 반영(visual reflection)이라 부른다. 이는 창발적 메시지가 해당 메시지를 생성한 화자-청자 쌍에 의존하지 않고도 복원 가능한 형태로 원본 이미지에 대한 정보를 얼마나 보존하는지를 나타낸다. 기존 지표들은 인간이 정의한 개념 목록, 자연어 캡션, 구조적 거리 상관관계, 또는 Referential Game 정확도와 같은 대리 지표를 통해 이를 간접적으로만 측정하며, 이들 각각은 메시지가 인코딩한 시각적 내용을 놓치거나 인코딩하지 않은 내용을 인정하는 문제가 발생할 수 있다. 우리는 시각적 반영을 직접 측정하는 평가 프레임워크인 EmCom-Diffusion을 제안한다. 이 프레임워크는 창발적 메시지로부터 각 입력 이미지를 복원하고, 인간이 정의한 목표물이 아닌 원본 이미지 자체와 복원된 이미지를 비교한다. 구체적으로, (이미지, 창발적 메시지) 쌍으로 사전학습된 텍스트-이미지 확산 모델을 파인튜닝하고, 판별적 방식이 아닌 생성적 방식으로 복원된 이미지와 원본 이미지 간의 지각적 유사도를 시각적 반영 점수로 산출한다. MS-COCO에서 Referential Game을 통해 구체화하여, 세 가지 사전학습 시각 인코더 하에서 무작위 및 고정 토큰 기준선에 대해 해당 지표를 검증하고, 기존 네 가지 지표(CBM, 지도 학습 번역, TopSim, R@1)와 비교한다. EmCom-Diffusion은 다른 지표들이 놓치는 시각적 내용을 포착한다.

arXiv:2401.08461v2cs.AI

연속 세계에서의 창발적 의사소통: 개념적으로 그라운딩된 어휘의 대규모 자기조직화

Emergent Communication in Continuous Worlds: Self-Organisation of Conceptually Grounded Vocabularies at Scale

자율 에이전트 집단이 국소적 의사소통 상호작용을 통해 연속 특징 공간에 그라운딩된 개념 표현과 기호적 단어 형태를 연결하는 분산적 언어 관습을 스스로 형성하는 일반 방법론을 제안한다. 37개 공개 데이터셋 평가에서 일반성과 확장성을 확인했으며, 이형성 개체군 등 지각 변화와 환경 변화에도 견고하게 적응함을 보였다.