The rapid improvement of LLMs has made distinguishing AI-generated text from human writing a pressing problem. This challenge is further amplified by paraphrasing tools designed to make machine-generated text appear more ``human''. We study how access to human writing samples can be used to strategically paraphrase machine-generated responses toward the human distribution. Under a multi-sample setting with human and machine responses to the same prompts, we show that repeated paraphrasing moves the machine distribution toward a human target under mixing and stability conditions. We derive an explicit convergence rate, examine how semantic-preservation and quality constraints affect this rate, and extend the analysis to finite samples to characterize how the required human data and paraphrasing rounds scale with the desired error. We extend the analysis beyond the shared-parameter setting by learning a human-preserving rewriting kernel.
LLM 에이전트는 다중 에이전트 시스템에 점점 더 배치되며, 그 환경에서는 행동을 무해하게 보이게 하면서도 공모할 수 있다. 이러한 공모를 탐지하도록 설계된 출력 모니터는 난독화와 스테가노그래피(steganography)에 속을 수 있어, 내부 활성화(activation)로 학습된 프로브(probe) 사용이 동기가 된다. 그러나 이러한 프로브는 보통 자신이 감시당하고 있다는 사실을 모르는 에이전트에 대해 평가된다. 본 연구는 에이전트에게 내부 활성화가 모니터링되고 있음을 명시적으로 알려줄 때, 또한 모니터로부터 추가 피드백을 받을 때 활성화 기반 탐지가 어떻게 달라지는지 조사한다. 모델, 프로브, 임계값은 고정하고 에이전트에게 알려주는 내용만 바꾼다: 아무것도 알려주지 않음(기준선), 활성화 모니터가 존재함(인지, aware), 또는 모니터 존재와 함께 이전 라운드 점수(피드백, feedback). 4인 블랙잭 게임과 2인 Simmons 죄수 게임 두 가지를 Qwen3-32B-AWQ와 GPT-OSS-20B로 동종 및 혼합 페어링에서 시험한다. 에이전트에게 모니터를 알려준다고 해서 그들이 숨지는 것은 아니다. 최상의 프로브는 세 조건 모두에서 정확성을 유지하며, 에이전트는 계속 공모한다.
신경망은 명확하게 정의된 개념과 모호한 개념을 모두 식별하는 데 점점 더 많이 활용되고 있지만, 출력 수준의 지표만으로는 이러한 개념이 내부적으로 어떻게 표현되는지를 거의 알 수 없다. 본 연구는 이러한 신경망이 \textit{개념 분리(conceptual separation)}를 보이는지, 즉 동일한 개념에 속하는 예시들이 일관된 표현을 형성하는지, 그리고 관련된 개념들이 표현 공간에서 서로 더 가까이 위치하는지를 묻는다. 우리는 합성곱 신경망(CNN)과 대규모 언어 모델(LLM)의 내부 활성화(activation)에 대한 기하학적 분석과 분포 분석을 통해 이러한 개념적 조직을 살펴본다. CNN에서는 익숙한 ImageNet 개념들이 일관되고 의미적으로 질서 있는 표현을 형성하는 반면, 이러한 일관성은 학습하지 않은 개념에서는 약해지며 클래스 내 도메인 변화(domain shift)의 영향을 받는다. LLM에서는 명확히 구별되는 도메인들은 잘 분리된 상태를 유지하고, 관련된 하위 도메인들은 서로 더 가까워지며, 모호한 주제 간의 구분은 평균과 공분산 수준 모두에서 무너진다. 이러한 결과는 개념 분리가 출력 정확도만으로는 드러나지 않는 구조를 밝혀낼 수 있으며, 모델이 식별하도록 요구받은 개념을 얼마나 견고하게 표현하는지를 진단하는 유용한 도구가 될 수 있음을 시사한다. 코드와 데이터는 \href{https://github.com/JaeeRoshniCapstoneProject/Are-You-Thinking-What-I-m-Thinking-Examining-Conceptual-Separation-in-Neural-Architectures}{GitHub}에서 확인할 수 있다.