형태론적 교체 패턴의 진화를 위한 에이전트 기반 모델
Agent-based models for the evolution of morphological alternation patterns
한국어 초록
영어 "go"의 과거형이 겉보기에 관련 없는 "went"인 이유는 무엇인가? 이러한 교체 현상은 언어에서 빈번하게 발생한다. 이들은 의사소통이나 학습 가능성을 돕지 않음에도 불구하고 수세기 또는 수천 년 동안 지속될 수 있다. 우리는 형태론적 어간 및 굴절 교체의 출현에 대한 다중 에이전트 시뮬레이션을 제시한다. 대체 형태는 음운론적 변화를 통해, 또는 "go/went"의 경우처럼 인구의 일부 하위 집단과 관련된 어휘적 대안에서 발생한다. 에이전트가 다른 에이전트가 단어의 패러다임 슬롯(예: go의 과거형)에 대해 새로운 형태를 사용하는 것을 '듣게' 되면, 일정 확률로 해당 형태를 채택하며, 이를 동일한 원래 형태를 공유하는 패러다임의 다른 슬롯으로 사용을 확장할 수 있다. 따라서 대체 형태는 인구 집단 전체로 퍼져나가 어간 또는 굴절 표지 교체형으로 고착화될 수 있다. 이전의 많은 계산 연구와 달리, 우리 시스템은 자연스러운 어휘 형태, 현실적인 음운론적 규칙, 수백 또는 수천 개의 항목을 포함하는 어휘집, 그리고 수십 또는 수백 명 규모의 에이전트 집단을 지원한다. 이 시스템은 여러 네트워크 토폴로지, 확산 패턴 및 에이전트 채택 정책을 지원한다. 이러한 시뮬레이션의 한 가지 문제는 평가이다. 즉, 결과로 나온 형태론이 실제 언어의 형태론과 비교하여 얼마나 현실적인가 하는 것이다. 우리는 두 역사 언어학자 간의 토론을 모델링하는 새로운 대규모 언어 모델(LLM) 기반 시스템인 AI Historical Linguist를 소개한다. 우리는 이를 사용하여 실제 언어 형태론 집합, 위장된 형태론, 그리고 실험적으로 진화된 형태론을 비교한다. 결과에 따르면 더 그럴듯한 형태론을 유도하는 요인 중에는 무척도(scale-free) 사회 네트워크와 형태의 무작위 베르누이 채택이 포함된다. 또한 실제로 기록된 역사적 변화를 모델링한 세 가지 사례 연구를 제시하여, 역사가 달랐다면 어떤 일이 일어났을지 테스트할 수 있게 한다. 모든 코드와 데이터가 공개된다.
원문 초록
Why is the past of English "go" the apparently unrelated "went"? Such alternations are frequent in languages. They neither aid communication nor learnability, yet they can be persistent, surviving over centuries or millennia. We present a multi-agent simulation of the emergence of morphological stem and inflection alternations. Alternate forms arise by phonological changes or, as with "go/went", from lexical alternatives associated with a subset of the population. When an agent 'hears' another agent use a novel form for a slot in the paradigm of a word (say, the past tense of go), they will with some probability adopt that form, possibly spreading its use to other slots in the paradigm that shared the same original form. Thus alternative forms can spread through the population and become entrenched as stem or inflectional marker alternants. Unlike many previous computational studies, our system allows for naturalistic lexical forms, realistic phonological rules, lexicons with hundreds or thousands of entries, and agent populations in the tens or hundreds. It supports several network topologies, diffusion patterns and agent adoption policies. One issue with such simulations is evaluation: how realistic is the resulting morphology compared to those of real languages? We introduce the AI Historical Linguist, a novel Large Language Model-driven system that models a debate between two historical linguists. We use this to compare a set of real language morphologies, disguised morphologies, and experimentally evolved morphologies. The results suggest that among the factors that favor more plausible morphologies are scale-free social networks and random Bernoulli adoption of forms. We also present three case studies modeling attested historical changes, allowing us to test what might have happened if history had been different. All code and data are released.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12748v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
역학 모델링을 위한 대규모 언어 모델 생성 패턴: 다중 벤치마크 평가 프레임워크
Large language model-generated patterns for epidemiological modeling: a multi-benchmark evaluation framework
개인 수준의 행동 이질성(behavioral heterogeneity)을 표현하는 것은 역학 모델링(epidemiological modeling)에서 어려운 과제이며, 특히 실증적 행동 데이터가 부족한 경우 더욱 그렇다. 본 연구는 주사 약물 사용자(people who inject drugs) 사이의 C형 간염 바이러스(hepatitis C virus) 관련 행동을 사례 연구로 사용하여, 이러한 과제를 해결하는 데 있어 대규모 언어 모델(LLM)이 생성한 행동 출력의 가능성을 평가한다. 역학적 패턴과의 일치성은 세 가지 외부 벤치마크, 즉 문헌에 기반한 연관성 방향, 에이전트 기반 모델(agent-based model, ABM)에서 도출된 상관관계, 그리고 설문조사 연관성을 사용하여 평가되었다. 세 가지 LLM에 걸쳐, 유지된 28개의 문헌 기반 연관성에 대한 무조건적 방향 회복률(unconditional directional recovery)은 46~68%였으며, 이는 동일한 연관성을 직접 분류하도록 요청했을 때의 82~93% 일치율과 대비된다. ABM 및 설문조사 상관 패턴과의 평균 절대 차이는 각각 0.11~0.13 및 0.15~0.18이었다. 이러한 결과는 지식 탐색(knowledge-probe) 일치율이 더 높음에도 불구하고, LLM이 생성한 행동 관계와 역학적 증거 사이에 부분적인 일치만 존재함을 보여준다. 전파 동역학(transmission dynamics)을 시뮬레이션하는 역학 모델에 LLM이 생성한 행동 출력을 통합하기 전에 더 체계적인 평가가 필요하다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.