특화 신경망 모델의 자동 튜닝을 위한 멀티 에이전트 대규모 언어 모델(LLM) 시스템
A Multi-Agent LLM System for Automated Tuning of Specialized Neural Network Models
한국어 초록
많은 머신러닝 접근법은 2단계로 이루어집니다. 즉, 전문가가 방법론 군을 선택하고, 해당 군 내에서 핵심 구성 요소의 선택이 결정적이지만 대개 수동으로 이루어집니다. 본 논문은 이러한 구성 요소의 자동 튜닝을 다루며, 서로 다른 성격의 모델 전반에 전이 가능한 프레임워크를 제안합니다. 이 멀티 에이전트 대규모 언어 모델(LLM) 프레임워크는 실험 로그 및 샌드박스 실행 환경과 함께 분석가(analyst), 코더(coder), 기록자(recorder)라는 세 가지 역할을 갖습니다. 전체 머신러닝 스크립트를 최적화하거나 이산적인 공간에서 아키텍처를 탐색하는 시스템과 달리, 이 프레임워크는 개방적이지만 의미적으로 좁은 공간에서 작동합니다. 즉, 에이전트는 전체 네트워크 구조는 변경하지 않은 채 지정된 구성 요소에 대해서만 코드를 생성합니다. 이 접근법은 상관 학습(correlation learning)을 적용한 분류 스파이킹 신경망(SNN) 튜닝과 물리 정보 기반 신경망(PINN)을 이용한 고계 미분방정식 풀이라는 두 가지 방향에서 검증됩니다. MNIST 및 Digits 데이터셋에서의 스파이킹 분류, 그리고 일반화된 비선형 슈뢰딩거 방정식(GNLSE) 및 쿠라모토-시바신스키(KS) 방정식에 대한 경계값 문제 등 총 5개 태스크에 걸쳐 에이전트는 베이스라인을 능가합니다. 분류 정확도는 MNIST에서 13%p, Digits에서 6%p 더 높았고, 해석적 단일 솔리톤 해에 대한 오차는 약 2491배 감소했습니다. 가우시안 섭동(Gaussian perturbation)이 있는 선정된 GNLSE 실행에서 불변량 보존 오차는 약 325배 감소했고 반복 초기화 전반의 평균으로는 100배 이상 감소했으며, 가우시안 섭동이 있는 KS 문제의 경우 질량 드리프트가 14배 감소했습니다. 따라서 이 프레임워크는 자체적인 내부 구조를 변경하지 않고도 서로 다른 성격의 태스크에서 핵심 구성 요소를 튜닝합니다.
원문 초록
Many machine learning approaches are two-level: an expert selects a class of methods, within this class the choice of key components is critical and usually manual. This paper addresses the automatic tuning of these components and proposes a framework transferable across models of different nature. The multi-agent large language model (LLM) framework has three roles---analyst, coder, and recorder~---with an experiment log and a sandboxed execution environment. Unlike systems that optimize the entire ML script or search architectures in a discrete space, the framework operates over an open but semantically narrow space: the agent generates code only for the specified components, leaving the overall network structure unchanged. The approach is validated in two directions: tuning a classification spiking neural network with correlation learning, and solving high-order differential equations with Physics-Informed Neural Networks (PINN). Across five tasks---spiking classification on MNIST and Digits, and boundary-value problems for the generalized nonlinear Schrödinger equation (GNLSE) and Kuramoto--Sivashinsky (KS) equations---the agent outperforms the baselines: classification accuracy is 13 percentage points (MNIST) and 6 percentage points (Digits) higher; the error against the analytical single-soliton solution is reduced approximately 2491-fold; the invariant-preservation error drops approximately 325-fold in the selected GNLSE run with a Gaussian perturbation and by more than 100-fold on average over repeated initializations; and the mass drift drops 14-fold for the KS problem with a Gaussian perturbation. The framework thus tunes key components on tasks of different nature without changing its internal structure.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
개인화된 건강검진 결과 해석 및 안내를 위한 멀티 에이전트 LLM 프레임워크
A Multi-Agent LLM Framework for Personalized Health Checkup Interpretation and Guidance
건강검진 결과의 개인화된 해석에는 종단적 기록, 의학 지식, 생활 습관 안내 및 의료 서비스 내비게이션 전반에 걸친 추론이 요구됩니다. 본 논문에서는 여러 의도를 식별하고, 각 의도를 작업별 전문 에이전트(agent)에 매핑하며, 이를 병렬로 실행한 후 결과를 종합하는 멀티 에이전트 대규모 언어 모델(LLM) 시스템을 제시합니다. 저자들은 합성 건강검진 기록을 활용하여 2개에서 4개의 요구사항이 결합된 120개의 한국어 복합 질의를 대상으로 단일 에이전트(Single Agent)와 멀티 에이전트(Multi Agent) 환경에서 생성된 답변을 비교했습니다. 멀티 에이전트는 가중치 적용 LLM 심사위원 점수를 1.695점에서 1.797점으로 향상시켰으며(p = 0.027), 3개의 추가 LLM 심사위원 평가에서도 일관된 향상($Δ$ = +0.111 ~ +0.186, 모두 p < 0.05)을 보였습니다. 이러한 성능 향상은 유용성, 일관성, 그리고 복합 질의의 모든 요구사항 처리에 기인한 반면, 수치적 정확도와 그라운딩(grounding)은 4개의 심사위원 중 1개에서만 유의미하게 향상되었고, 의학적 안전성(safety)에는 차이가 없었으며, 치명적 실패 발생률 또한 유사한 수준(단일 에이전트 15.0% 대 멀티 에이전트 13.3%)을 보였습니다. 두 명의 인간 평가자는 쌍별 비교에서 각각 66.7%와 68.3%의 비율로 멀티 에이전트를 선호했습니다. 멀티 에이전트 실행은 지연 시간과 비용을 각각 1.31배 및 2.02배 증가시켰습니다. 탐색적 하위 그룹 분석에서 이러한 개선 효과는 개인 기록 조회가 포함된 질의에 집중된 것으로 나타났습니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.