arXiv:2606.19632v1 cs.RO

결정 트리 증류를 통한 학습된 다중 에이전트 통신 정책의 형식적 검증

Formal Verification of Learned Multi-Agent Communication Policies via Decision Tree Distillation

Ahmad Farooq, Kamran Iqbal

제출 2026-06-17

한국어 초록

다중 에이전트 강화학습(MARL)은 에이전트가 창발적 통신(emergent communication)을 통해 협동 전략을 개발할 수 있게 하지만, 신경망 정책은 드론 군집 및 자율주행 차량 군집과 같은 안전 임계(safety-critical) 로봇 배치에 필요한 형식적 안전성 보장이 부족합니다. 우리는 정책 추상화(policy abstraction)를 통해 학습된 다중 에이전트 통신 정책의 안전성 검증을 위한 최초의 엔드 투 엔드 프레임워크를 제시합니다: 신경망 정책을 해석 가능한 결정 트리로 증류(distill)한 뒤 형식적으로 검증하며, 경험적 검증(empirical validation)을 통해 검증된 안전성 속성이 원래 네트워크로 전이됨을 확인합니다. 우리의 4단계 파이프라인은 에이전트 관찰로부터의 도메인 특화 특징 추출, 신경망 정책에 대해 97.9% +/- 1.2%의 충실도(fidelity)를 달성하는 결정 트리 증류, 완전한 특징-상태 변수 대응을 갖는 PRISM 확률적 모델 검사기(probabilistic model checker) 사양으로의 자동 번역, 그리고 유니온 바운드(union-bound) 집계 및 경험적 이웃 모델링을 통한 쌍별 분해(pairwise decomposition)를 이용한 확률적 계산 트리 논리(PCTL) 속성의 구성적 검증(compositional verification)으로 구성됩니다. 5-7개의 에이전트를 사용한 다중 드론 협동(multi-drone coordination)을 위한 벡터 양자화 변이 정보 병목(Vector-Quantized Variational Information Bottleneck, VQ-VIB) 정책을 평가하여, 우리는 안전성, 활성성(liveness), 협력에 걸쳐 18개의 시간 논리 속성을 검증했으며, 88.9%의 속성 만족도를 달성하고 5개의 안전성 임계값을 모두 충족했습니다(0.3% 충돌 확률 대 1% 임계값). 원래 신경망 정책에 대한 몬테카를로 검증(Monte Carlo validation)은 검증된 안전성 속성이 0.6 퍼센트 포인트 이하의 편차(95% 신뢰 구간)로 전이됨을 확인합니다. 이산 VQ-VIB 메시지는 연속적 방법 대비 +11.6에서 +13.6 퍼센트 포인트의 충실도 이점을 제공하여 3-4배 더 빠른 검증을 가능하게 합니다. 우리의 프레임워크는 증류된 정책 추상화에 대해 경험적으로 검증된 안전성 검증을 제공하며, 다중 로봇 배치를 위한 심층 MARL과 형식적 안전성 워크플로우 사이의 실용적인 가교 역할을 합니다.

원문 초록

Multi-agent reinforcement learning (MARL) enables agents to develop coordination strategies through emergent communication, but neural policies lack the formal safety guarantees required for safety-critical robotic deployment in drone swarms and autonomous vehicle fleets. We present the first end-to-end framework for safety verification of learned multi-agent communication policies through policy abstraction: neural policies are distilled into interpretable decision trees, then formally verified, with empirical validation confirming that verified safety properties transfer to original networks. Our four-stage pipeline consists of domain-specific feature extraction from agent observations, decision tree distillation achieving 97.9% +/- 1.2% fidelity to neural policies, automated translation to PRISM probabilistic model checker specifications with complete feature-to-state-variable correspondence, and compositional verification of Probabilistic Computation Tree Logic (PCTL) properties via pairwise decomposition with union-bound aggregation and empirical neighbor modeling. Evaluating Vector-Quantized Variational Information Bottleneck (VQ-VIB) policies for multi-drone coordination with 5-7 agents, we verify 18 temporal logic properties across safety, liveness, and cooperation, achieving 88.9% property satisfaction with all five safety thresholds satisfied (0.3% collision probability vs. 1% threshold). Monte Carlo validation of original neural policies confirms that verified safety properties transfer with <=0.6 percentage-point deviation (95% CI). Discrete VQ-VIB messages provide +11.6 to +13.6 percentage-point fidelity advantages over continuous methods, enabling 3-4x faster verification. Our framework provides empirically validated safety verification for distilled policy abstractions, serving as a practical bridge between deep MARL and formal safety workflows for multi-robot deployment.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19632v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Knowledge Distillation

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2607.14106v2cs.CL공통 태그 Knowledge Distillation

언어 모델링을 위한 토큰 시간 연속 확산

Token Time Continuous Diffusion for Language Modeling

본 논문에서는 토큰 시간 연속 확산(token time continuous diffusion, TTCD)을 소개한다. TTCD는 (a) 연속 공간에서 동작하며, 가우시안 노이즈를 최종 토큰 캔버스(token canvas)로 결정론적으로 매핑하고 추가 샘플링 없이 완료하는 새로운 확산 언어 모델이며, 중요하게도 (b) 토큰별 시간(per-token times)이라는 새로운 개념을 도입하여, 일부 토큰은 다른 토큰보다 더 빠른 속도로 노이즈에서 토큰으로 진행한다. 연속 공간 모델링은 TTCD가 여러 토큰의 병렬 샘플링을 피하도록 돕는다. 이는 순수하게 이산 공간에서만 반복하는 모델들이 높은 가속(speedup)에서 겪는 부정확성의 주요 원인이다. 토큰별 시간 개념은 TTCD가 조건부 생성(conditional generation)을 더 잘 모델링하도록 돕고, 더 확실한 토큰이 더 빠른 속도로 진행할 수 있게 하며, 정제(refinement) 과정에서 토큰 간 영향을 차별화할 수 있게 한다. TTCD는 높은 가속에서 이산 모델보다 우수한 성능을 보인다. OpenWebText에서 160M 매개변수 TTCD 모델을 학습한 뒤 자기 지식 증류(self-distill)를 수행했으며, 높은 가속에서 무조건부 생성 품질은 동일 데이터에서 학습하고 자기 지식 증류를 적용한 유사 크기의 기존 모델들과 비슷한 수준이고, 조건부 생성에서는 이들을 능가함을 확인했다. 수도쿠(Sudoku) 풀이에서도 유사한 성능 향상을 달성했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.