arXiv:1902.10319

Neural Packet Classification

Eric Liang, Hang Zhu, Xin Jin, Ion Stoica

제출 2019-02-27

원문 초록

Packet classification is a fundamental problem in computer networking. This problem exposes a hard tradeoff between the computation and state complexity, which makes it particularly challenging. To navigate this tradeoff, existing solutions rely on complex hand-tuned heuristics, which are brittle and hard to optimize. In this paper, we propose a deep reinforcement learning (RL) approach to solve the packet classification problem. There are several characteristics that make this problem a good fit for Deep RL. First, many of the existing solutions are iteratively building a decision tree by splitting nodes in the tree. Second, the effects of these actions (e.g., splitting nodes) can only be evaluated once we are done with building the tree. These two characteristics are naturally captured by the ability of RL to take actions that have sparse and delayed rewards. Third, it is computationally efficient to generate data traces and evaluate decision trees, which alleviate the notoriously high sample complexity problem of Deep RL algorithms. Our solution, NeuroCuts, uses succinct representations to encode state and action space, and efficiently explore candidate decision trees to optimize for a global objective. It produces compact decision trees optimized for a specific set of rules and a given performance metric, such as classification time, memory footprint, or a combination of the two. Evaluation on ClassBench shows that NeuroCuts outperforms existing hand-crafted algorithms in classification time by 18% at the median, and reduces both time and memory footprint by up to 3x.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10627v1cs.LG공통 태그 Reinforcement Learning, Deep Reinforcement Learning

콜모고로프-아놀드 네트워크의 샘플 효율성

Sample-Efficiency of Kolmogorov-Arnold Networks

심층 강화학습은 기존 제어 방식에 비해 상당한 성능 향상을 달성했습니다. 그러나 실제 응용 분야에서 학습을 진행할 때 핵심적인 과제는 비용이 많이 드는 샘플을 획득하는 것입니다. 콜모고로프-아놀드 네트워크(Kolmogorov-Arnold Networks)는 최근 제안된 구조로, 다층 퍼셉트론(Multi-Layer-Perceptron) 구조와 비교했을 때 현저히 높은 매개변수 효율성과 해석 가능성을 바탕으로 제어 문제에서의 물리적 관계를 효과적으로 학습할 수 있습니다. 본 연구에서는 파인만(Feynman) 데이터셋과 Gymnasium RL 벤치마크를 포함하는 계산 실험을 통해 샘플 효율성을 체계적으로 연구합니다. 실험 결과, 콜모고로프-아놀드 구조를 사용하면 40% 더 적은 샘플로도 유사한 성능을 달성할 수 있으며, 학습 과정에서 최대 50%의 상대적 성능 향상이 나타남을 보여줍니다. 관찰된 이득은 다양한 수준의 보상 노이즈에도 강건합니다. 이러한 결과는 보다 샘플 효율적인 강화학습을 위한 콜모고로프-아놀드 구조의 잠재력을 강조합니다. 코드: https://github.com/DerKevinRiehl/neurips26_kan_training

arXiv:2610.10787v1cs.RO공통 태그 Reinforcement Learning, Navigate

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

arXiv:2609.32752v2cs.AI공통 태그 Reinforcement Learning, Deep Reinforcement Learning

행동 셰이핑: 정책은 자신이 표현할 수 있는 것을 흡수한다

Action Shaping: Policies Absorb What They Can Express

보상 셰이핑(reward shaping)에는 포텐셜 기반 항을 최적 정책의 변경 없이 제거할 수 있다는 정리가 존재합니다. 반면 학습(training) 중에 오프셋을 더하고 배포 시점에 제거하는 방식의 행동 채널 적용 사례에는 이러한 정리가 없습니다. 행동 오프셋을 상쇄하는 것이 없기 때문에, 이러한 보정은 배포 시 유지되거나 보장 없이 제거됩니다. 본 논문에서는 이를 행동 셰이핑(action shaping)이라 부르고 그 원리를 제시합니다. 학습 가능한 정책은 자체 출력 층(layer)이 정확하게 재현할 수 있는 오프셋을 흡수하며, 여기서 '표현(express)'이란 바로 이를 의미합니다. 흡수된 오프셋은 리턴을 온전히 유지한 채 제거될 수 있습니다. 이의 최소 구현체는 페널티나 스케줄 없이 학습된 행동 가치 함수를 통해 학습하는 액터에 추가된, 학습 가능한 게이트 뒤에 배치된 0으로 초기화된 선형 헤드입니다. 이 게이트는 결정론적 액터와 확률적 액터 모두에서 스스로 상승했다가 하락하며, 20개의 태스크에서 해당 헤드를 제거해도 성능 손실이 거의 발생하지 않습니다. 이때 조건은 용량(capacity)이 아닌 정확한 재현입니다. 더 많은 파라미터를 가진 비선형 헤드는 흡수되지 않으며, 대조군 실험에서 비선형 베이스 헤드에 하나의 선형 경로를 추가하면 흡수 능력이 회복됩니다. 정확한 재현은 손실(loss) 지형에 그래디언트(gradient) 노이즈가 표류할 수 있는 평평한 방향을 제공하며, 오프셋의 진폭은 헤드를 제거하기 전에 이를 제거할 때 발생할 손실을 미리 알려줍니다. 이로써 행동 셰이핑은 셰이핑 정리에 상응하는 흡수 조건과 그 배후의 메커니즘, 그리고 이를 측정하는 진단 지표를 확보하게 됩니다. 정책은 자신이 표현할 수 있는 것만을, 그리고 오직 그것만을 흡수합니다.

arXiv:2609.34409v2cs.LG공통 태그 General Classification, Classification

MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기

MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series

자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.

arXiv:2610.02403v1cs.NI공통 태그 Reinforcement Learning, Deep Reinforcement Learning

5G 및 차세대 네트워크에서의 에너지 절감: 양자 강화학습 접근법

Energy Saving in 5G and Beyond Networks: A Quantum Reinforcement Learning Approach

에너지 절감은 5G 및 차세대(Beyond 5G) 네트워크에서 중요한 과제가 되었습니다. 연결된 기기의 급격한 증가는 전반적인 네트워크 에너지 수요를 증가시켜 운영 비용을 감당하기 어려운 수준으로 끌어올렸습니다. 기지국(BS)은 무선 접속망(RAN) 전체 에너지의 약 60-70%를 소비하며 에너지 사용량의 가장 큰 비중을 차지합니다. 따라서 이 문제를 해결하기 위해 본 논문에서는 사용자 단말(UE)의 동적 동작을 고려하면서 기지국의 에너지 사용량을 최적화합니다. 심층 강화학습(DRL)은 사용자 밀도가 낮을 때 기지국 전원을 자동으로 켜고 끄거나, 전송 전력을 조절하여 에너지 효율과 서비스 품질(QoS)의 균형을 맞추는 등 효과적인 에너지 절감 정책을 결정하기 위한 자연스러운 후보입니다. 그러나 과중한 학습(training) 부담과 밀집된 5G 환경에서 상태 및 행동 공간의 기하급수적인 증가는 탐험(exploration)을 점점 더 어렵게 만듭니다. 이러한 한계를 극복하기 위해, 본 논문에서는 매개변수화된 양자 회로를 통해 중첩과 얽힘을 포함한 양자 원리를 활용하여 기존 심층 신경망에 의존하는 DRL보다 훨씬 빠른 수렴(convergence)을 가능하게 하는 새로운 양자 강화학습(QRL) 알고리즘을 소개합니다. 광범위한 시뮬레이션을 통해 제안된 QRL이 단말의 이동성이 매우 높고 기지국 안테나와의 연결이 빈번하게 전환되는 상황에서도 QoS를 유지하면서 에너지 소비를 대폭 줄일 수 있음을 입증합니다. 또한, QRL은 수렴 속도와 학습 복잡도 측면 모두에서 DRL 및 Q-러닝(Q-Learning)을 일관되게 능가합니다.

arXiv:2610.02505v1cs.LG공통 태그 Reinforcement Learning, Deep Reinforcement Learning

다중 신뢰도 정책 그래디언트를 통한 데이터 부족 강화학습 안정화

Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning

온-정책(on-policy) 강화학습(RL)을 위한 정책 그래디언트(policy gradient) 방법은 비용이 많이 들고 희소한 목표 도메인(target-domain) 데이터가 잡음이 많은 그래디언트 추정치를 낳을 때 불안정해질 수 있다. 본 연구는 제한적인 고신뢰도(high-fidelity, HF) 목표 도메인 데이터를, 단순화된 시뮬레이터 등에서 얻을 수 있는 풍부하고 저렴하지만 편향된 저신뢰도(low-fidelity, LF) 데이터로 보완함으로써 이 문제를 해결한다. 대부분의 기존 방법은 LF 데이터에 기반한 편향된 목적함수를 직접 최적화한다. 이와 달리, 최근 제안된 다중 신뢰도 정책 그래디언트(multi-fidelity policy gradient, MFPG) 프레임워크는 LF 데이터를 오직 분산을 줄이고 HF 데이터 효율을 높이는 제어 변량(control variate)을 구성하는 데에만 사용하며, 정책 그래디언트 추정량에 편향을 주지 않는다. 그러나 기존에 발표된 MFPG 연구는 소규모 시뮬레이션 과제에서의 REINFORCE로 한정되어 있다. 본 연구는 GPU 병렬 시뮬레이션 및 실제 물리 로봇에서 동작하는 현대적인 액터-크리틱(actor-critic) 학습을 위해 MFPG를 확장한다. 분석과 실험 결과, 근접 정책 최적화(proximal policy optimization, PPO)에 단순하게 확장을 적용하면 신뢰도 간 상관관계(cross-fidelity correlation)를 잃거나 분산이 증가할 수 있음을 보인다. 본 연구가 제안하는 MFPG-PPO는 샘플링, 어드밴티지(advantage) 추정, 제어 변량 구성을 재설계하여 신뢰도 간 상관관계를 유지하고, 추정량의 불확실성을 모니터링하여 분산 증가를 방지함으로써 이러한 실패를 해결한다. 또한 고정된 샘플링 예산을 고신뢰도 및 저신뢰도 데이터 소스에 분배하는 예산 인지(budget-aware) MFPG-PPO를 도입한다. LF에서 HF로의 전이 난이도와 HF 데이터 예산이 다양한 모의 로봇 보행(locomotion) 과제 전반에서, MFPG-PPO는 거의 모든 설정에서 HF 데이터만으로 학습한 PPO보다 성능이 우수하며, 가장 어려운 과제에서 가장 작은 HF 예산으로도 16배 더 많은 HF 데이터로 학습한 PPO의 성능과 꾸준히 대등한 결과를 보인다. 반면, LF 데이터를 사용하는 대부분의 기준선(baseline) 방법은 LF에서 HF로의 직접적인 전이가 성공하는 경우에만 좋은 성능을 보인다. MFPG-PPO는 업데이트당 단 4개의 실제 로봇 에피소드만 사용하고 인간 시연(human demonstration) 없이도 실제 Franka 로봇 암에서 안정적인 학습을 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.