arXiv:2606.17476v1 cs.LG

Multi-Adapter PPO: LIBS 정량 분석을 위한 크로스 어텐션 강화 파장 선택 프레임워크

Multi-Adapter PPO: A Cross-Attention Enhanced Wavelength Selection Framework for LIBS Quantitative Analysis

Hao Li, Man Fung Zhuo

제출 2026-06-16

한국어 초록

레이저 유도 플라즈마 분광법(LIBS) 정량 분석은 고차원 스펙트럼 데이터와 예측 정확도 및 특징 효율성 간의 근본적인 상충 관계로 인해 파장 선택에 있어 중요한 과제에 직면해 있습니다. 본 논문은 파장 선택을 강화학습 문제로 변환하는 새로운 Multi-Adapter PPO 프레임워크를 제시하며, 복잡한 스펙트럼 관계를 포착하기 위해 크로스 어텐션 메커니즘과 여러 전문화된 어댑터를 활용합니다. 제안하는 접근 방식은 강철 및 석탄 데이터셋에서 전통적인 입자 군집 최적화(PSO) 대비 종합 점수에서 평균 28.4%, 예측 정확도에서 45.2% 더 높은 성능을 보였습니다. 제안된 방법은 예측 정확도와 특징 효율성의 균형을 맞추는 데 있어 우수한 성능을 입증하며, 해석 가능성과 계산 효율성을 유지하면서 LIBS 정량 분석 분야에서 최첨단 결과를 달성했습니다. 코드와 데이터셋은 다음 링크에서 공개되었습니다: https://github.com/Hflying/MAPPO

원문 초록

Laser-induced breakdown spectroscopy (LIBS) quantitative analysis faces critical challenges in wavelength selection due to high-dimensional spectral data and the fundamental trade-off between prediction accuracy and feature efficiency. This paper presents a novel Multi-Adapter PPO framework that transforms wavelength selection into a reinforcement learning problem, leveraging cross-attention mechanisms and multiple specialized adapters to capture complex spectral relationships. Our approach outperforms traditional Particle Swarm Optimization (PSO) by an average of 28.4\% in comprehensive score and 45.2\% in prediction accuracy across steel and coal datasets. The proposed method demonstrates superior performance in balancing prediction accuracy with feature efficiency, achieving state-of-the-art results in LIBS quantitative analysis while maintaining interpretability and computational efficiency. We released our code and dataset here: https://github.com/Hflying/MAPPO

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17476v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22644v1cs.AI공통 태그 Deep Reinforcement Learning, Sequential Decision Making, ppo

DocHRL: 비용 최적화 문서 분류를 위한 계층적 강화학습 프레임워크

DocHRL: A Hierarchical Reinforcement Learning Framework for Cost-Optimised Document Classification

실제 문서 분류 파이프라인은 일반적으로 복잡도나 유형과 관계없이 들어오는 모든 문서에 동일한 모델 시퀀스를 적용한다. 이로 인해 연산 자원과 인적 자원이 비효율적으로 사용된다: 단순한 문서는 과도하게 처리되는 반면, 어려운 문서는 충분한 검토를 받지 못할 수 있다. 우리는 문서별로 가장 비용 효율적인 분류 정책을 적응적이고 동적으로 선택하는 방법을 학습하는 계층적 강화학습 프레임워크인 DocHRL을 제안한다. DocHRL은 문서 분류를 2단계 정책 계층을 갖는 순차적 의사결정 문제로 공식화한다: 상위 수준 정책은 광범위한 옵션(비전 분류기, LLM, OCR, 인간 개입 검토) 중에서 선택하고, 옵션별 하위 정책은 호출할 구체적인 모델이나 도구를 선택한다. 보상 신호는 추론 비용, 오분류 비용, 인간 라벨링 비용을 포착하는 총 기대 비용의 음수이다. RVL-CDIP 벤치마크에서 Proximal Policy Optimisation으로 학습된 DocHRL은 16개 문서 클래스에 걸쳐 macro F1 0.973을 달성하는 동시에, 고정된 독립형 분류기가 발생시키는 훨씬 높은 비용과 비교하여 문서당 평균 비용을 2.74 정규화 단위로 줄인다. 우리 결과는 비용 인식 강화학습이 문서 이해 시스템에서 분류 성능과 운영 효율성을 동시에 향상시킬 수 있음을 보여준다.

arXiv:2610.13574v1cs.LG공통 태그 feature selection, Sequential Decision Making

고차원 금융 회귀에서 몬테카를로 트리 탐색을 통한 $L_0$ 특징 선택

$L_0$ Feature Selection via Monte Carlo Tree Search in High-Dimensional Financial Regression

특징(feature) 선택은 수많은 엔지니어링된 변수와 예측 변수 간의 강한 상관관계로 인해 모델(model)의 안정성과 해석 가능성이 저하되는 고차원 금융 회귀에서 핵심적인 문제입니다. 희소 회귀(sparse regression)에는 $L_1$ 정규화(regularization)(Lasso)가 널리 사용되지만, 정보성 신호가 상관관계를 갖는 변수들에 걸쳐 분산되어 있을 때는 수축(shrinkage) 특성이 제약으로 작용할 수 있습니다. 정확한 희소 회귀(exact sparse regression)는 이러한 수축을 피하지만 계산상 다루기 어려운 조합 최적화(combinatorial optimization) 문제를 해결해야 하며, 일반적으로 표본 외(out-of-sample) 오차가 아닌 표본 내(in-sample) 오차를 최소화하도록 적합됩니다. 본 논문에서는 일반화된 중첩 롤아웃 정책 적응(GNRPA)을 적용한 몬테카를로 트리 탐색(Monte Carlo Tree Search) 기반의 특징 선택 프레임워크를 제시합니다. 특징 선택을 순차적 의사결정 과정으로 정식화하며, 후보 부분집합은 학습(training) 오차 대신 표본 외 검증(validation) 성능을 기준으로 점수가 매겨집니다. 또한 본 방법은 부분집합 크기와 다중공선성을 고려하는 사전식 순서화 목적함수(lexicographic objective)를 지원합니다. 저자들은 시장, 거시경제 및 팩터 데이터를 포괄하는 1,072개의 엔지니어링된 특징으로부터 NASDAQ-100 지수의 주간 수익률을 설명하는 동시적 설명 회귀(contemporaneous explanatory regression) 과제에서 이 접근법을 연구합니다. 이는 다중공선성 환경에서의 부분집합 선택의 가치를 별개의 문제인 예측적 전망(forecasting)과 분리합니다. 이 과제에서 제안된 방법은 최적화된 Lasso 기준선(baseline)보다 더 높은 표본 외 설명력을 가진 희소 특징 부분집합을 식별하여, Lasso의 0.6313 대비 0.6961의 표본 외 $R^2$에 도달합니다. 이러한 결과는 몬테카를로 트리 탐색이 금융 회귀의 희소 설명적 특징 선택에서 볼록 정규화(convex regularization)의 실용적인 대안임을 시사하며, 표본 외 적합도만큼 투명성이 중요한 팩터 귀속(factor attribution) 및 위험 분해에 잠재적 가치가 있습니다.

arXiv:2610.01128v1cs.AI공통 태그 Sequential Decision Making, ppo

정책 생성 및 예측을 위한 DSGE 시뮬레이터 기반 대규모 언어 모델 그라운딩

Grounding Large Language Models in DSGE Simulators for Policy Generation and Forecasting

대규모 언어 모델(LLM)은 그럴듯하게 들리는 경제 정책 대응을 생성할 수 있지만, 이것이 모델의 조치가 경제적 동역학과 일치함을 보여주지는 않습니다. 우리는 인스트럭션 튜닝(instruction tuning)된 언어 모델을 6개의 Snowdrop 기반 동적 확률적 일반 균형(DSGE) 시뮬레이터 내부에 배치하여 이를 검증합니다. 매 턴마다 모델은 경제 상황과 경제 담론의 변화를 관측하고, 유계된(bounded) 정책 조치를 선택하며, 다음 시뮬레이션 상태와 경제적 보상을 받습니다. 우리는 반복적인 롤아웃, 지속적 충격, 상태 복제, 롤링 호라이즌(rolling-horizon) 시뮬레이션을 위한 공통 Python 인터페이스를 구현합니다. 이러한 설정은 장기적인 신용 할당(credit-assignment) 문제를 야기합니다. 정책 효과는 조치가 취해진 후 여러 분기가 지나서 나타날 수 있습니다. PPO는 일반화된 이점 추정(GAE)을 통해 지연된 보상을 이전 토큰으로 전파할 수 있는 학습된 가치 함수를 가지고 있습니다. 반면 GRPO는 학습된 가치 함수가 없으며, 대신 전체 롤아웃 수익으로부터 그룹 상대적 이점을 할당합니다. 따라서 GRPO는 어떤 이전 턴이 결과를 초래했는지 구별할 수 없으며, 모든 롤아웃이 동일한 수익을 받는 경우 정규화된 이점은 0이 됩니다. 우리는 PPO를 주요 방법으로 사용하고 GRPO를 이에 대응하는 비평가 없는(critic-free) 기준선으로 사용합니다. 또한 실험에서는 방향성 의미 신호, 보상 호라이즌, 궤적 웜 스타트(warm start), 시뮬레이터 간 전이, 그리고 역사적 사실에 기반한 팬데믹 및 통화 정책 충격도 테스트합니다. 본 연구의 목적은 그럴듯한 언어만으로 평가하는 것이 아니라, 시뮬레이션된 경제적 결과를 바탕으로 정책 조치를 평가하는 것입니다.

arXiv:2609.27459v1cs.NE공통 태그 Deep Reinforcement Learning, Sequential Decision Making

모델 기반 강화학습에서 외부 세계 상태의 시퀀스를 예측하는 스파이킹 신경망

Spiking Neural Network Predicting Sequence of the External Worlds States in Model-Based Reinforcement Learning

본 논문에서는 현재 세계 상태에서 시작하여 외부 세계 상태의 시퀀스를 예측하도록 설계된 스파이킹 신경망(SNN)을 제시합니다. 이 SNN은 세계 역학(dynamics) 모델을 직접 생성하지 않고, 대신 다음 세계 상태를 예측하도록 학습된 SNN을 포함하며 예측된 세계 상태의 연쇄를 형성하는 데 필요한 모든 메커니즘을 제공합니다. 이러한 메커니즘은 전적으로 스파이킹 기반이며, 스파이킹 뉴런 앙상블(ensemble)로 구현됩니다. 본 논문은 이러한 신경 구조를 설명하고 고전적인 강화학습(RL) 벤치마크인 아타리(ATARI) 핑퐁에서 그 동작을 테스트합니다.

arXiv:2609.27446v1cs.LG공통 태그 Deep Reinforcement Learning, Sequential Decision Making

양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습

Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration

양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.

arXiv:2609.27532v1cs.LG공통 태그 Deep Reinforcement Learning, Sequential Decision Making

ProCredit: 에이전트 강화학습에서 결과 보상에서 진행 크레딧으로

ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning

장기 에이전트 작업은 에이전트가 일련의 도구 호출을 통해 환경을 수정해야 하며, 성공은 최종 상태로 결정된다. 일반적인 방법은 마지막에 단일 결과 보상(outcome reward)을 부여하고 동일한 작업에 대해 샘플링된 궤적(trajectory)들을 비교한다. 그 결과 성공 궤적이 없는 그룹은 학습 신호를 주지 않고, 실패한 시도는 완료에 얼마나 가까웠는지 구분할 수 없으며, 작업을 진전시키는 턴과 환경만 조회하는 턴이 같은 크레딧을 받는다. 선행 연구는 비교 단위를 궤적에서 스텝(step)으로 세분화하거나 중간 신호를 위해 보상 모델을 학습한다. 전자는 여전히 최종 성공만으로 신호를 얻고, 후자는 모델로 이를 추정한다. 우리는 성공을 판정하는 수락 검사(acceptance check)를 중간 상태에서도 실행할 수 있음을 관찰했으며, 따라서 진행(progress)은 결과만큼 검증 가능하다. 우리는 이 검증된 진행을 크레딧으로 전환하는 ProCredit을 제안한다. ProCredit은 각 턴 후 수락 검사를 다시 실행하고, 진행 변화량에 따라 턴에 보상을 부여하며, 이 보상으로 동일 작업에 대한 여러 시도 간과 궤적 내 턴 간 모두에 크레딧을 할당한다. AppWorld에서 세 가지 규모의 Qwen3.5 베이스 모델을 시작점으로 할 때, ProCredit은 두 테스트 세트 모두에서 모든 규모에서 작업 완료율 기준으로 결과 보상 기준선과 진행 기반 기준선을 능가하며, 4B에서는 가장 강한 결과 보상 기준선보다 4.1퍼센트포인트 높고, 두 번째 환경에서도 같은 방향의 개선이 나타난다. ablation은 궤적 점수에 최종 진행만 더하는 것만으로는 성능이 개선되지 않음을 보여 주며, 이득은 진행이 발생한 턴에 크레딧을 부여하는 데서 온다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.