arXiv:2309.05391

Career Path Recommendations for Long-term Income Maximization: A Reinforcement Learning Approach

Spyros Avlonitis, Dor Lavi, Masoud Mansoury, David Graus

제출 2023-09-11

원문 초록

This study explores the potential of reinforcement learning algorithms to enhance career planning processes. Leveraging data from Randstad The Netherlands, the study simulates the Dutch job market and develops strategies to optimize employees' long-term income. By formulating career planning as a Markov Decision Process (MDP) and utilizing machine learning algorithms such as Sarsa, Q-Learning, and A2C, we learn optimal policies that recommend career paths with high-income occupations and industries. The results demonstrate significant improvements in employees' income trajectories, with RL models, particularly Q-Learning and Sarsa, achieving an average increase of 5% compared to observed career paths. The study acknowledges limitations, including narrow job filtering, simplifications in the environment formulation, and assumptions regarding employment continuity and zero application costs. Future research can explore additional objectives beyond income optimization and address these limitations to further enhance career planning processes.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14393v3cs.RO공통 태그 reinforcement-learning, Q-Learning

로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법

An offline approach to fNIRS-guided reinforcement learning for robot behavior

인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.

arXiv:2506.06410v4econ.GN공통 태그 reinforcement-learning, Q-Learning

Delphos: 이산 선택 모델 명세를 지원하기 위한 강화학습 프레임워크

Delphos: A reinforcement learning framework for assisting discrete choice model specification

본 논문에서는 이산 선택 모델(discrete choice model) 명세 과정을 지원하기 위한 심층 강화학습(deep reinforcement learning) 프레임워크인 Delphos를 소개합니다. Delphos는 데이터 기반의 자동화된 모델 명세 제안을 제공하여 모델러를 지원하고, 이를 통해 효용 함수(utility function)를 개발하고 개선하는 데 필요한 노력을 줄이는 것을 목표로 합니다. Delphos는 인간 선택 모델러가 일련의 논리적 명세 결정을 통해 모델을 반복적으로 구축하는 방식에서 영감을 얻어, 모델 명세를 순차적 의사결정 문제로 개념화합니다. 이러한 환경에서 에이전트(agent)는 대안별 상수(alternative-specific constants) 추가, 일반 및 대안별 선호 파라미터 수용, 속성에 대한 비선형 변환 적용, 공변량과의 상호작용 포함 등 일련의 모델링 작업을 선택하여 후보 모델 명세를 지정하는 법을 학습합니다. 그 결과 도출된 각 후보 모델은 통계적 모델 적합도뿐만 아니라 행동적 기대를 반영할 수 있는, 모델러가 정의한 보상(reward) 함수를 사용하여 추정 및 평가됩니다. 구체적으로 Delphos는 심층 Q 네트워크(Deep Q-Network)를 활용하여 개별 명세 결정이 최종 모델의 결과적 품질에 어떻게 기여하는지, 그리고 어떤 모델링 결정 시퀀스가 우수한 성능의 후보를 도출하는 경향이 있는지를 학습합니다. 저자들은 대안적 보상 함수를 사용하여 시뮬레이션 및 실증 데이터셋 모두에서 Delphos를 평가합니다. 시뮬레이션 사례에서 학습 곡선, Q-값 패턴 및 성능 지표는 Delphos가 실행 가능한 모델링 공간의 극히 일부만을 탐색하면서도 효과적인 명세 전략을 학습함을 보여줍니다. 또한 벤치마크 및 실제 활용성을 입증하기 위해 두 개의 실증 데이터셋에 이 프레임워크를 적용합니다. 이러한 실험은 경쟁력 있고 행동적으로 타당한 모델을 생성하는 Delphos의 능력을 입증하며, 모델 명세 과정을 지원하는 이 적응형 학습 기반 프레임워크의 잠재력을 강조합니다.

arXiv:2609.27741v1cs.LG공통 태그 reinforcement-learning, Q-Learning

극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기

Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons

가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.

arXiv:2605.11151v3cs.AI공통 태그 reinforcement-learning, Q-Learning

RankQ: 자기지도 행동 순위화를 통한 오프라인-투-온라인 강화학습

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

오프라인-투-온라인 강화학습(RL)은 온라인 상호작용 이전에 사전 수집된 데이터셋을 활용하여 샘플 효율성을 향상시킵니다. 그러나 데이터셋의 커버리지가 제한적인 대규모 상태-행동 공간에서 정확한 크리틱(critic)을 학습하는 것이 주요 난제로 남아 있습니다. 가치 과대추정으로 인한 유해한 업데이트를 완화하기 위해 기존 방법들은 데이터셋 행동 대비 분포 외(OOD) 행동의 가중치를 낮추는 방식으로 비관주의(pessimism)를 적용합니다. 이는 효과적이기는 하나 본질적으로 행동 복제(behavior cloning) 닻 역할을 하여 데이터셋 행동이 차선책일 경우 후속 온라인 정책 개선을 저해할 수 있습니다. 본 연구에서는 구조화된 행동 순서를 강제하기 위해 시간차 학습(temporal-difference learning)에 자기지도 다중 항 순위화 손실을 결합한 오프라인-투-온라인 Q-러닝 목적 함수인 RankQ를 제안합니다. RankQ는 보이지 않는 행동에 일률적인 페널티를 부여하는 대신 상대적인 행동 선호도를 학습함으로써 행동 그래디언트가 더 높은 품질의 행동을 향하도록 Q-함수를 형성합니다. 희소 보상 D4RL 벤치마크 전반에서 RankQ는 7개의 베이스라인 대비 경쟁력 있는 전반적 성능을 달성합니다. 비전 기반 로봇 학습에서 RankQ는 데이터가 적은 환경에서도 사전학습된 비전-언어-행동(VLA) 모델의 효과적인 오프라인-투-온라인 미세조정을 가능하게 하여, 차상위 방법 대비 평균 시뮬레이션 성공률을 38.2%p 높였습니다. 데이터가 많은 환경에서 RankQ는 차상위 방법 대비 시뮬레이션 성능을 13.7%p 향상시켰으며, VLA의 초기 성능 대비 실제 환경 큐브 쌓기 성공률을 43.1%에서 88.9%로 증가시켜 강력한 sim-to-real 전이를 입증했습니다.

arXiv:2607.10309v3cs.AI공통 태그 reinforcement-learning, Q-Learning

Sim-to-Real 격차 측정: AIoT 시스템에서 강화학습을 위한 저비용 실세계 벤치마크 플랫폼 설계

Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems

강화학습(RL)은 자율 사물인터넷(AIoT)을 포함한 자율 시스템의 성능 향상에 널리 사용된다. 그러나 RL의 시행착오 특성상 실제 환경에서 수행하면 비용이 크고 일부 시나리오에서는 위험하다. 따라서 RL 연구의 대부분은 시뮬레이션에서 이루어진다. 이러한 의존은 Sim-to-Real 전이 가능성과 관련된 과제를 야기한다. Sim-to-Real 알고리즘의 견고성과 Sim-to-Real 격차를 평가하는 것은 실세계에서 RL 성능을 개선하기 위한 연구의 중요한 전제 조건이다. 따라서 로보틱스 등 산업에서는 이러한 연구를 지원하기 위해 시뮬레이션과 물리 플랫폼을 병행 개발해 왔다. 그러나 AIoT를 위한 범용 Sim-to-Real 벤치마크 플랫폼은 현재 존재하지 않는다. 이러한 문제를 해결하기 위해, 우리는 AIoT에서 RL을 연구하기 위한 실세계 AIoT 플랫폼을 개발했다. 이 플랫폼에서 엣지 디바이스에 배포된 에이전트는 시각 입력에 따라 안내되며, 하드웨어 에뮬레이션 키보드를 통해 별도의 호스트 컴퓨터에서 비디오 게임을 플레이한다. 이 플랫폼은 400 USD 미만의 상용 부품과 컴퓨터 두 대로 구성된다. 시스템의 목표가 게임 점수 최대화이므로, 실세계 RL 배포와 관련된 안전 위험을 본질적으로 완화한다. 실험 결과, 시뮬레이션에서 학습된 에이전트는 실세계 배포 후 인간 수준 성능 대비 1160%의 성능 저하를 겪었으며, 이는 상당한 Sim-to-Real 격차를 나타낸다. 심층 Q 네트워크(DQN) 알고리즘을 이용한 직접 실세계 학습은 1천만 학습 스텝 후 인간 수준 성능의 약 49%를 달성하여, 실세계 조건에서 RL의 실현 가능성을 보여준다. 이러한 결과는 제안한 Sim-to-Real 벤치마크 플랫폼이 실세계 AIoT 시스템에서 RL에 대한 정성적·정량적 평가를 위한 실질적인 기반을 제공함을 시사한다.

arXiv:2607.20834v1cs.LG공통 태그 reinforcement-learning, Q-Learning

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.