NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.
희소 보상 환경에서 시간차(TD) 학습의 가치 정보가 국소적으로만 전파되어 장거리 크레딧 할당이 느린 문제를, 유한 요소법·영역 분해에서 영감을 받아 환경을 중첩 서브그리드로 나누고 경계 일관성 TD 업데이트로 전역 가치 전파를 보장하는 Mesh-RL로 해결한다. 위험 밀집 격자 세계에서 Q-learning, SARSA, Dyna-Q 모두 수렴 속도·누적 보상·학습 안정성이 개선되었고, 메시 해상도를 높이면 탐험이 유지되며 원거리 상태로의 가치 전파가 더 빨라진다.
희소 결과 보상만으로 강화학습(RL)을 할 때 생기는 기여도 할당 문제를 완화하기 위해, 성공·실패 에피소드를 구별하는 판별기로 Success Visitation Matching(SVM) 조밀 과정(process) 보상을 만들고 정책이 성공 궤적의 상태-행동 방문 분포와 일치하도록 유도한다. 로봇 제어 정책 파인튜닝에서 시뮬레이션과 실세계 조작 과제 모두 희소 보상만 쓰는 경우보다 RL 수렴이 현저히 빨라지며, 최적 정책은 바뀌지 않음을 이론적으로 보장한다.
희소 보상(Sparse Reward)과 이종 작업 순서는 강화학습(RL)에서 지속적인 과제로 남아 있으며, 종종 느린 수렴, 약한 일반화, 비효율적인 탐험을 초래합니다. 우리는 구조화되고 불확실성으로 조절된 행동 지침을 제공하기 위해 보정된 대규모 언어 모델(LLM)을 RL 학습 루프에 통합하는 새로운 프레임워크인 불확실성 인식 LLM 기반 정책 형성(ULPS)을 제안합니다. ULPS는 최적의 기호적 궤적을 합성하기 위해 A* 기반 오라클을 사용하며, 이는 BERT 기반 언어 모델을 미세조정하는 데 사용됩니다. 학습 중 이 모델은 몬테카를로 드롭아웃(MC Dropout)을 통해 추정된 인식론적 불확실성에 따라 영향력이 조절되는 행동 제안을 제공합니다. 엔트로피 기반 혼합 메커니즘은 LLM 지침과 학습된 정책(근사 정책 최적화, PPO를 통해)을 적응적으로 균형 잡아, 에이전트가 적응성을 유지하면서 신뢰할 수 있는 사전 지식(priors)을 우선시할 수 있게 합니다. 우리는 MiniGridUnlockPickup 벤치마크에서 ULPS를 평가했으며, 안내되지 않은(unguided), 보정되지 않은(uncalibrated), 표준 RL 기준선(baselines)에 비해 성공률, 보상 효율성, 샘플 복잡도에서 일관된 개선을 관찰했습니다. ULPS는 미세조정 후 실행 정확도에서 9% 이상의 향상을 달성하고, 더 적은 환경 상호작용을 요구하며, 더 높은 보상 AUC를 산출합니다. 우리의 결과는 기호적 A* 궤적, 사전학습된 언어 사전 지식(priors), 불확실성 인식 제어를 통합하는 것이 희소 보상 영역에서의 다중 작업 강화학습에 대한 원칙적이고 효과적인 접근 방식을 제공하며, 부분 관측 가능 및 멀티 에이전트 설정으로의 확장 가능성이 있음을 보여줍니다.