PyTorchKR Papers

업데이트된 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.13339v2cs.RO

OPA-Pack: 물체 속성 인지 로봇 빈 패킹

OPA-Pack: Object-Property-Aware Robotic Bin Packing

로봇 빈 패킹은 전자상거래와 창고 자동화에 폭넓게 응용되는 기본적인 조작 문제이다. 그러나 기존 방법은 주로 물체의 기하 형상에 초점을 맞춰 패킹 밀집도를 최적화하며, 사람이 패킹할 때 일반적으로 고려하는 파손 용이성, 식용 여부, 화학적 호환성과 같은 물체 속성을 명시적으로 모델링하지 않는다. 본 논문은 물체 속성 정보를 로봇 빈 패킹 계획에 통합하는 프레임워크인 OPA-Pack(Object-Property-Aware Packing)을 제시한다. 이 프레임워크는 검색 증강 생성과 사고 연쇄 추론에 기반한 물체 속성 인식 방식을 포함하여, 일상 물체 1,032개에 대한 속성 주석이 달린 데이터셋을 구축한다. 또한 이 프레임워크는 속성 임베딩 층을 통해 후보 물체의 속성을 인코딩하고 취약성 및 회피 높이 맵으로 컨테이너 상태를 표현하는 OPA-Net을 포함한다. 우리는 보상 함수를 설계하고 심층 Q-러닝 방식을 채택하여 OPA-Net을 학습한다. 실험 결과 OPA-Pack은 회피 정확도를 52.3%에서 95.0%로 향상시키고, 깨지기 쉬운 물체에 가해지는 하중을 29.4% 줄이며, 기준 방법의 0.420에 비해 0.413의 패킹 밀집도를 달성한다. 아울러 스캔한 실제 물체 100개에서 추출한 70개의 패킹 순서를 사용하여 물리 플랫폼에서 OPA-Pack을 평가한다. 그 결과 OPA-Pack은 패킹 밀집도를 유지하면서 밀착 배치된 비호환 물체 쌍의 수와 압축된 깨지기 쉬운 물체의 수를 줄이는 데 있어 기준 방법과 다른 패킹 휴리스틱보다 우수한 성능을 보인다.

arXiv:2607.14393v3cs.RO

로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법

An offline approach to fNIRS-guided reinforcement learning for robot behavior

인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.

arXiv:2407.04259v4math.OC공식 코드 · Papers with Code

유한 모델 불확실성 하의 Q-러닝

Q-Learning under Finite Model Uncertainty

각 상태–행동 쌍이 후보 전이 커널의 유한한 모호성 집합과 연관된 경우, 모델 불확실성 하의 마르코프 결정 과정을 위한 강건 Q-러닝 알고리즘을 제안한다. 이러한 유한 측도 프레임워크는 경쟁하는 적합 모델과 스트레스 시나리오를 포함하여 사용자가 설계한 불확실성 모델을 가능하게 한다. {학습자는 전이 확률이나 보상 함수에 대한 명시적 지식 없이, 모든 후보 시뮬레이터로부터 후속 상태와 그에 대한 결정론적 보상을 관측한다.} 학습된 Q-함수가 강건 최적해로 거의 확실하게 수렴함을 증명하고, 관측 가능한 경험적 벨만 잔차와 전이 커널 추정 오차를 분리하는 시간 균등 고확률 오차 보증을 도출한다. 또한 유한 상태 공간에서 바서슈타인 및 모수적 불확실성 모델에 대한 정량적 유한 모호성 근사 결과를 제시한다. 수치 예제를 통해 시나리오 선택의 효과를 보이고, 표 형태 알고리즘을 강건 가치 반복법과 비교한다.

arXiv:2607.01525v2math.OC

평균장 강화학습: 평균장 제어를 위한 이론과 알고리즘

Mean Field Reinforcement Learning: Theory and Algorithms for Mean Field Control

이 모노그래프는 평균장 상호작용과 공통 잡음을 갖는 대규모 개체군 확률 제어에서 발생하는 마르코프 결정 과정의 관점에서 평균장 강화학습을 소개한다. 다중 에이전트 강화학습과 평균장 제어 사이의 연결에서 출발하여, 대표 에이전트 학습 문제를 정식화하고, 이것이 유한 개체군 시스템과 맺는 관계를 분석하며, 일반 모형과 선형-이차 모형을 모두 연구하는 데 필요한 확률론적, 수학적, 제어이론적 틀을 전개한다. 서술에는 동적 계획법 원리, 혼돈 전파 극한, 그리고 표 기반 Q-러닝과 정책 경사 방법에 대한 이론적 분석이 포함된다. 또한 표 기반 기법과 심층 결정론적 정책 경사(deep deterministic policy gradient)와 같은 심층 강화학습 방법을 포함한 수치적 구현도 논의한다. 이 책의 목표는 독자에게 평균장 제어 이론과 강화학습 방법론 사이의 일관된 가교를 제공하는 것이며, 문제의 수학적 구조와 대규모 확률적 개체군을 위한 다루기 쉬운 학습 접근법의 설계를 강조한다.

arXiv:2505.22909v2econ.GN

더 높은 가격을 책정하는 학습: Q-러닝 기업이 초경쟁적 가격을 고착시키는 방식

Learning to Charge More: How Q-Learning Firms Lock In Supracompetitive Prices

$Q$-러닝 에이전트가 초경쟁적 가격을 책정하도록 학습할 수 있다는 실험적 증거가 늘어나고 있다. 우리는 이러한 행태가 언제 지속되는지, 발생하는지, 어떤 전략이 이를 뒷받침하는지를 묻는다. 기업이 직전 기간의 가격 프로필에 조건화하는 반복 가격 게임에서, 탐색이 끝난 후 초경쟁적 가격이 흡수 상태가 되는 학습된 행동 가치에 대한 조건을 제시한다. 이어서 소프트맥스 탐색 하에서 이러한 조건이 무작위 초기 $Q$-테이블과 모두 0인 초기 $Q$-테이블 양쪽에서 양의, 명시적으로 유계인 확률로 도달됨을 보인다. 후자의 경우 기업들은 가격 인하가 이득이 된다는 것을 학습하지 못하기 때문에 초경쟁적 가격에 고착되며, 동일한 메커니즘이 경쟁 가격에도 고착시킬 수 있으므로 장기 결과는 탐색 경로에 의해 선택된다. 마지막으로, 학습된 테이블에 대해 유도되는 전략이 순진한 담합, 그림 트리거 전략, 또는 가격 상승 전략이 되기 위한 충분조건을 제시한다. 그림 트리거 전략은 표준적인 할인 조건 하에서 부분게임 완전 균형이지만, 순진한 담합은 일반적으로 균형이 아니다.