PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.26168v1cs.LG

화학 반응 네트워크에서의 강화학습 구현: 호기심 기반 탐험으로서의 주광성 응용

Implementation of reinforcement learning in chemical reaction networks: application to phototaxis as curiosity-driven exploration

생체 시스템은 잡음이 많고 불완전한 감각 신호를 사용하여 환경을 탐색한다. 단세포 조류에서 주광성(phototaxis)은 흔히 자극-반응 규칙에 의해 구동되는 메커니즘적 런-텀블(run–tumble) 과정으로 모델링된다. 그러나 이러한 설명은 유기체가 감각 모호성을 줄이기 위해 환경을 능동적으로 샘플링하는 방식을 간과한다. 최소 인지(minimal cognition) 관점에서, 우리는 이 탐색을 주관적이고 정보 기반의 감각운동(sensorimotor) 과정으로 재정의한다. 이를 위해 우리는 부분 관측 마르코프 결정 과정(POMDP)과 생화학적 반응 동역학을 연결하는 프레임워크를 제안한다. 환경 변수는 은닉되어 있으며, 세포는 메모리 없는 베이지안(Bayesian) 단계를 통해 각 관측으로부터 최소한의 내부 상태를 업데이트한다. 이러한 내부 동역학은 빛을 향한 방향 설정과 탐험적 재방향 설정 사이의 균형을 맞추며, 화학 반응 네트워크 상미분방정식(CRN-ODE)을 통해 구현될 수 있다. 우리의 모델은 광수용(photoreception)을 위한 생물물리학적 관측 과정과 화학적으로 계산 가능한 정보 이득의 다항식 상한을 포함한다. 실험적으로 기록된 30개의 클라미도모나스(Chlamydomonas) 궤적에 역강화학습(IRL)을 적용하여, 관측된 주광성 운동과 일치하는 행동 목표를 추론하고, 표준 확률적 시뮬레이션 알고리즘(SSA) 기준선으로 결과 동역학을 벤치마크한다. 우리의 모델은 경험적 빛 정렬 분포를 재현하며, 이 데이터셋에서 목표 기반 SSA 기준선과 유사한 성능을 보인다. 이 프레임워크 내에서 런-텀블 교차는 정보 획득 전략으로 나타난다: 텀블링은 세포를 재방향 설정하여 새로운 감각 구성을 샘플링하고 센서 모호성을 해소하며, 세포 내 생화학적 네트워크가 세포 탐색에서 적응적 정보 탐색 행동을 지원할 수 있음을 보여준다.