arXiv:2101.10351

A Receding Horizon Approach for Simultaneous Active Learning and Control using Gaussian Processes

Viet-Anh Le, Truong X. Nghiem

제출 2021-01-25

원문 초록

This paper proposes a receding horizon active learning and control problem for dynamical systems in which Gaussian Processes (GPs) are utilized to model the system dynamics. The active learning objective in the optimization problem is presented by the exact conditional differential entropy of GP predictions at multiple steps ahead, which is equivalent to the log determinant of the GP posterior covariance matrix. The resulting non-convex and complex optimization problem is solved by the Sequential Convex Programming algorithm that exploits the first-order approximations of non-convex functions. Simulation results of an autonomous racing car example verify that using the proposed method can significantly improve data quality for model learning while solving time is highly promising for real-time applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2603.29135v3cs.LG공통 태그 Active Learning, Gaussian Processes

자율 현미경에서 강건한 구조-물성 학습을 위한 가우스 과정을 통한 품질 제어 능동 학습

Quality-Controlled Active Learning via Gaussian Processes for Robust Structure-Property Learning in Autonomous Microscopy

과학적 발견을 가속화하기 위해 재료 연구에서 자율 실험 시스템의 활용이 점차 증가하고 있으나, 그 성능은 저품질의 노이즈 데이터로 인해 제한되는 경우가 많습니다. 이러한 문제는 표준 능동 학습(active learning) 전략이 품질이 낮은 측정을 잘못 우선시할 수 있는 영상-스펙트럼(Im2Spec) 및 스펙트럼-영상(Spec2Im) 변환과 같은 데이터 집약적 구조-물성 학습 태스크에서 특히 두드러집니다. 본 연구에서는 호기심 기반 샘플링(curiosity-driven sampling)과 단순 조화 진동자(Simple Harmonic Oscillator) 모델 적합에 기반한 물리 정보 기반 품질 제어 필터를 결합한 게이트 능동 학습 프레임워크를 도입하여, 수집 과정에서 시스템이 충실도가 낮은 데이터를 자동으로 배제할 수 있도록 합니다. 공간적으로 국소화된 노이즈가 존재하는 PbTiO3 박막의 사전 수집된 밴드 여기 압전 반응 분광법(BEPS) 데이터셋에 대한 평가 결과, 제안된 방법이 무작위 샘플링, 표준 능동 학습 및 멀티태스크 학습 전략보다 우수한 성능을 보임을 확인했습니다. 나아가 이질적인 도메인 구조를 가진 별도의 PbTiO3 박막 샘플에 대한 실시간 실험에 이 프레임워크를 적용하여 자율 현미경 실험에서의 유효성을 입증했습니다. 전반적으로 본 연구는 보다 신뢰할 수 있는 과학적 발견을 위해 물리 정보 기반 품질 평가와 능동적 의사결정이 함께 작동하는 자율 주행 연구실(self-driving labs)의 하이브리드 자율성을 뒷받침합니다.

arXiv:2609.28427v1cs.LG공통 태그 Active Learning, Gaussian Processes

외골격 개인화를 위한 문맥 연속적 선호도 학습

Context-Continuous Preference Learning for Exoskeleton Personalization

다양한 동작 조건에 걸쳐 외골격(exoskeleton) 보조를 개인화하는 것은 사용자 피드백을 수집하는 데 필요한 시간과 신체적 노력으로 인해 제약을 받습니다. 본 연구에서는 사용자의 선호도 지형(preference landscape)이 동작 조건 전반에서 매끄럽게 변화하는지, 그리고 이러한 연속성이 제한된 피드백으로부터의 학습을 언제 뒷받침하는지 조사했습니다. 본 논문에서는 문맥별 효용 추정치를 유지하면서 인접한 문맥 간 관측치를 공유하는 가우시안 프로세스(Gaussian-process) 선호도 모델인 CCPL(Context-Continuous Preference Learning)을 제안합니다. 성인 9명의 발목 및 팔꿈치 외골격 선호도 데이터를 바탕으로 시뮬레이션과 후향적 분석을 통해 CCPL을 평가했습니다. 시뮬레이션에서 CCPL은 선호도가 매끄럽게 변할 때 독립적 학습(independent learning) 대비 재구성(reconstruction) 및 선호도 기반 베이지안 최적화(Bayesian optimization) 성능을 향상시켰으나, 연속성이 약할 때는 부정적 전이(negative transfer)를 보였습니다. 두 인간 대상 연구 모두에서 각 참가자 및 문맥에 대해 개별적으로 추정된 전체 데이터 기준 지형은 인접한 동작 조건 간에 더 유사한 경향을 보였습니다. 문맥당 5회의 노출 조건에서 CCPL은 독립적 학습 대비 이러한 기준과의 평균 재구성 상관계수를 발목 보조의 경우 0.644에서 0.720으로, 팔꿈치 보조의 경우 0.476에서 0.526으로 높였습니다. 5회 노출 예산은 해당 상관계수와 일치시키는 데 필요한 추정 독립적 학습 예산보다 발목의 경우 약 37%, 팔꿈치의 경우 약 17% 더 낮았습니다. CCPL은 또한 독립적 학습 대비 홀드아웃(held-out) 반응 예측을 개선한 반면, 풀링 학습(pooled learning) 대비 이점은 다양하게 나타났습니다. 이러한 결과는 제한된 피드백 하에서 선호도 관측치를 공유하기 위한 근거로서 문맥 연속성을 지지하지만, 인간 대상의 온라인 개인화에 대한 이점은 여전히 확립되어야 할 과제로 남아 있습니다.

arXiv:2609.27490v1cs.AI공통 태그 Active Learning, Gaussian Processes

WhatWorkedBench: AI 에이전트의 실험적 이해도 벤치마킹

WhatWorkedBench: Benchmarking Experimental Understanding in AI Agents

AI 연구 에이전트(agent)는 자신의 실험이 결과에 어떻게 영향을 미치는지에 대한 신뢰할 수 있는 지식이 필요합니다. 본 논문에서는 예산이 정해진 실험 후 구성 요소 변경에 대한 예측 정확도인 실험적 이해도를 측정하기 위한 WhatWorkedBench를 소개합니다. 에이전트는 코드를 검사하고, 측정값을 선택하며, 구성 요소 설정의 모든 구성에 대한 점수를 예측하는 표인 반응 표면(response surface)을 제출합니다. 완전 탐색 방식의 CPU 실행을 통해 다른 구성 요소를 고정한 상태에서 각 구성 요소를 변경할 때의 기준 효과를 제공합니다. 이러한 효과는 30개의 데이터 소스와 8개의 워크플로 유형에 걸친 36개 작업에서 1,248개의 구성 기록을 통해 변경 조합을 포착합니다. 핵심 평가는 8개 패밀리 전체에 걸친 4,206개의 수치 제어 기록과 원래 6개 패밀리에 걸친 108개의 에이전트 에피소드를 결합합니다. 8개의 새로운 측정값에서 쌍 효과 릿지(pair-effect ridge)는 22개 소스 중 15개에서 최적값을 선택하고, 3개 소스에서는 모든 효과 오류를 점수 범위의 10% 이내로 제한합니다. 동일한 에이전트 관측값에 가우시안 프로세스(GP)를 적합하면 실제 효과 크기 대비 정확도인 효과 복원율(effect recovery)이 기존 Flash 코호트에서는 0.632에서 0.698로, 추가 코호트에서는 0.621에서 0.720으로 향상됩니다. 완료된 6개의 비트 검출 및 그래프 제출물에서 동일 관측 GP는 패밀리-매크로 복원율을 0.303에서 0.455로 높입니다. 6개의 이진 옵션을 갖는 6개 워크플로에서 20개의 새로운 측정 시, 동일한 동작을 나타내는 구성인 코드 동등성을 인코딩하면 GP 복원율이 0.248에서 0.462로 향상됩니다. WhatWorkedBench는 실험 에이전트, 적응형 실험 설계, 수치 추론(inference), 프로그램 구조 활용에 관한 연구를 지원합니다.

arXiv:2607.23896v1cs.AI공통 태그 Active Learning, Gaussian Processes

자율 재료 발견을 위한 비용 인식 회수 경로 식별 및 베이지안 최적화

Cost-Aware Recovery-Pathway Identification and Bayesian Optimization for Autonomous Materials Discovery

자율 실험실은 실험 수행을 자동화하지만, 캠페인은 또한 어떤 회수 경로가 최적화할 가치가 있는지 결정해야 한다. 우리는 이를 이질적인 실험 비용 하에서 이산적인 경로 식별 단계와 경로 내 연속 최적화 단계를 갖는 순차적 의사결정 문제로 공식화한다. 우리의 구현인 Coactive learning은 EC2(Golovin et al., 2010)에서 영감을 받은 비용 민감 베이지안 가설 판별 정책과 가우시안 프로세스 베이지안 최적화(Srinivas et al., 2010)를 결합한다. 명시적으로 진술된 가정 하에서, 고정 예산 캠페인 시도 1회의 기대 지출은 기대 경로 식별 비용과 상한이 설정된 경로 내 최적화 예산의 합으로 한정된다. 우리는 PNNL의 CICERO 선택적 침전 연구(Ritchhart et al., 2026)에서 보고된 선별된 결과로 제약된 합성 벤치마크(benchmark)에서 이 방법을 평가한다. 이 방법은 정답 경로에 대한 오라클 레이블을 받지 않으면서 첫 번째 플레이트로 경로를 판별하는 강력한 split-plate 기준선(baseline) 및 오라클 경로 베이지안 최적화 기준과 비슷한 성능을 보인다. 이 방법에는 후보 가설 공간과 진단 가능도(likelihood) 모델이 주어진다. NdFeB에서 영감을 받은 사례에서, 이 방법은 처음에 그럴듯하지만 열등한 수산화물 경로를 선택하는 commit-first 기준선의 시뮬레이션 페널티를 피한다. 이 가상의 잘못된 선(先)확정 시나리오는 CICERO에서 보고된 수산화물-옥살레이트 성능 대비에 의해 동기화된다. 우리는 이러한 결론이 가정된 비용 모델에 대해 얼마나 민감한지 특성화한다. 코드와 벤치마크는 오픈 소스이다.

arXiv:2607.08335v1stat.ML공통 태그 Active Learning, Gaussian Processes

스코어 매칭을 통한 베이지안 실험 설계

Bayesian Experimental Design via Score Matching

베이지안 실험 설계(BED)에 대한 정책 기반 접근법은 이전에 수집된 데이터를 바탕으로 지능적인 설계 결정을 적응적으로 내리는 심층 정책 네트워크의 학습을 가능하게 한다. 그러나 이러한 정책의 학습은 기대 정보 이득(EIG)의 이중 난해성(double intractability)이라는 근본적인 문제로 인해 제약을 받는 경우가 많다. 이로 인해 정책 자체의 최적화에 투자할 수 있는 노력을 제한하는, 비용이 크거나 복잡한 근사 방법이 요구된다. 이를 해결하기 위해, 우리는 EIG의 이중 난해성을 정책 학습으로부터 분리할 수 있음을 보인다. 구체적으로, 사용되는 정책에 독립적인 스코어 매칭 문제를 먼저 풀고, 학습된 스코어 근사를 활용하여 단일 난해한(singly intractable) 방식으로 정책을 학습한다. 이를 통해 핵심적인 곱셈적 비용이 덧셈적 비용으로 전환되고, 정책 학습 자체의 계산 부담이 경감되어, 아키텍처 탐색, 하이퍼파라미터 튜닝, 또는 지역 최적해 회피 등 정책을 여러 번 학습해야 하는 경우에 훨씬 저렴하게 학습할 수 있다. 실험에서는 가능도 평가에서 곱셈적 비용을 유발하지 않고 여러 경쟁력 있는 정책을 학습하였으며, 하이퍼파라미터 또는 아키텍처 탐색 없이도 최적의 정책을 선택할 수 있어 성능을 향상시킬 수 있음을 보였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.