Q-SMASH: Q-Learning-based Self-Adaptation of Human-Centered Internet of Things
원문 초록
As the number of Human-Centered Internet of Things (HCIoT) applications increases, the self-adaptation of its services and devices is becoming a fundamental requirement for addressing the uncertainties of the environment in decision-making processes. Self-adaptation of HCIoT aims to manage run-time changes in a dynamic environment and to adjust the functionality of IoT objects in order to achieve desired goals during execution. SMASH is a semantic-enabled multi-agent system for self-adaptation of HCIoT that autonomously adapts IoT objects to uncertainties of their environment. SMASH addresses the self-adaptation of IoT applications only according to the human values of users, while the behavior of users is not addressed. This article presents Q-SMASH: a multi-agent reinforcement learning-based approach for self-adaptation of IoT objects in human-centered environments. Q-SMASH aims to learn the behaviors of users along with respecting human values. The learning ability of Q-SMASH allows it to adapt itself to the behavioral change of users and make more accurate decisions in different states and situations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전역 일관성: 모든 에이전트가 옳아도 팀 전체는 틀릴 때 - 멀티 에이전트 협업을 위한 국소-전역 의미론적 기반
Global Coherence: When Every Agent Is Right and the Team Is Still Wrong - A Local-to-Global Semantic Foundation for Multi-Agent Collaboration
AI 에이전트는 코드, 문서, 도구, 분석을 공유한다. 어떤 참여자도 전체 상태를 보지 못하므로, 모든 단계가 옳아 보이는데도 결합된 결과는 틀릴 수 있다. 우리는 이를 전역 일관성 문제라고 부른다. 이는 지능만의 문제가 아니라 상태의 문제이다. 더 강한 모델은 국소적으로 더 잘 결정하지만, 자신의 맥락에서 무엇이 빠져 있는지는 볼 수 없다. 관측 에일리어싱 불가능성 정리는 정확한 조건을 제시한다. 에이전트는 자신의 맥락과 일치하는 모든 세계가 공통의 행동을 허용할 때, 그리고 그때에만 항상 유효하게 행동할 수 있다. 서로 닮은 세계들이 서로 다른 행동을 요구할 때에는, 어떤 추론, 역할, 메시지, 표본도 올바른 행동을 보장할 수 없다. 유효한 행동이 서로소인 이러한 세계가 $k$개 있으면, 최선의 무작위 정책이 성공할 확률은 1/k이다. 충분한 최소 맥락을 찾는 것은 NP-난해이지만, 정제(refinement)가 하나를 찾아내고 규칙이 바뀔 때 이를 최신 상태로 유지한다. 두 번째 실패는 완전한 정보 하에서도 남는다. 유효한 조각들이 하나의 세계로 맞춰지지 않을 수 있다. 동일한 정리가 일관성의 조건을 규정하며, 층(sheaf)과 군다발(groupoid)은 이를 충족하는 한 가지 방법이다. 모델이 제안하고, 하네스가 무엇이 유효한지 결정한다. 열 가지 연구로 이를 검증한다. TeamBench에서 팀은 5/5회 실행에서 공유 예산을 초과 지출하며, 실시간 집계를 보여 주어도 4/5가 남고, 예산을 소유하는 하네스에서는 0/5가 남는다. 어떤 쌍별 검사로도 볼 수 없는 신원 충돌이 공개 정렬 네트워크 45개 중 23개에서 나타나며, 분할 시야 에이전트는 40회 병합 중 9회에서 이를 만들어 내고, 네트워크 검사는 아홉 건을 모두 제거한다. 최첨단 LLM은 결정적 사건을 볼 때 40/40개의 수정 과제를 해결하지만, 그 사건을 숨기면 더 오래 추론하거나, 투표하거나, 역할로 나누는 어떤 방식도 우연 수준을 유의하게 넘지 못하며, 동반 연구는 두 번째 제공자의 모델에서 이를 재현한다. tau2-bench Telecom에서 무음 되돌림 이후 하네스는 1.00점을 기록하는 반면 호출 시점 정책 검사는 0.07점이다. 정제는 모든 필드를 공유하는 비용의 28%로 충분한 맥락을 유지한다.
RoboTalk: 다중 모달 시연으로부터 다중 로봇 통신 및 조율 학습하기
RoboTalk: Learning Multi-Robot Communication and Coordination from Multimodal Demonstrations
다중 로봇 협업은 복잡한 로봇 작업에 대해 더욱 효율적이고 확장 가능한 해결책을 가능하게 할 수 있지만, 부분 관측 가능성(partial observability) 하에서의 협업은 여전히 도전 과제로 남아 있습니다. 자연어 통신은 부분 관측 가능성 하에서 로봇들을 조율하기 위한 유망한 접근 방식을 제공합니다. 그러나 탈중앙화된 조작(decentralized manipulation)에서, 온디바이스 배포를 목표로 하는 소형 비전-언어 모델(VLM)이 다중 모달(multimodal) 시연으로부터 명시적인 로봇 간 통신과 스킬 수준의 행동 선택을 공동으로 학습하는 것은 아직 충분히 연구되지 않았습니다. 이러한 공백을 해결하기 위해, 소형 VLM이 통신하고 조율하도록 학습(training)시키기 위한 53개의 모바일 조작 주방 작업에 걸친 7,950개의 다중 모달 궤적으로 구성된 합성 데이터 생성 파이프라인 및 데이터셋인 RoboTalk을 소개합니다. 이 데이터셋에는 리더-팔로워 계획 프로토콜, 도구 호출(인식, 조작, 내비게이션, 통신), 추론 과정(rationale traces), 그리고 다양화된 자연어 통신이 포함되어 있습니다. 오픈소스 모델을 본 데이터셋으로 미세조정(fine-tuning)하면 새로운 미공개(held-out) 작업에서 77%의 성공률에 도달할 수 있으며, 이는 약 ~2%의 성공률을 보였던 미세조정되지 않은 기존 오픈소스 모델 대비 대폭 향상된 결과입니다.
사이버-물리 시스템에서 대규모 언어 모델(LLM) 에이전트를 위한 계획 수립 전략의 전략적 평가
Strategic Evaluation of Planning Strategies for LLM Agents in Cyber-Physical Systems
대규모 언어 모델(LLM) 에이전트(agent) 평가는 일반적으로 작업 성공 여부나 명시된 계획과의 일치도를 측정합니다. 그러나 전략적 사이버-물리 시스템(cyber-physical systems)에서는 자율적 참여자가 반응하고 물리적 제약이 결과를 제한한 후에도 아키텍처가 적절성을 유지해야 합니다. 본 연구에서는 계획 유도 제어 궤적(planning-induced control trajectories), 즉 실행 아키텍처를 전략적 반응 및 물리적 결과와 연결하는 정렬된 계획 연산 및 지시문으로 구성된 통제된 벤치마크(benchmark)를 제시합니다. 코드화된 네 가지 실행기(사전 정의형, 순차형, 계층형, 탐색형)는 방사형 피더(radial feeder)에서 40개 프로슈머(prosumer)의 수요 반응을 제어합니다. LLM은 타입화된 정책을 선언하거나 조언하며 통신을 중재하고, 일정, 기본 프로슈머 동역학, 확률적 행동, 조류 계산(power flow)은 명시적 코드로 유지됩니다. 쌍체 강제 모드 반사실적 분석(paired forced-mode counterfactuals), 정확한 프롬프트(prompt) 캐싱, 별도의 무작위 스트림을 사용한 공통 응답 표본 추출, 비평자 격리, 이벤트 수준 실행 가능성을 통해 비교를 정밀하게 격리합니다. 이 피더에서 진행한 Llama-3.3-70B 모델(model) 실험은 세 가지 특성을 구별합니다. 첫째, 지정된 목표 하에서 5개의 모든 기준선(baseline) 시드에 걸쳐 강제 탐색이 오라클(oracle)로 나타났습니다. 둘째, 주입된 목표 대체(objective substitution)는 모드 일치도를 1.0으로 유지하면서도 누적 전압 부족을 2.68배 증가시켰습니다. 셋째, 3회의 반복 시드를 사용한 144개 시나리오, 576개 에피소드 요인 뱅크는 사전 정의형, 순차형, 탐색형에서 나온 실행 가능한 오라클을 포함합니다. 사전에 지정된 스트레스 홀드아웃 릿지(stress-held-out ridge)는 평균 리그렛(regret) 90.7을 기록했으며, 고정된 순차 방식 대비 관찰된 이점을 보이지 않았습니다. 사후 제약 인식 분석(post-hoc constraint-aware analysis)을 통해 리그렛을 29.0으로 줄였으나, 단순 마감 규칙도 28.7을 달성하므로 이러한 개선이 학습 상의 우위를 입증하지는 못합니다. 전원 실행 가능 절제 연구(all-feasible ablation) 역시 고정 탐색 방식보다 개선되지 않았습니다. 이는 시뮬레이션 내부의 기술적 비교입니다. 5개 모델, 300개 선언으로 확장한 실험에서는 백본 간 물리적 순위가 아닌 인터페이스 동작을 테스트하며, 공유 엔드포인트의 지연 시간 꼬리 분포(latency tails)는 확률적 실시간 실행 가능성의 필요성을 시사합니다.
Amadeus: 인간 모델들이 만날 때
Amadeus: When Models of People Meet
AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.
진화적 안정성이 학습 도달 가능성을 보장하지는 않는다: 협력 창발에 대한 다중 에이전트 강화학습 관점
Evolutionary Stability Does Not Guarantee Learning Accessibility: A Multi-Agent Reinforcement Learning Perspective on Cooperation Emergence
협력의 창발(cooperation emergence)은 탈중앙화된 에이전트(decentralized agent)들이 다른 에이전트들의 변화하는 행동에 적응하면서 동시에 조정을 이루어야 하므로 다중 에이전트 시스템에서 핵심적인 문제입니다. 진화 게임 이론(evolutionary game theory)은 전략적으로 안정한 결과를 규명하지만, 집단 조정 동역학 하에서의 안정성이 유한 샘플 학습 에이전트들이 국소적 보상(reward) 피드백을 통해 동일한 결과에 도달할 수 있음을 반드시 의미하지는 않습니다. 본 연구에서는 정부, 플랫폼 기업, 사용자가 참여하는 투명한 거버넌스 동기 기반의 3인 에이전트 게임에서 이러한 차이를 탐구합니다. 고정된 스테이지 게임 유인에 대한 복제자 동역학(replicator dynamics)을 도출하고, 대칭적인 초기 조건 그리드에서 협력적 진화 유역(evolutionary basin)을 평가하며, 이를 세 가지 탈중앙화 가치 기반 학습자에 대한 학습 유역 추정치와 비교합니다. 학습 분석에서는 동일한 보수 환경(payoff environment) 및 결과 기준 하에서 $\varepsilon$-탐욕적(greedy) 행동 선택을 사용하는 독립 Q-학습(independent Q-learning), 스케일링된 볼츠만 탐험(scaled Boltzmann exploration), 그리고 SA--EA BQL을 활용합니다. 샘플링된 그리드에서 진화 유역의 체적은 $V_E=1.00$입니다. 실증적 학습 유역은 $\varepsilon$-IQL의 경우 $0.88$인 반면, 스케일링된 볼츠만 및 SA--EA BQL의 경우 모두 $0.00$입니다. 진단 추적 결과는 이 고정된 구성에서 더 넓은 행동 다양성과 0이 아닌 가치 분리가 협력적 결합 행동을 유지하지 못하는 실패와 공존할 수 있음을 보여줍니다. 이러한 결과는 진화적 안정성과 학습 도달 가능성(learning accessibility)이 결합된 게임-학습 시스템의 구별되는 속성임을 나타냅니다. 공유 자전거 환경은 동기 부여를 위한 적용 사례이며, 더 광범위한 기여는 명시된 다중 에이전트 학습 동역학 하에서 집단 수준의 안정성과 협력의 유한 샘플 도달 가능성을 비교하기 위한 프레임워크를 제공하는 것입니다.
지연된 정보 공유를 활용한 탈중앙화 부분 관측 팀 의사결정 방법론
A Decentralized Partially Observable Team Decision Methodology with Delayed Information Sharing
본 논문에서는 저순위 잠재 동역학(low-rank latent dynamics)과 미지의 시스템 모델을 갖는 탈중앙화 부분 관측 팀 의사결정 문제를 연구합니다. 제안된 프레임워크는 전이 모델(transition model)에 대한 사전 지식 없이도 부분 관측 마르코프 결정 과정(POMDP)에서의 협력적 의사결정을 다루기 위해 팀 이론적 동치성(team-theoretic equivalence)과 저순위 모델 표현을 결합합니다. 각 팀 구성원은 로컬의 개별 정보와 팀 전체에 공유되는 지연된 공통 정보를 기반으로 의사결정을 내립니다. 사용 가능한 정보만을 활용하여, 각 구성원은 근사 저순위 마르코프 결정 과정을 학습하고 최소제곱 가치 반복(least-squares value iteration)을 적용하여 정책을 계산합니다. 이를 통해 중앙 조정자나 중앙 집중식 학습이 모두 필요하지 않은 완전 탈중앙화 학습 및 계획 알고리즘을 도출합니다. 우리는 결과로 도출된 구성원 측 해가 중앙 집중식 팀 해를 근사함을 보입니다. 즉, 부분 관측 가능성, 미지의 동역학, 지연된 공통 정보에도 불구하고 각 구성원은 근사 팀 최적 정책의 해당 구성 요소를 복원합니다. 나아가 제안된 알고리즘에 대한 유한 표본 성능 보장(finite-sample performance guarantees)을 확립하고 이에 대응하는 표본 복잡도 한계(sample-complexity bound)를 유도합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.