PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01781v1cs.AI

MEC가 없는 마르코프 결정 과정(MDP)에서의 도달 가능성을 위한 Q-러닝

Q-Learning for Reachability in MEC-Free MDPs

도달 가능성(reachability) 명세를 위한 강화학습(RL)은 순차적 의사결정에서 기본이 되는 문제입니다. 기존 연구에서는 최적 정책으로의 점근적 수렴(asymptotic convergence)을 규명했으나, 이는 기저 마르코프 결정 과정(MDP)의 전이 확률을 명시적으로 추정해야만 하는 모델 기반(model-based) 방식을 통해서만 가능했습니다. 본 논문에서는 표준적인 MEC 몫(quotient) 연산을 통해 모든 MDP가 환원될 수 있는 기본 구성 요소인, 비종단 최대 끝 컴포넌트(non-terminal maximal end components, MEC)가 없는 MDP 단편에서 도달 가능성에 대한 점근적 보장을 제공하는 최초의 모델 프리(model-free) 알고리즘인 Quasar를 제시합니다. 본 알고리즘은 고전적인 Q-러닝 접근법을 따라 시간차(temporal-difference) 업데이트를 활용하여 전이 확률을 전혀 학습하지 않고도 최적 정책으로 수렴합니다. 이를 통해 도출된 학습기는 메모리 사용량을 모델 기반 방식에 필요한 O(|S|^2|A|)에서 O(|S||A|)로 줄입니다. 표준화된 정량 검증 벤치마크 세트(Quantitative Verification Benchmark Set)에서 본 알고리즘은 기존의 최신 모델 기반 기법(SOTA)보다 수 자릿수(orders of magnitude) 적은 샘플만으로 최적 정책에 수렴합니다. 이러한 결과는 도달 가능성 학습의 실질적인 적용과 더불어 명세 유도형 강화학습(specification-guided RL)의 실용적 배치를 향한 구체적인 진전을 이룹니다.

arXiv:2607.13070v1cs.SE

자기 개선 시스템을 위한 반증 가능한 릴리스 게이트

Falsifiable Release Gates for Self-Improving Systems

자기 개선 에이전트 런타임에 대한 안전성 주장은 거의 항상 자체 평가에 의존한다. 정책 파일, 가드레일, 또는 README상의 약속에 불과한 경우가 대부분이다. 우리는 반증 가능한 릴리스 게이트와, 이러한 시스템을 구축·검증하는 방법론을 제시한다. 이를 통해 모든 새로운 기능은 배포 전에 사전에 지정된 기계 검증 가능한 수용 테스트 스위트를 통과해야 하며, 각 게이트에서 고정된 상시 불변식 집합이 유지된다. 우리는 오픈 런타임인 Antahkarana에 이 방법을 적용하였으며, 기본 관측 가능성(observability)에서 시작해 자체 정책 변경을 제안하는 자기 거버넌스(self-governing) 루프에 이르기까지 7개의 게이트를 거친다. 어떤 동작도 이펙터(effector)로 전달되기 전에 안전-핵심(safety-critical) 속성을 만족해야 한다. 컨트롤 링(control ring)이 발행(mint)한 기능(capability) 토큰은 경계가 있는(bounded) 모델의 기록된 100만 개 도달 가능 상태 공간에 대해 기계적으로 완전 검사되며, 실행 추적(execution traces)에 대해 재검사된다. 의도적으로 깨진(broken) 모델은 최단 반례(counterexample)를 제공하므로, 검증기가 실효성을 갖음이 분명하다. 자기 향상(self-enhancement) 루프는 긍정적으로(positive) 제약된다. 전체 쓰기 표면(write surface)은 정책 규칙뿐이다. 강화(tightening) 변경은 자동 적용될 수 있으나, 완화(loosening) 변경은 항상 사람의 병합(merge)이 필요하다. 자신의 효과를 잘못 예측하는 제안(proposal)은 자동으로 종료(autoclosed)된다. 우리는 7개 게이트 모두에 대한 측정된 수용 결과를 공개하고, 각 주장의 범위를 정확히 정의한다(학습된 구성요소가 아닌 조율 스켈레톤(coordination skeleton)으로 한정). 또한 런타임, 명령줄 도구, 게이트 스위트를 공개하여 결과를 재현 가능하게 하고, 다른 에이전트 프레임워크에 대해서도 게이트를 실행할 수 있게 한다. 리뷰어는 중앙 우회 불가(non-bypass) 단일 명령을 수 초 안에 반복 실행할 수 있다.

arXiv:2508.19186v2cs.RO

폐루프 로봇 반응형 계획을 위한 실시간 모델 체킹

Real-Time Model Checking for Closed-Loop Robot Reactive Planning

반응형 장애물 회피 방법은 종종 한 단계 앞만(즉, 현재 상태에 기반한 다음 행동만) 추론할 수 있기 때문에 에이전트가 국소 최솟값(local minima)에 갇히게 한다. 본 논문에서는 자율 로봇에서 반응형 다단계 계획과 장애물 회피를 달성하기 위해 모델 체킹을 사용한다. 우리의 소규모 맞춤형 모델 체킹 알고리즘은 생물학적 에이전트에서 발견되는 '핵심(core)' 지식과 어텐션에 기반하여 로봇 코드 내 현장(in situ)에서 계획을 생성한다. 이는 사전 계산된 데이터 없이 저전력 장치에서 실시간으로 달성된다. 우리의 접근법은 자율 에이전트가 선호하는 행동(또는 안정 상태)을 방해하는 국소 환경의 교란에 대응하기 위해 생성되는 임시 제어 시스템들을 연쇄적으로 연결하는 것에 기반한다. 우리는 즉각적 환경의 임시 스냅샷에 의존하고 상태 수를 제한함으로써 상태 공간 폭발(state-space explosion)을 완화한다. 깊이 우선 탐색(depth-first search)과 부정된 LTL(Linear Temporal Logic) 경로 속성에 의해 생성된 반례(counter-examples)를 사용한 다단계 계획은 막다른 골목(cul-de-sac)과 독립형 장애물 시나리오에 적용된다. 실험 결과와 두 가지 기본 속성에 대한 비공식 증명은 국소 장애물 회피를 위한 효율적인 다단계 계획 생성에서 우리 접근법의 효과를 보여준다. 우리는 한 단계 앞만 계획할 수 있는 순수 반응형 에이전트와 비교하여 성능을 크게 개선한다. 우리의 접근법은 자율 주행 차량 맥락에서 안전하고 신뢰할 수 있는 내비게이션 개발을 위한 교육적 사례 연구이다. 또한 임무에 중요한(mission-critical) 이동 로봇의 내비게이션에도 일반적으로 적용될 수 있다고 우리는 믿는다.

arXiv:2607.08417v1cs.CL

IEC 61131-3 PLC 프로그램에서 ESBMC-PLC+를 이용한 래더 로직 폭탄 탐지: 트리거 합성을 통한 형식적 검증 접근법

Detecting Ladder Logic Bombs in IEC 61131-3 PLC Programs using ESBMC-PLC+: A Formal Verification Approach with Trigger Synthesis

PLC 프로그램에 숨겨진 래더 로직 폭탄(LLB)을 탐지하기 위해, 기존 검증기가 중간 표현에서 제거하던 함수 블록 내부 로직을 노출하는 모델링 계층을 추가한 ESBMC-LLB를 제안한다. k-귀납법으로 폭탄 부재를 비유계(unbounded) 증명하고 유계 모델 체킹으로 폭탄 트리거를 자동 복원하며, 공개 데이터셋에서 30개 폭탄을 전부 탐지하고 SWaT 코퍼스 v1.0.0에서 오탐 없이 99%의 탐지율을 달성했다.

arXiv:2606.23870v2cs.PL

ESBMC-PLC+: A Unified IEC 61131-3 Formal Verification Framework as a PLCverif Successor

ESBMC-PLC+는 MATIEC 기반 ST/SCL 프런트엔드와 그래픽 LD의 타이머·카운터·엣지 트리거 기능 블록 상태 모델을 ESBMC k-induction 백엔드로 통합해, PLCverif와 선행 ESBMC-PLC 계열이 남기던 LD·ST 공백과 유한(bounded) 증명 한계를 메우는 IEC 61131-3 통합 정형 검증 프레임워크다. 8개 벤치마크 평가에서 PLCverif와 동등한 입력 범위를 유지하면서 더 강한 안전성 보장을 제공했고, 타이머 프로그램에서는 nuXmv BDD 대비 400–2,000배 빠르며 120초 타임아웃에서 실패한 증명도 완료했다.

arXiv:2606.18941v3cs.PL

ESBMC-GraphPLC: SMT 기반 모델 검사를 사용한 그래픽 PLCopen XML 래더 다이어그램 프로그램의 형식 검증

ESBMC-GraphPLC: Formal Verification of Graphical PLCopen XML Ladder Diagram Programs Using SMT-Based Model Checking

PLCopen XML은 IEC 61131-3 래더 다이어그램(Ladder Diagram) 프로그램에 대해 두 가지 인코딩 형식을 정의합니다. 하나는 <rung> 요소를 사용하는 텍스트 인코딩이고, 다른 하나는 런그 로직(rung logic)을 localId/refLocalId 연결의 유향 그래프(directed graph)로 나타내는 그래픽 인코딩입니다. ESBMC-PLC는 텍스트 형식을 지원했지만, CONTROLLINO, Beremiz, OpenPLC Editor의 그래픽 내보내기(exports)를 빈 GOTO 중간 표현(intermediate representation)으로 구문 분석하여, 공허한 검증 성공(vacuous verification success)을 초래했습니다. 본 논문은 DFS 기반 그래픽 LD 리졸버(resolver)를 통해 이 격차를 해소하는 ESBMC-GraphPLC를 제시합니다. 이 리졸버는 leftPowerRail에서 각 코일(coil)까지 연결 그래프를 순회하고, 런그 경로를 부울 접점의 논리곱(Boolean contact conjunctions)으로 추출하며, 3계층 I/O 추론(inference) 방식을 적용합니다. rightPowerRail connectionPointIn 순서대로 코일을 정렬하면 SET 코일이 RESET 코일보다 먼저 처리되도록 보장하여, IEC 스캔 사이클(scan-cycle) 의미론과 일치합니다. 그래픽에서 IR(중간 표현)으로의 변환은 ESBMC 백엔드를 변경하지 않은 상태로 유지합니다. CONTROLLINO/OpenPLC Editor의 3개 그래픽 LD 프로그램에 대한 검증(validation) 결과, 이전의 빈 IR과 달리 모든 프로그램이 비결정적 입력(nondeterministic inputs)과 런그 로직을 포함한 완전한 GOTO IR을 생성하는 것으로 나타났습니다. 이 3개 프로그램 모두 70ms 이내에 k=2에서 SAFE로 검증되었습니다. 11개의 텍스트 LD 벤치마크는 회귀(regression) 없이 완전히 보존되었습니다. LD 콘텐츠가 없거나 지원되지 않는 타이머 의미론을 포함하는 두 개의 Beremiz 예제가 발견된 제한 사항으로 보고되었습니다. 아티팩트(artifact)는 Zenodo에서 확인할 수 있습니다 (DantasCordeiro2026graphical, doi:10.5281/zenodo.20699856).

arXiv:2606.20674v1cs.NE

몫 추상화 기반 확률적 스파이킹 신경망 검증 형식적 도구

A Formal Tool for Verification of Probabilistic Spiking Neural Networks Based on Quotient Abstractions

스파이킹 신경망(SNN)은 고전적인 인공 신경망보다 생물학적 신경 동역학을 더 충실히 모델링하지만, 이온 채널 노이즈와 불안정한 시냅스 소포 방출에 뿌리를 둔 확률적·사건 기반(event-driven) 연산 특성상 결정론적 추상화로는 수학적으로 감당할 수 없는 확률적 모델이 요구된다. 확률적 모델 검사(model checking)를 통한 이들 모델의 형식적 검증은 근본적 장벽인 상태 공간 폭발(state space explosion) 문제에 직면하는데, 신경원 수에 따라 지수적으로 커지는 이산 시간 마르코프 체인(DTMC) 인코딩이 그 원인이다. 범용 몫(quotient) 모델 추상화[1]는 원칙적으로 막전위를 동치 클래스로 분할하여 이러한 증가를 완화할 수 있으나, SNN에 대한 단순 적용은 시냅스 가중치 정보를 버려 검증 가능한 성질을 제한한다. 본 논문은 연속 시냅스 가중치를 간결한 정수 범위로 매핑하면서 각 시냅스의 상대적 기여를 보존하는 가중치 이산화 몫 모델 추상화를 제안하고, SNN 설계·시뮬레이션·PRISM 기반 형식적 검증을 단일 동형(isomorphic) 도구 체인 내에서 통합하는 통합 워크벤치 CogSpike를 제시한다. 이 이산화에는 형식적 정확성 보장이 수반된다: 양측 충실도(fidelity) 정리는 발화 불일치를 임계값 주변의 유계된 회색 영역(gray zone)으로 한정하고, 점근적 침묵(Asymptotic Silence) 정리는 외부 입력이 없는 신경원이 영구적으로 침묵 상태에 빠진다는 정확한 극한 보장을 제공한다. 위상 의존적 스케일링 분석은 상태 공간 축소가 지수적으로 누적됨을 보여 주며—이산화 매개변수 $W = 3$일 때 신경원당 약 $17\times$—, 그렇지 않으면 다루기 어려운 네트워크의 검증을 가능하게 한다는 점을 일곱 가지 표준 위상에 걸친 실증을 통해 확인한다.

arXiv:2606.17962v1cs.MA

전략 논리를 위한 전략 합성의 뉴로-심볼릭 접근법

A Neuro-Symbolic Approach to Strategy Synthesis for Strategic Logics

에이전트가 전략적 상호작용을 통해 무엇을 달성할 수 있는지에 대한 추론은 다중 에이전트 시스템(MAS)의 핵심 과제입니다. ATL과 같은 전략적 능력에 대한 논리는 엄밀한 방법을 제공하지만, 전략 합성의 계산 비용으로 인해 채택이 종종 방해받습니다. 우리는 대규모 언어 모델(LLM)을 MAS의 모델 검증 파이프라인에 통합하는 뉴로-심볼릭 프레임워크를 소개합니다. LLM은 전략 생성 오라클로 작용하여 후보 전략을 제안하고, 이는 표준 MAS 모델 검증기에 의해 형식적으로 검증됩니다. 이 생성-검증(generate-and-certify) 아키텍처는 형식적 건전성을 유지하면서 LLM의 안내를 사용하여 거대한 조합적 전략 공간을 탐색합니다. 즉, 생성된 전략은 검증기에 의해 검증될 때만 수락됩니다. 우리는 NatATL에서의 유한 전략 추론을 위해 이 프레임워크를 구체화하고, 4211개의 인스턴스로 구성된 첫 번째 NatATL 전략 합성 데이터셋을 소개합니다. 오픈 가중치(open-weight) Qwen3-32B 모델을 사용한 실험 결과, 우리의 검증된 파이프라인이 전략 합성 결과에서 92%의 정확도를 달성함을 보여줍니다.