PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15710v1cs.AI

제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가

Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate

어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.

arXiv:2607.14553v1cs.AI

자율 산업 시스템을 위한 의도 추상화 층 구축을 향하여

Towards an Intention Abstraction Layer for Autonomous Industrial Systems

현대 산업 환경에서는 스케줄러, 에너지 관리자, 차량 군집 등 많은 자율 하위 시스템이 동시에 운영되며, 각각은 고유한 목표를 추구하면서 동일한 물리적 자원을 공유한다. 상위 수준의 인간 의도가 하위 수준의 제어 로직으로 변환된 뒤 폐기되기 때문에, 실행 중인 어떤 구성 요소도 여전히 실제로 의도된 일을 수행하고 있는지 알 수 없으며, 목표 충돌은 목표 미달이나 셧다운을 초래한 뒤에야 표면화된다. 우리는 의도를 일급(first-class), 지속적(persistent), 설명 가능한(explainable) 런타임 객체로 표현하는 도메인 비의존적(domain-agnostic) 미들웨어인 Intention Abstraction Layer(IAL, 의도 추상화 층)를 제안한다. 형식적 OWL 온톨로지에 그라운딩(grounding)된 대규모 언어 모델(LLM)이 자연어 목표를 구조화된 의도로 파싱하고, 일관성 모니터가 등록 시점과 실행 전에 충돌을 감지하며, 투명성 모듈이 이를 자연어로 설명한다. 두 자율 에이전트(agent)가 상충하는 생산 및 에너지 의도를 등록하고 IAL이 실행 층에 도달하기 전에 충돌을 표시하고 설명하는 첫 개념 증명(proof of concept)을 보고한다. 그 결과, 협력하는 자율 시스템에 대한 행동 보증(behavioral assurance)을 사후 실패 분석에서 실행 전 의도 수준 검사로 전환하는 메커니즘이 된다.