PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.07859v1cs.AI

피드백 조작 정규화: 모방 학습을 위한 오프라인 에이전트 정렬 가능화

Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning

강화학습(RL) 연구는 에이전트가 인간의 가치에 부합하는 행동을 학습하도록 보장하는 정렬(alignment)에 점점 더 초점을 맞추고 있다. 인간의 시연과 피드백이 정렬에 중요한 역할을 한다는 것이 입증되었지만, 기존 접근법들은 주로 언어 생성의 컨텍스트 밴딧(contextual bandit) 프레이밍을 위해 설계된 다단계 파이프라인을 사용하여 이러한 신호들을 결합한다. 그러나 완전한 순차적 의사결정 환경에서의 단일 단계 오프라인 학습을 위해 이러한 상호보완적 입력들이 더 풍부하고 상호연결된 신호로 활용될 수 있는 방법을 탐구한 연구는 거의 없다. 우리는 모방 학습 정책의 정렬을 개선하기 위해 평가적 피드백을 교정 신호로 활용하는 알고리즘 독립적(algorithm-agnostic) 방법인 피드백 조작 정규화(FMR, Feedback Manipulation Regularization)를 제안한다. 우리는 Safety Gymnasium 환경을 정렬 평가를 위한 체계적인 테스트베드로 적용하여, 다양한 모방 학습 알고리즘에 걸쳐 향상된 적합성과 최대 98%의 비정렬(misalignment) 감소를 시연한다. FMR은 정렬된 시연이 희소하고 정보가 없는 노이즈 시연으로부터 학습할 때조차 데이터가 제한된 환경에서도 강건함을 유지한다.

arXiv:2606.28270v1cs.AI

에이전트 네이티브 면역 시스템: 아키텍처, 분류체계 및 엔지니어링

Agent-Native Immune System: Architecture, Taxonomy, and Engineering

정적 챗봇에서 지속적 메모리, 도구 사용 프로토콜, 다중 에이전트 협업을 갖춘 자율 에이전트로의 전환은 AI 위협 지형을 근본적으로 확장했다. 경계 보안(perimeter security)과 학습 시점 정렬(alignment)과 같은 현재의 방어 메커니즘은 에이전트의 능동적 추론 루프 외부에 머물러 있다. 따라서 이들은 부족하다: 완전히 정렬된 에이전트조차도 메모리 포이즈닝(memory poisoning), 도구 체인 조작, 또는 다중 에이전트 프로토콜 공격을 통한 런타임 하이재킹에 매우 취약하다. 이 핵심 공백을 해소하기 위해, 우리는 에이전트의 인지 루프 내부에 직접 내재된 최초의 생물학적 영감을 받은 내인성(endogenous) 방어 아키텍처인 Agent-Native Immune System(ANIS)을 제안한다. 우리 프레임워크는 네 가지 주요 기여를 제시한다. 첫째, 6층 Immune Tower(L0-L5)를 설계하며, Barrier Immunity(L1)를 비인지적, 물리-논리적 격리 층으로 명확히 통합한다. 둘째, Agent Viruses와 Agent Vaccines에 대한 통합 분류체계를 확립하고, 피상적인 비파라미터(non-parametric) 방어와 견고한 파라미터(parametric) 백신 간의 핵심적 구분을 형식화한다. 셋째, Harness Triad(Meta, Self, Auto)를 개념화한다—이는 지속적 면역 학습(Continual Immune Learning, CIL)을 구동하는 자기 모니터링, 메타인지적 자동화 백본으로, 백신이 새로운 위협에 동적으로 적응할 수 있게 한다. 마지막으로, 모델 정렬과 에이전트 면역 사이의 엄밀한 이론적 경계를 확립한다: 정렬은 학습 중 정적인 "헌법적" 가치 기반을 제공하는 반면, ANIS는 런타임 중 동적인 "법 집행" 메커니즘 역할을 한다. 마지막으로 면역 프로토콜 표준화, Autoimmunity Rate(거짓 양성 개입률)와 같은 새로운 평가 지표, 집합 지능(collective intelligence) 생태계 내 병원체와 백신 간의 공진화(co-evolutionary) 역학 등 분야의 열린 과제를 제시하며 마무리한다.