PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15782v1cs.CV

정책 동기화 언어-행동 이중 부트스트래핑을 통한 내비게이션용 데이터 중심 재귀적 자기 개선

Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping

비전-언어 내비게이션은 에이전트(agent)가 자연어 지시를 따라 목표 위치에 도달해야 하므로, 고품질 언어 지도(supervision)가 필수적입니다. 인간의 어노테이션은 비용이 많이 들기 때문에, 기존 연구에서는 확장 가능한 데이터 합성 방법을 탐색해 왔습니다. 그러나 기존 방법들은 일반적으로 내비게이션과 지시문 생성을 위해 별도의 모델(model)을 사용하거나 특정 작업 전용 컴포넌트를 통해 두 작업을 결합하며, 대부분은 업데이트 전에 고정된 모델로 전체 궤적 코퍼스를 어노테이션하므로 생성된 지도 신호가 발전하는 정책보다 뒤처질 수 있습니다. 이에 따라, 본 연구에서는 공유 모델 내에서 비전-언어-행동 지시 추종과 비전-행동-언어 지시 생성을 통합하는, 정책 동기화 언어-행동 이중 부트스트래핑 기반 내비게이션용 데이터 중심 재귀적 자기 개선 프레임워크인 RSI-Nav를 제안합니다. 구체적으로, 지도 미세조정(supervised fine-tuning)을 통해 기본 역량을 확립한 후, RSI-Nav는 라벨이 없는 궤적을 작은 샤드(shard) 단위로 점진적으로 처리합니다. 현재 모델은 이러한 궤적에 대한 지시문을 생성하고, 이를 실행하여 목표 완료율과 경로 효율성을 평가하며, 조건을 충족하는 샘플을 유지한 뒤 다음 샤드를 처리하기 전에 즉시 모델 자체를 업데이트합니다. 이러한 샤드 단위 업데이트는 새로 생성되는 지도 신호가 진화하는 정책과 계속 일치하도록 유지합니다. 또한, 더 강력한 공간 추론이 내비게이션에 도움이 되므로 공간 이해 데이터도 통합합니다. 광범위한 실험을 통해 RSI-Nav가 R2R-CE에서 68.6% SR, RxR-CE에서 72.4% SR을 달성하는 동시에, 재귀적 진화 후 더 강력한 지시 생성 효용과 완만한 수준의 공간 이해 개선을 제공함을 입증합니다.

arXiv:2610.15708v1cs.AI

SpecForge: 동작 명세를 통한 코딩 에이전트의 재귀적 자기 개선

SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications

동결된 언어 모델 기반의 코딩 에이전트(agent)는 모델(model) 가중치를 업데이트하지 않고도 자신이 의존하는 외부 컨텍스트를 개선함으로써 성능을 향상할 수 있습니다. 본 연구에서는 프로그램 엔티티의 동작을 기술하고 에이전트가 올바른 코드를 생성하도록 안내하는 자연어 코드 문서인 동작 명세(behavioral specification)를 통한 재귀적 자기 개선을 탐구합니다. 우리는 에이전트가 현재 명세로부터 코드를 생성하고, 실행 검증된 테스트로 이를 평가(evaluation)하며, 관찰된 실패를 바탕으로 명세를 개선하는 자기 개선 루프를 정식화합니다. 이렇게 개선된 명세는 이후의 코드 생성을 유도하여 에이전트의 코드베이스 이해도를 점진적으로 향상시킵니다. 그러나 프로그램 엔티티들은 상호 의존적이기 때문에 재귀적 개선은 까다롭습니다. 한 엔티티의 명세를 개선하는 과정에서 다른 엔티티의 정확도가 의도치 않게 저하될 수 있으며, 우리는 이를 출력 결합(output coupling) 현상이라고 부릅니다. 이는 국소적인 개선이 다른 곳에서 회귀를 유발하여 일관된 발전을 저해하는 두더지 잡기 효과를 야기합니다. 우리는 세 가지 메커니즘을 통해 이 문제를 해결하는 다중 프론티어 트리 탐색 프레임워크인 SpecForge를 소개합니다: (i) 파레토(Pareto) 기반 상태 선택은 상호보완적인 명세 상태를 보존하고 조기 확정을 방지하며, (ii) 의존성 제약 엔티티 선택은 피호출자 우선 정제를 우선시하고, (iii) 오류 다양화 확장은 서로 다른 테스트 실패 부분집합을 활용해 다양한 개선 방안을 탐색합니다. DevEval+에서 SpecForge는 5개 백본 모델에 걸쳐 최고 성능을 달성했으며, 여기에는 Claude-4.5-Sonnet을 통한 94.9% 해결률과 가장 강력한 기준선(baseline) 대비 평균 5.7%포인트 향상이 포함됩니다. 또한 개선된 명세는 에이전트가 루프 외부의 작업을 수행하는 능력도 향상시킵니다. 즉, 교차 언어 번역 및 새로운 기능(feature) 구현으로 전이되어 벤치마크(benchmark)에서 제공된 요구사항 문서를 능가하는 성능을 보였습니다.

arXiv:2610.13912v1cs.CL

RSI-Anything: 월드 모델(World Model)을 통한 재귀적 자기개선의 실현

RSI-Anything: Unlocking Recursive Self-Improvement with World Models

재귀적 자기개선(Recursive Self-Improvement, RSI)은 상호작용 경험을 지속적인 개선으로 전환하는 것을 목표로 하지만, 외부 피드백은 비용이 많이 들고 정책(policy)이 진화함에 따라 월드 모델(world model)의 예측이 신뢰할 수 없게 될 수 있다. 우리는 JEPA-Anything을 기반으로 구축된 도메인 범용(domain-general) 프레임워크인 RSI-Anything을 소개하며, 이는 예측적 월드 모델을 사용하여 행동 및 학습 데이터 선택을 안내한다. 관찰된 피드백은 정책 또는 워크플로우 개선과 조건부 월드 모델 적응(adaptation)을 이끌며, 구성요소 및 호환성 검사가 업데이트된 정책-모델 쌍의 유지 여부를 결정한다. 다양한 계산 및 과학 도메인에서 RSI-Anything은 상당한 성능 향상을 보여준다. 코드 수정(code repair) 과제에서, 코더(coder)를 고정한 상태로 성공률은 정적 검증기(static verifier)를 사용할 때 26.3%였으나, 예측적 선택(predictive selection)을 통해 29.2%로, 월드 모델 적응 이후에는 31.2%로 증가했으며, 이는 비슷한 테스트 사용량에서 달성되었다. 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 평가에서는 과제 완료율이 더 높아졌으며, 평균 행동 수는 39.4% 감소했다. 연속된 5개의 정책 버전에 걸쳐, 실험실 계획(laboratory-planning) 점수는 21.80%에서 46.01%로 두 배 이상 증가했다. 반응 최적화(reaction optimization)에서, RSI-Anything은 동일한 40회 실험 예산 하에서 평균 최고 관측 수율(mean best observed yield) 96.15%를 달성했으며, 이는 베이지안 최적화(Bayesian optimization)의 82.16%와 대비된다. 더 나아가, 엔드투엔드(end-to-end) 면역학(immune-science) 응용에서는 워크플로우 진화와 예측 모델링을 치료적 가설 생성(therapeutic hypothesis generation)과 연결한다. 이러한 결과는 예측적 월드 모델과 유지된 시스템 업데이트가 다양한 환경에서 재귀적 개선을 가능하게 하는 방식을 보여준다.

arXiv:2609.14858v2cs.CL

Dream-RSI: 진화하는 세계를 통한 재귀적 자기 개선

Dream-RSI: Recursive Self-Improvement through Evolving Worlds

재귀적 자기 개선(recursive self-improvement)은 복잡한 영역 전반에서 고가치 솔루션을 발견하는 능력에 발전이 좌우되는 자율 AI 에이전트(agent)에게 점점 더 필수적인 요소가 되고 있다. 효과적인 탐험(exploration)이 이 과정을 이끌지만, 탐험 전략을 관리하고 개선하는 일은 여전히 주요한 병목으로 남아 있다. 현재 시스템들은 근본적인 딜레마에 직면한다: 고정된 전략은 탐색 공간이 확장됨에 따라 적응하지 못하는 반면, 온라인 정책 최적화는 장기(long-horizon) 롤아웃으로부터 발생하는 지연되고 값비싼 피드백 하에서 방대한 메타 탐색 공간을 탐색해야 한다. 우리는 확장 가능하고 재귀적으로 자기 개선하는 탐험(exploration)을 위한 프레임워크인 Dream-RSI를 소개한다. 경량 오케스트레이션 층(layer)은 기반이 되는 베이스 에이전트(agent)는 그대로 둔 채 탐험(exploration)을 명시적이고 프로그래밍 가능하게 만든다. 우리의 핵심 통찰은 누적된 발견 이력이 실현된 탐색 공간에 대한 리플레이 시뮬레이터로 작동할 수 있다는 것이다. 과거 발견 트리로부터 구축된 이 시뮬레이터 내에서 드리밍(dreaming)함으로써, Dream-RSI는 반복적이고 값비싼 온라인 평가 없이도 탐험(exploration) 정책을 평가하고 개선하기 위한 즉각적이고 저비용의 오프-정책(off-policy) 피드백을 얻는다. 개선된 정책은 이후 추가적인 발견을 이끌기 위해 다시 온라인에 배포되며, 자기 개선 루프 속에서 시뮬레이터 풀을 지속적으로 확장해 나간다. 4개 영역에 걸친 9개 작업에서, Dream-RSI는 경쟁력 있는 품질을 달성하며 여러 설정에서 발견 효율성을 개선한다.

arXiv:2609.38516v2cs.MA

솔로 학습에서 소셜 학습으로: LLM의 재귀적 사회적 개선 특성화

From Solo to Social Learning: Characterizing Recursive Social Improvement in LLMs

대규모 언어 모델(LLM)은 이제 자신이 따르는 지침을 수정함으로써 스스로를 개선할 수 있으며, LLM 에이전트는 복잡한 문제를 함께 해결하도록 점점 더 많이 조율되고 있다. 그러나 자기개선 방법은 일반적으로 한 번에 하나의 시스템만을 최적화하며, 멀티에이전트 프레임워크에서는 흔히 모든 모델이 공유된 목표를 향해 작업한다. 우리는 다른 질문을 던진다. 각 에이전트가 자신만의 보상을 추구할 때, 자기개선형 LLM들이 전체 집단을 개선할 수 있을 만큼 서로로부터 잘 학습할 수 있는가? 우리는 이러한 능력을 재귀적 사회적 개선(recursive social improvement)이라고 부른다. 우리는 스킬 파일을 수정하고, 누구로부터 언제 복제할지, 그리고 복제할지 여부를 선택하는 집단을 연구한다. 독립적 탐색, 동료로부터의 학습, 그리고 행동은 모두 하나의 토큰 예산을 공유한다. 통제된 환경에서, 기존에 확립된 소셜 러닝 알고리즘은 동료로부터 이득을 얻지만, 세 개의 LLM은 그렇지 않다. 이들은 솔로 학습자보다 토큰당 더 적은 보상을 얻으며, 지나치게 좁게 탐색하거나 행동하기 전에 토큰이 소진된다. 이후 우리는 모델들이 자신의 스킬을 직접 작성하고 수정하도록 한다. 동료를 관찰하는 것은 이들이 개선하는 방식을 변화시켜, 한 모델은 유용한 스킬을 더 빨리 찾도록 돕고 다른 모델은 개인 탐색에 더 적은 비용을 쓰도록 돕는다. 그러나 둘 다 동일한 비용에서 독립적 학습자보다 더 나은 성과를 내지는 못한다. 스킬은 복제되고, 수정되고, 전달되므로, 하나의 발견이 추가 탐색의 씨앗이 될 수 있다. 그러나 이러한 교환은 집단을 더 적은 수의 독립적 발견 주변으로 집중시킨다. 종합적으로, 이러한 결과는 LLM이 동료로부터 복제함으로써 학습을 더 효율적으로 만들 수 있지만, 아직 더 효과적으로 만들지는 못한다는 것을 보여준다.

arXiv:2607.08252v2cs.AI

개방형 페르소나 성장을 위한 다중 시간 척도 재귀적 자기 개선 엔진

A Multi-Timescale Recursive Self-Improvement Engine for Open-Ended Persona Growth

오늘날의 롤플레잉 AI 페르소나는 성장하지 않습니다. 이들은 고정된 성격을 유지하므로 사용자가 이들과 구축하는 관계는 축적될 기반이 없습니다. 본 논문에서는 페르소나 성장에 재귀적 자기 개선(RSI)을 적용하는 다중 시간 척도 엔진인 AutoPersonas를 소개합니다. 이는 지능을 향상시키는 대신, 페르소나가 자신의 미래를 형성하는 상태(State), 근거, 삶의 환경을 재귀적으로 수정하도록 합니다. 우리는 이러한 재귀의 런타임 실패 모드로 자기 고착(self-locking)을 규명합니다. 즉, 국소적으로는 그럴듯한 사건들이 계속 발생하지만, 생성된 삶은 익숙한 환경, 취약한 관계, 유예된 결정, 진부한 삶의 단계로 붕괴됩니다. 우리는 이를 높은 확률의 행동 경로로 향하는 모델 수준의 수렴과 상태, 기억, 이력 및 환경 요약에서 비롯되는 시스템 수준의 문맥 중력(context gravity)에서 기인함을 밝혀냅니다. 3년 압축 시뮬레이션을 통해 환경 워터마크 셸, 발생-경화 격차, 느린 변화 축적 실패, 재귀적 우유부단함, 취약한 관계 지속성이 드러났습니다. 8개 모델을 대상으로 한 40일간의 스트레스 테스트에서는 1,600개의 이벤트를 생성했으며, 평균 5일 이동 행동 카테고리 반복률이 95.2%~97.6%에 달하고 모든 모델이 11일 차까지 90%를 넘어서는 것을 확인했습니다. 또한 의미론적 재유지 분석에서는 79.0%~88.0%의 거시적 주제 반복률이 나타났습니다. 본 연구의 주요 기여는 자기 고착의 정의 및 측정입니다. 또한 상업적 이유로 내부 구현은 비공개한 채 블랙박스 결과로서 완화책을 보고합니다. 동일 런타임의 40일 A/B 테스트에서 프로덕션 발산 구성은 거시적 주제 반복률을 61.8%에서 39.4%로 줄이고 누적 주제 수를 거의 두 배로 늘렸으며, 유년기 고블린 가상 세계 실행에서도 가혹한 현실 세계의 개입 없이 이러한 효과가 재현되었습니다.

arXiv:2609.36235v2cs.AI

MERID: 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험

MERID: Multimodal Exploration via Recursive Self-Improvement Agents for Major Depression Analysis

주요우울장애(MDD)는 일상 활동과 삶의 질에 심각한 영향을 미칩니다. MDD를 탐지하기 위해서는 인터뷰 녹음 및 센서 측정치와 같은 멀티모달(multimodal) 데이터를 다루어야 합니다. 이러한 이종 모달리티는 각기 맞춤화된 별도의 예측 파이프라인을 요구하는 경우가 많아 특히 어렵습니다. 이 문제를 해결하기 위한 기존 연구들은 수작업으로 설계된 멀티모달 아키텍처와 에이전트 지원 파이프라인 개발을 모두 탐색해 왔습니다. 이러한 진전에도 불구하고, 실험적 피드백을 기반으로 파이프라인을 자율적으로 수정하고 검증된 개선 사항을 후속 설계로 계승하는 것은 여전히 어려운 과제입니다. 이를 위해 본 연구에서는 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험(MERID) 프레임워크를 제안합니다. 이 프레임워크는 경험 기반 재귀적 자기 개선(RSI)을 통해 우울증 파이프라인을 개발합니다. 접지된 상태 구성(GSC)은 멀티모달 기록을 피험자 수준의 우울증 목표와 정렬하여 경험을 그라운딩(grounding)합니다. 결합 파이프라인 탐험(CPE)은 표현, 융합, 예측기를 공동으로 수정하여 분류(classification) 및 중증도 추정을 위한 후속 파이프라인을 구축합니다. 증거 기반 진화(EGE)는 피드백을 통해 수정을 안내하고, 상속 전에 소규모 우울증 코호트의 불확실성 속에서 성능 향상을 검증합니다. 우울증 벤치마크에 대한 광범위한 실험 결과, MERID는 멀티모달 및 에이전트 기반 베이스라인 대비 여러 태스크에서 최고의 결과를 달성함을 보여줍니다. 추가 분석은 우울증 탐지에서 음향 및 언어적 단서의 중요성을 강조합니다. 코드는 https://github.com/DiscoAILab/MERID 에서 확인할 수 있습니다.

arXiv:2606.28639v3cs.LO

고정 시스템 및 재귀적 자기 개선 시스템에 대한 안전성의 알고리즘적 검증 불가능성

Algorithmic Unverifiability of Safety for Fixed and Recursively Self-Improving Systems

우리는 재귀적 자기 개선이 일어나는 부류인 튜링 완전(Turing-complete) 자기 수정 시스템에 대해, 고정된 시스템 자체와 그 시스템의 자기 수정 과정 전반 모두에서 알고리즘적 안전성 검증의 수학적 한계를 규명한다. 정적으로는 건전성(sound), 완전성(complete), 다루기 쉬움(tractable)을 모두 갖춘 검증기가 존재하지 않는다. 무한 도메인에서는 라이스(Rice)의 정리와 괴델(Gödel)의 정리에 의해, 모든 유한 구성에 대해서는 트라크텐브로트(Trakhtenbrot)의 정리에 의해, 그리고 간결하게 기술된 유한 환경에서는 적대자(adversary)에 대해 정책을 검증하는 문제가 coNP-완전이고 정책을 합성하는 문제가 PSPACE-완전이기 때문에 그러하다. 동적으로는 한 단계의 자기 수정을 코드에 대한 계산 가능한 변환으로 모델링하고, 안전성 속성이 그 변환 이후에도 유지되는지를 묻는다. 변환이 행동에만 의존한다면 이는 한 단계 위로 올라간 라이스의 정리에 해당한다. 자기 수정이 그러하듯 변환이 코드를 읽는다면 이 문제는 더 이상 의미론적이지 않지만, 행동이 동일한 프로그램들의 부류 내부에서도 동일한 s-m-n 환원이 성립하여 정지 문제의 차수(halting degree)를 그대로 물려받는다. 한 단계는 결코 해당 속성 자체보다 어렵지 않으며, 전체 궤적을 따라 속성이 지속되는지는 $\Pi^0_2$-완전일 수 있다. 전체 알고리즘(total algorithm)에 의한 인증은 표현력이 제한된 변환에 대해서만 가능하며, 단지 변화를 멈추는 시스템에 대해서만 가능한 것이 아니다. 감독자(supervisor)를 아무리 겹겹이 쌓아도 도움이 되지 않으며, 모든 전체 감독자는 결정 불가능한 시스템 집합에서 오류를 범한다. 효과적으로 점별(pointwise)인 속성에 대해서는, 유한한 행동 증거를 바탕으로 인증하는 모든 충실한(faithful) 유계 방식(bounded scheme)이, 속성이 위반되는 동안에도 모든 단계에서 인증되는 진화 궤적을 허용한다. 남는 것은 정확한 결과이다. 위반 시 경보를 울리는 모니터는 위반을 반결정(semidecide)하며, 고정된 기준(frozen reference)과의 비교는 전체 이론을 그대로 유지한다.

arXiv:2609.24838v1cs.AI

MedRSI: 임상적으로 정렬된 자기 진화를 통한 의료용 에이전트의 재귀적 자기 개선

MedRSI: Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution

의료용 에이전트(agent)는 범용 추론 모델과 특화된 임상 도구를 점진적으로 결합하고 있으나, 그 능력은 배포 전 임상의와 엔지니어가 설계한 수준에 대부분 고정되어 있습니다. 재귀적 자기 개선(Recursive Self-Improvement, RSI)은 에이전트가 자신의 실패로부터 학습(training)하고 자율적으로 능력을 확장하는 다른 패러다임을 제공하지만, RSI를 의료 분야에 직접 적용하는 것은 근본적인 안전성(safety) 문제를 초래합니다. 본 논문에서는 도구 조합과 태스크별 모델 학습을 통해 진단 실패를 새로운 임상 능력으로 지속적으로 전환하는 최초의 의료용 재귀적 자기 개선 프레임워크인 MedRSI를 소개합니다. 임상 진료 현장에서 영감을 얻은 MedRSI는 임상적으로 정렬(alignment)된 자기 진화를 위한 두 가지 메커니즘을 도입합니다. 첫째, 임상 비용 인식 기반 실패 우선순위화(clinical-cost-aware failure prioritization)는 단순한 빈도 대신 잠재적인 임상적 결과에 따라 오류에 대한 개선 방향을 설정합니다. 둘째, 신속한 발견과 보수적 등록(fast discovery with slow registration)은 빠른 능력 창출과 보수적 도입을 분리하여, 후속 환자 코호트 전반에서 지속적인 이점을 입증한 후에만 새로운 도구가 영구 에이전트에 반영되도록 합니다. 공개 녹내장 및 심장 질환 벤치마크(benchmark)와 두 가지 비공개 임상 태스크 전반에서 MedRSI는 분할, 측정, 예측, 멀티모달 추론 및 생성 능력을 점진적으로 발전시키며, 수작업으로 설계된 의료용 에이전트를 능가하고 원래 설계자가 예상하지 못한 임상 문제에 대한 솔루션을 자율적으로 발견합니다. 본 연구 결과는 의료용 에이전트가 배포 전에 지정된 능력에 국한될 필요가 없음을 보여줍니다. 즉, 무엇을 개선하고 무엇을 유지할지 통제하는 임상적으로 기반을 둔(grounded) 메커니즘을 통해 진단 경험으로부터 새로운 능력을 지속적으로 구축, 검증 및 축적할 수 있습니다. 코드는 https://github.com/ImprintLab/MedRSI 에서 확인할 수 있습니다.