한국어 초록
AI는 미래 AI 시스템을 만드는 R&D 과정에서 점점 더 많이 사용되고 있다. 우리는 이러한 피드백이 자기 증폭이 되는 조건을 연구한다. 우리 모델은 AI 역량 성장 속도가 기준선 연구 생산성, 재귀적 피드백, 연구 진전의 증가하는 난이도에 어떻게 의존하는지 설명한다. 우리는 개발 사이클에 걸쳐 개선이 증폭되는지 감쇠되는지를 결정하는 재귀적 재생산 수 $\mathcal{R}_{\mathrm{AI}}$를 도출한다. 이 양은 피드백의 강도와 추가 진전이 더 어려워지는 속도를 비교한다. $\mathcal{R}_{\mathrm{AI}}>1$일 때, 개선의 효과는 개발 사이클에 걸쳐 복리로 누적되어 시스템을 자기 증폭 체제에 놓는다. $\mathcal{R}_{\mathrm{AI}}<1$일 때, 그 효과는 사이클에 걸쳐 약해진다. 전이는 AI R&D 피드백 루프의 구조에 달려 있으며, 특정 모델 역량 수준에서 반드시 일어날 필요는 없다. 따라서 시스템은 가속이 눈에 보이기 전에 자기 증폭 체제에 진입할 수 있으며, 빠른 진전은 자기 증폭 없이도 일어날 수 있다. 더 높은 기준선 연구 생산성은 시스템이 자기 증폭적인지 여부를 바꾸지 않고도 진전을 가속할 수 있지만, 개발 사이클의 지속 시간이 증폭에 대한 한계 시간 척도가 된다. 연구 난이도의 증가는 자기 증폭 기간을 종료시킬 수 있다. 모델을 여러 연구 주체로 확장하면, 조직 간 공유되는 개선이 어떤 개별 주체도 그렇지 않을 때조차 전체 연구 생태계를 자기 증폭적으로 만들 수 있음을 보여 준다. 이 프레임워크는 재귀적 증폭과 다른 원인에 의해 이끌리는 빠른 진전을 구별하는 데 도움이 될 수 있는 AI R&D 시스템의 측정 가능한 성질을 밝히며, 여기에는 재귀적 피드백의 강도, 개선이 후속 시스템으로 얼마나 효과적으로 전파되는지, 사이클 지속 시간, 추가 진전의 증가하는 난이도가 포함된다.
원문 초록
AI is increasingly used in the R\&D process that produces future AI systems. We study the conditions under which this feedback becomes self-amplifying. Our model describes how the rate of AI capability growth depends on baseline research productivity, recursive feedback, and the increasing difficulty of research progress. We derive a recursive reproduction number, $\mathcal{R}_{\mathrm{AI}}$, that determines whether improvements are amplified or damped across development cycles. This quantity compares the strength of feedback with the rate at which further progress becomes more difficult. When $\mathcal{R}_{\mathrm{AI}}>1$, the effects of improvements compound across development cycles, placing the system in a self-amplifying regime. When $\mathcal{R}_{\mathrm{AI}}<1$, their effects weaken across cycles. The transition depends on the structure of the AI R\&D feedback loop and need not occur at any particular level of model capability. A system can therefore enter a self-amplifying regime before acceleration becomes visible, while rapid progress can also occur without self-amplification. Higher baseline research productivity can accelerate progress without changing whether the system is self-amplifying, but the duration of the development cycle becomes a limiting timescale for amplification. Increasing research difficulty can end a period of self-amplification. Extending the model to multiple research actors shows that improvements shared across organizations can make the overall research ecosystem self-amplifying even when no individual actor is. The framework identifies measurable properties of AI R\&D systems that can help distinguish recursive amplification from rapid progress driven by other sources, including the strength of recursive feedback, how effectively improvements propagate into successor systems, cycle duration, and the increasing difficulty of further progress.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00137v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.