arXiv:2605.15871v2 cs.AI

에이전틱 신경망 아키텍처 발견: AIRA-Compose 및 AIRA-Design

Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design

Alberto Pepe, Chien-Yu Lin, Despoina Magka, Bilge Acun, Thomas Simon Foster, Yannan Nellie Wu, Anton Protopopov, Carole-Jean Wu, Yoram Bachrach

제출 2026-05-15

저자 비고

arXiv Comments

55 pages, 28 figures, 21 tables

한국어 초록

재귀적 자기 개선을 향해, 우리는 대규모 언어 모델(LLM) 에이전트가 표준 트랜스포머(Transformer)를 넘어 파운데이션 모델을 자율적으로 설계하는 방안을 연구한다. 우리는 고수준 아키텍처 탐색을 위한 AIRA-Compose와 저수준 메커니즘 구현을 위한 AIRA-Design이라는 이중 프레임워크 접근법을 소개한다. AIRA-Compose는 24시간의 예산 하에 11개의 에이전트를 사용하여 기본적인 계산 프리미티브를 탐색한다. 에이전트들은 백만 단위 매개변수 후보들을 평가하고, 상위 설계를 350M, 1B, 3B 규모로 외삽한다. 이를 통해 두 가지 패밀리에 걸친 14개의 아키텍처, 즉 AIRAformer(트랜스포머 기반)와 AIRAhybrid(트랜스포머-Mamba 기반)가 도출된다. 1B 규모에서 사전학습된 이 모델들은 Llama 3.2 및 Composer 기반 기준 모델들을 일관되게 능가한다. 다운스트림 태스크에서 AIRAformer-D와 AIRAhybrid-D는 Llama 3.2 대비 정확도를 각각 2.4% 및 3.8% 향상시킨다. 나아가 AIRA-Compose는 매우 효율적인 스케일링 프론티어를 갖춘 모델들을 발견하는데, AIRAformer-C는 Llama 3.2 및 Composer의 최적 트랜스포머보다 54% 및 71% 더 빠르게 스케일링되며, AIRAhybrid-C는 Nemotron-2보다 23%, Composer의 최적 하이브리드보다 37% 뛰어난 스케일링 속도를 보인다. AIRA-Design은 20개의 에이전트에게 장거리 의존성을 위한 새로운 어텐션(attention) 메커니즘과 고성능 학습(training) 스크립트를 작성하도록 지시한다. Long Range Arena 벤치마크에서 에이전트가 설계한 아키텍처는 문서 매칭 및 텍스트 분류(classification)에서 인간의 최고 성능(SOTA) 대비 2.3% 및 2.6% 이내의 격차를 달성한다. Autoresearch 벤치마크에서는 Greedy Opus 4.5가 고정된 시간 예산 하에서 0.968의 검증(validation) 비트/바이트(bits-per-byte)를 달성하여 기존에 발표된 최솟값을 넘어섰다. 종합하면, 이러한 프레임워크들은 AI 에이전트가 사람이 수작업으로 설계한 기준 모델과 대등하거나 이를 능가하는 아키텍처 및 알고리즘 최적화를 자율적으로 발견할 수 있음을 보여준다. 이는 차세대 파운데이션 모델을 발견하기 위한 강력한 패러다임을 확립하며, 재귀적 자기 개선을 향한 분명한 진전을 나타낸다.

원문 초록

Toward recursive self-improvement, we investigate LLM agents autonomously designing foundation models beyond standard Transformers. We introduce a dual-framework approach: AIRA-Compose for high-level architecture search, and AIRA-Design for low-level mechanistic implementation. AIRA-Compose uses 11 agents to explore fundamental computational primitives under a 24-hour budget. Agents evaluate million-parameter candidates, extrapolating top designs to 350M, 1B, and 3B scales. This yields 14 architectures across two families: AIRAformers (Transformer-based) and AIRAhybrids (Transformer-Mamba). Pre-trained at 1B scale, these consistently outperform Llama 3.2 and Composer-found baselines. On downstream tasks, AIRAformer-D and AIRAhybrid-D improve accuracy by 2.4% and 3.8% over Llama 3.2. Furthermore, AIRA-Compose finds models with highly efficient scaling frontiers: AIRAformer-C scales 54% and 71% faster than Llama 3.2 and Composer's best Transformer, while AIRAhybrid-C outscales Nemotron-2 by 23% and Composer's best hybrid by 37%. AIRA-Design tasks 20 agents with writing novel attention mechanisms for long-range dependencies and high-performing training scripts. On the Long Range Arena benchmark, agent-designed architectures reach within 2.3% and 2.6% of human state-of-the-art on document matching and text classification. On the Autoresearch benchmark, Greedy Opus 4.5 achieves 0.968 validation bits-per-byte under a fixed time budget, surpassing the published minimum. Together, these frameworks show AI agents can autonomously discover architectures and algorithmic optimizations matching or surpassing hand-designed baselines. This establishes a powerful paradigm for discovering next-generation foundation models, marking a clear step toward recursive self-improvement.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.15871v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15709v1cs.LG공통 태그 Language Modelling, State Space Models

저비트 순환 상태 양자화에서 업데이트 보존

Preserving Updates in Low-Bit Recurrent State Quantization

선형 어텐션(Linear attention) 및 순환 모델(recurrent model)은 이전 토큰들을 매 스텝마다 업데이트되는 고정 크기의 상태(state)로 압축합니다. 그러나 대규모 배치 크기에서 이러한 상태를 높은 정밀도로 저장하면 상당한 메모리 및 대역폭 비용이 발생하므로 저비트 상태 양자화(quantization)가 요구됩니다. 가중치나 키-값 캐시(key-value cache)와 달리, 순환 상태는 매 업데이트 후 다시 양자화되므로 양자화 오차가 스텝에 걸쳐 누적됩니다. 본 연구의 분석에 따르면 이러한 오차는 스텝 전반에 걸쳐 높은 일관성(coherence)을 보이므로, 스텝별 오차를 줄이는 것만으로는 충분하지 않습니다. 이러한 일관성은 주로 반올림 과정에서 손실되는 미세한 업데이트로 인해 발생합니다. 본 논문에서는 이러한 업데이트를 보존하기 위해 반올림 전과 반올림 시점 모두에서 개입하는 방안을 제안합니다. 반올림 전 단계에서는 미세한 업데이트를 소형 저계수 버퍼(low-rank buffer)에 누적하고 충분히 커진 요소를 주기적으로 상태에 병합하는 저계수 바이패스(Low-Rank Bypass, LRB)를 제안합니다. 반올림 시점에서는 상태 요소가 업데이트 방향과 반대로 이동할 수도 있으며, 이러한 역전 현상이 특히 유해함을 확인했습니다. 따라서 추가적인 저장 공간 없이 역전된 요소를 업데이트 방향으로 반올림하는 유계 방향성 반올림(Bounded Directional Rounding, BDR)을 제안합니다. BDR은 반올림 오차를 증가시키지만 모델 성능을 향상시키며, 이는 단일 스텝에서의 반올림 오차보다 업데이트 방향이 더 중요함을 시사합니다. Gated DeltaNet, GLA, Mamba2, RetNet 전반에서 본 연구의 학습(training) 불필요 방식은 INT4를 크게 능가하는 동시에, FP32 상태 대비 상태 메모리를 최대 5.3배 절감하고 디코딩 속도를 최대 1.9배 향상합니다.

arXiv:2610.15710v1cs.AI공통 태그 Benchmarking, Large Language Model

제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가

Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate

어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.

arXiv:2610.15715v1cs.AI공통 태그 Language Modelling, Large Language Model

역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기

History Replays Itself: Unleashing Long-Context Capability in Linear Attention

선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.