동결된 언어 모델 기반의 코딩 에이전트(agent)는 모델(model) 가중치를 업데이트하지 않고도 자신이 의존하는 외부 컨텍스트를 개선함으로써 성능을 향상할 수 있습니다. 본 연구에서는 프로그램 엔티티의 동작을 기술하고 에이전트가 올바른 코드를 생성하도록 안내하는 자연어 코드 문서인 동작 명세(behavioral specification)를 통한 재귀적 자기 개선을 탐구합니다. 우리는 에이전트가 현재 명세로부터 코드를 생성하고, 실행 검증된 테스트로 이를 평가(evaluation)하며, 관찰된 실패를 바탕으로 명세를 개선하는 자기 개선 루프를 정식화합니다. 이렇게 개선된 명세는 이후의 코드 생성을 유도하여 에이전트의 코드베이스 이해도를 점진적으로 향상시킵니다. 그러나 프로그램 엔티티들은 상호 의존적이기 때문에 재귀적 개선은 까다롭습니다. 한 엔티티의 명세를 개선하는 과정에서 다른 엔티티의 정확도가 의도치 않게 저하될 수 있으며, 우리는 이를 출력 결합(output coupling) 현상이라고 부릅니다. 이는 국소적인 개선이 다른 곳에서 회귀를 유발하여 일관된 발전을 저해하는 두더지 잡기 효과를 야기합니다. 우리는 세 가지 메커니즘을 통해 이 문제를 해결하는 다중 프론티어 트리 탐색 프레임워크인 SpecForge를 소개합니다: (i) 파레토(Pareto) 기반 상태 선택은 상호보완적인 명세 상태를 보존하고 조기 확정을 방지하며, (ii) 의존성 제약 엔티티 선택은 피호출자 우선 정제를 우선시하고, (iii) 오류 다양화 확장은 서로 다른 테스트 실패 부분집합을 활용해 다양한 개선 방안을 탐색합니다. DevEval+에서 SpecForge는 5개 백본 모델에 걸쳐 최고 성능을 달성했으며, 여기에는 Claude-4.5-Sonnet을 통한 94.9% 해결률과 가장 강력한 기준선(baseline) 대비 평균 5.7%포인트 향상이 포함됩니다. 또한 개선된 명세는 에이전트가 루프 외부의 작업을 수행하는 능력도 향상시킵니다. 즉, 교차 언어 번역 및 새로운 기능(feature) 구현으로 전이되어 벤치마크(benchmark)에서 제공된 요구사항 문서를 능가하는 성능을 보였습니다.
본 논문에서는 트리 탐색, 강화학습(RL), 대규모 언어 모델(LLM)의 추론 능력을 빠르게 벤치마킹할 수 있도록 설계된 GPU 가속 퍼즐 게임 엔진이자 기술 언어인 PuzzleJAX를 소개합니다. 고정된 게임 세트의 하드코딩된 구현만을 제공하는 기존 GPU 가속 학습 환경과 달리, PuzzleJAX는 도메인 특화 언어(DSL)로 표현 가능한 모든 게임의 동적 컴파일을 지원합니다. 이 DSL은 퍼즐 게임을 설계하는 데 널리 쓰이고 접근성이 뛰어난 온라인 게임 엔진인 PuzzleScript를 따릅니다. 본 논문에서는 2013년 출시 이후 전문 디자이너와 일반 제작자가 PuzzleScript로 설계한 수천 개의 게임 중 수백 개를 PuzzleJAX에서 검증함으로써, 광범위하고 표현력이 뛰어나며 인간에게 유의미한 작업 공간에 대한 PuzzleJAX의 커버리지를 입증합니다. 이러한 게임들에 대한 탐색, 학습 및 언어 모델의 성능을 분석함으로써, PuzzleJAX가 이해하기 단순하고 직관적이면서도 제어, 계획, 고차원적 통찰의 조합을 요구하여 숙달하기에는 매우 까다로운 작업들을 자연스럽게 표현할 수 있음을 보여줍니다.
인공지능(AI) 모델을 자동으로 구축하는 자율 에이전트(agent)는 과학 및 공학 전반에서 AI에 대한 접근성을 넓힐 수 있습니다. 이러한 계열의 대표적인 에이전트들은 모델 구축을 코드 탐색 문제로 정의하고 이를 트리 탐색으로 해결합니다. 이 방식에서 각 노드(node)는 후보 프로그램이며 부모로부터 자식 프로그램을 생성하면서 트리가 확장되고, 이제 이러한 에이전트들은 현실적인 벤치마크(benchmark)에서 숙련된 AI 엔지니어의 능력에 근접하고 있습니다. 그러나 이러한 에이전트들은 아직 완전히 해결되지 않은 세 가지 효율성 측면의 약점을 지니고 있습니다. 첫째, 현실적인 예산 내에서는 적은 수의 후보만 실행할 수 있으므로, 몬테카를로 방식의 트리 탐색과 같이 실행된 보상으로 노드의 순위를 매기는 탐색 규칙은 소수의 노이즈가 있는 점수에 의존하게 되어 탐색할 다음 노드를 덜 효과적으로 선택하게 됩니다. 둘째, 학습(training) 작업을 스케줄링하는 데 자원 인식(resource-aware) 전략이 사용되지 않아 하드웨어 활용도와 학습 효율성이 떨어질 수 있습니다. 셋째, 모든 에이전트 호출이 단일 고성능 모델에 의해 처리되어 추론(inference) 비용이 증가합니다. 본 연구에서는 대규모 언어 모델(LLM) 에이전트로 트리 탐색을 수행하고 앞서 언급한 세 가지 문제를 각각 해결하는 에이전틱 시스템인 AIBuildAI-2.5를 소개합니다. AIBuildAI-2.5는 새로운 LLM 유도 트리 탐색을 제안하며, 여기서 평가자(judge)는 예상 개선도, 그라운딩(grounding), 실현 가능성을 기준으로 각 후보를 평가하고, 선택기(selector)는 이러한 점수와 탐색 상태를 바탕으로 후보 풀의 순위를 결정합니다. 또한 AIBuildAI-2.5는 현재 하드웨어 자원 상태를 고려하여 학습 작업을 실행하는 스케줄러와, 덜 까다로운 작업에는 더 저렴한 LLM을 할당하면서 가장 까다로운 하위 작업에는 가장 유능한 LLM을 배치하는 라우터로 구성되어 있습니다. AIBuildAI-2.5는 MLE-Bench에서 73.3%의 메달 획득률로 1위를 기록했으며, AIRS-Bench의 6개 자율 AI 연구 과제에서 강력한 기준선(baseline)을 능가했습니다.
검색-증강 생성(RAG) 파이프라인과 같은 에이전트 워크플로의 최적화는 엄격한 평가 예산 하에서 이산적 구성 요소 선택의 조합 공간을 탐색해야 한다. 기존 접근법—휴리스틱 탐색, 블랙박스 최적화, 표준 트리 탐색 방법—은 이러한 워크플로의 구성적 구조를 명시적으로 활용하지 않아 중복 계산과 비효율적인 예산 배분을 초래한다. 우리는 Agent-UCT(Agent-based Cost-Aware Upper Confidence Bounds Applied to Trees)를 제안한다. 이는 이분 접두 문맥 재사용 그래프에서 유도된 재사용 인식 정규화 항으로 UCT를 확장한 트리 탐색 알고리즘이다. Agent-UCT는 이전에 구체화된 구성 접두 문맥을 활용하는 분기를 선호하도록 선택을 편향시켜, 효과적인 탐험을 유지하면서 중복 실행을 줄인다. 우리의 프레임워크 RAGSpace는 LongRAG, LightRAG, Self-RAG의 이질적 RAG 구성 요소를 5차원 구성 공간으로 통합하여 체계적인 프레임워크 간 재조합을 가능하게 한다. WTB(Workflow Test Bench)는 결정적 재생, 콘텐츠 주소 지정 캐싱, 트랜잭션 일관성을 제공하여 중간 상태가 한 번 구체화되어 탐색 전반에 재사용되도록 보장한다. HotpotQA와 UltraDomain에서의 실험은 Agent-UCT가 평가된 고정 프레임워크 프리셋 중에서 가장 높은 표본 외 성능을 갖는 구성을 식별함을 보여준다. 전체 풀 평가에서 이분 접두 문맥 재사용은 접두 공유 없음 비용 상한 대비 논리적 탐색 비용을 73.6% 줄인다. 전체 풀 평가와 비교하여, 샘플링 기반 평가는 추가로 wall-clock 기준 4.2배 속도 향상을 달성한다. Agent-UCT, RAGSpace, WTB는 함께 비용 인식적이고 재현 가능하며 구성적으로 효율적인 에이전트 워크플로 최적화를 위한 통합 프레임워크를 제공한다.
따로 코드나 파일 작업은 필요 없고, 번역 규칙과 glossary에 맞춰 JSON만 반환하면 됩니다.
{"title_ko": "PhotoAgent: 대규모 비전 모델을 활용한 탐색적 시각 미학 계획", "abstract_ko": "최근 생성 모델의 빠른 발전에 따라, 인스트럭션 기반 이미지 편집(instruction-based image editing)은 고품질 이미지 생성에서 큰 잠재력을 보여주었다. 그러나 편집 품질은 정교하게 설계된 지시에 크게 의존하므로, 작업 분해와 순서 결정의 부담이 전적으로 사용자에게 떠넘겨진다. 자율적 이미지 편집을 달성하기 위해, 우리는 명시적 미학 계획을 통해 이미지 편집을 발전시키는 시스템 PhotoAgent를 제안한다. 구체적으로 PhotoAgent는 자율적 이미지 편집을 장기 지평 의사결정(long-horizon decision-making) 문제로 공식화한다. PhotoAgent는 사용자의 미학적 의도를 추론하고, 트리 탐색(tree search)을 통해 다단계 편집 행동을 계획하며, 메모리와 시각적 피드백을 활용한 폐루프(closed-loop) 실행으로 단계별 사용자 프롬프트 없이 결과를 반복적으로 정제한다. 실제 시나리오에서 신뢰할 수 있는 평가를 지원하기 위해, 7,000장의 사진과 학습된 미학 보상 모델로 구성된 미학 평가 벤치마크 UGC-Edit을 도입한다. 또한 자율적 사진 편집 성능을 체계적으로 평가하기 위해 1,017장의 사진을 포함한 테스트 세트를 구성한다. 광범위한 실험 결과, PhotoAgent는 기준선 방법들과 비교하여 지시 준수도와 시각적 품질 모두에서 일관되게 개선됨을 보여준다. 프로젝트 페이지는 https://mdyao.github.io/PhotoAgent/이다."}
대규모 언어 모델(LLM) 에이전트는 다단계 플래닝 작업에서 가능성을 보여주었으나, LATS(Language Agent Tree Search)와 ReAct 같은 기존 접근 방식은 플래닝 과정에서 LLM 추론에 크게 의존하여 높은 계산 비용과 확률적 동작을 초래한다. 본 논문에서는 **GATS**(Graph-Augmented Tree Search)를 제안한다. GATS는 UCB1 기반의 체계적인 트리 탐색과 계층적 월드 모델을 결합하여 추론 중 LLM 호출을 제거하면서도 우수한 플래닝 성능을 달성하는 플래닝 프레임워크이다. 세 층으로 구성된 월드 모델은 다음을 통합한다: (L1) 정확한 심볼릭 액션 매칭, (L2) 실행 로그에서 학습된 통계, (L3) 미지의 액션에 대한 LLM 기반 예측. 분기 경로와 막힌 길이 포함된 합성 플래닝 작업에서 GATS는 **100% 성공률**을 달성한 반면, LATS는 92%, ReAct는 64%에 그쳤다. 코딩 워크플로우, 웹 탐색, 장기 과제를 포함한 12가지 도전적 시나리오에 걸친 포괄적인 스트레스 테스트에서 GATS는 **100% 성공**을 유지한 반면, LATS는 88.9%, ReAct는 23.9%로 하락했다. GATS는 플래닝 중 **과제당 LLM 호출이 0번**(LATS의 경우 과제당 37번 대비)으로, 실행 전반에 걸쳐 분산이 없는 결정론적 계획을 생성한다. 본 결과는 학습된 월드 모델을 활용한 체계적인 탐색이 에이전트 플래닝에서 LLM 유도 탐험을 크게 능가할 수 있음을 보여준다.
많은 과학 및 공학 분야에서 제한된 샘플링 예산 내에서 발견을 극대화하려면 관찰에 기반한 전략적 탐험이 필요하다. 생성 모델이 학습 없는 보상 정렬을 가능하게 했지만, 현재 방법들은 주로 기반 분포의 좁은 영역 내에서의 지역 탐색에 특화되어 있다. 이러한 접근 방식은 선호도가 사전에 알려지지 않고 순차적 피드백을 통해서만 드러나는 경우—즉, 고유용 영역을 발굴하기 위해 광범위한 탐험이 요구되는 시나리오—에서는 어려움을 겪는다. 이를 해결하기 위해 우리는 샘플링 예산 제약 하에서 이력 인식 전역 탐색과 정렬을 위해 설계된 새로운 계산 효율적 샘플링 프레임워크인 Bootstrap Flow-Map-Tree(이하 BFMT)를 제안한다. BFMT는 단일 함수 평가만으로 임의의 트리 깊이에서 전체 트리 경로를 구성할 수 있어 계산 오버헤드를 대폭 줄이면서 순차적 샘플링에 필요한 핵심 예측 능력을 제공한다. 동적 전이 시간 단계 스케줄링을 통해 BFMT는 샘플링 예산을 효율적으로 배분하며, 광범위한 전역 탐험에서 탐험을 통해 발견된 고유용 모드의 세밀한 지역적 정제로 원활하게 전환한다. 다양한 탐색 및 정렬 태스크에 걸친 광범위한 실험과 어블레이션을 통해 BFMT가 기준선 방법들을 크게 능가함을 입증한다.
과학적 발견은 가설과 실험의 공간에서 이루어지는 반복적 탐색 과정으로 형식화할 수 있다. 현대의 방법들은 MCTS와 같은 휴리스틱을 사용하여 이 공간을 탐색한다. 이러한 알고리즘은 가설의 가치와 해당 실험 실행의 품질을 혼동한다. 따라서 예비적 실행을 가진 유망한 가설은 실행이 정교화된 평범한 가설보다 낮은 순위를 받는다. 게다가, 기존 방법들은 누적된 이력이 컨텍스트 윈도우를 초과하기 때문에 탐색이 진행됨에 따라 탐색 로그를 가지치기한다. 우리는 추론 언어 모델(reasoning language model)을 배치하여 이 공간을 탐색하는 Agentic Reasoning for Tree Search(ARTS)를 제안한다. 모델은 이전 실행 로그를 검토하고, 앞선 실패가 결함 있는 구현에서 비롯되었는지 나쁜 가설에서 비롯되었는지 진단하며, 다음에 이어갈 가설을 선택한다. 컨텍스트 길이 문제를 완화하기 위해 ARTS는 테스트 시점 학습(test-time training)을 사용하여 탐색 트리의 지식을 모델 가중치에 내재화한다. MLGym 및 MLEBench의 22개 태스크에서 ARTS가 선도적인 알고리즘들을 능가하며 정규화 점수에서 15.3% 이상의 상대적 향상을 보임을 보여준다. 테스트 시점 학습을 통해 Qwen3-4B 에이전트가 Gemini-3 Pro 및 GPT o3-reasoning와 같은 폐쇄형 프론티어 모델과 동등한 성능을 최대 5배 낮은 추론 비용으로 달성할 수 있음을 보여준다. 또한 부분 관측 강화학습(RL) 태스크에서, 테스트 시점 학습된 Qwen3-4B scientist가 휴리스틱 방법이 가지치기해 버린 인간 최고 수준의 순환 메모리(recurrent-memory) 해법을 재발견함으로써 o3 scientist를 사용한 ARTS를 능가함을 관찰한다.
대규모 언어 모델(LLM)으로 구동되는 자율 웹 에이전트는 정보 검색, 보고서 생성, 온라인 거래와 같은 목표 지향 작업을 수행할 수 있는 강력한 잠재력을 보여줍니다. 이러한 에이전트는 개방형 웹 환경에서 실용적인 구현된 추론(embodied reasoning)을 향한 중요한 단계를 나타냅니다. 그러나 기존 접근 방식은 여전히 추론 깊이와 효율성 면에서 제한적입니다. 기본 선형 방법은 다단계 추론에서 실패하고 효과적인 백트래킹(backtracking)이 부족한 반면, 다른 검색 전략은 거친 입자도의(coarse-grained) 것이며 계산 비용이 높습니다. 우리는 구조화된 추론-행동, 맥락 메모리, 효율적인 실행을 통합하는 세밀한(fine-grained) 웹 에이전트 프레임워크인 Branch-and-Browse를 소개합니다. 이는 (i) 제어 가능한 다분기 추론을 위해 트리 구조 탐험과 함께 명시적 하위 작업 관리를 사용하고, (ii) 백그라운드 추론을 통한 효율적인 웹 상태 재생을 통해 탐험을 부트스트랩하며, (iii) 세션 내 및 세션 간에 탐험된 액션을 공유하기 위해 페이지 액션 메모리를 활용합니다. WebArena 벤치마크에서 Branch-and-Browse는 35.8%의 작업 성공률을 달성했으며, 최첨단 방법에 비해 실행 시간을 최대 40.4% 단축했습니다. 이러한 결과는 Branch-and-Browse가 LLM 기반 웹 에이전트를 위한 신뢰할 수 있고 효율적인 프레임워크임을 입증합니다.
Arbor는 대규모 상태 기반 행동 공간에서 동작하는 자율 에이전트를 위한 인지 계층으로 구조화된 트리 탐색을 도입한 멀티 에이전트 프레임워크이다. 기존의 자율 최적화 시스템은 상태 비저장(stateless) 평가 방식으로 고립된 목표에 대해 동작한다. 반면 Arbor는 에이전트 간 공유 작업 메모리로 기능하는 점수화된 가설들의 명시적 탐색 트리를 유지하며, 매 측정마다 트리를 갱신하고, 실패를 이후 탐색을 재형성하는 진단 신호로 활용하며, 이전 성공이 병목 분포를 이동시킴에 따라 트리를 확장한다. 우리는 Arbor를 풀스택 대규모 언어 모델(LLM) 추론 최적화 도메인에서 검증하였다. 이 도메인에서 최고 성능을 달성하려면 역사적으로 애플리케이션, 프레임워크, 컴파일러, 커널, 하드웨어 스택 전반에 걸친 엔지니어링 팀의 협력이 필요하였다. Arbor는 추론 스택 전반의 도메인 전문가들에게 작업을 위임하여 최적화를 주도하는 오케스트레이터(Orchestrator) 에이전트와, 근본 원인 분석, 자기 성찰, 측정 검증을 통해 안정성을 보장하는 크리틱(Critic) 에이전트를 결합한다. 이는 어느 에이전트도 단독으로 시스템을 주도할 수 없는 견제와 균형 아키텍처이다. 에이전트 능력은 하드 스킬(도메인 전문성)과 소프트 스킬(기여가 결합되는 방식을 결정하는 조율 프로토콜)로 분해되어 완전 자율적인 다일 캠페인을 가능하게 한다. Arbor는 벤더 최적화 기준선 대비 최대 193%의 추론 처리량-지연시간 파레토 개선을 달성하는 반면, 하네스 없이 단일 에이전트만 사용하면 처리량 개선이 +33%에서 정체되고 수 시간 내에 복구 불가능한 충돌이 발생한다. Arbor는 여러 세대의 하드웨어 플랫폼에 일반화되며, 실행 간 분산이 2 퍼센트포인트 이내로, 이 방법이 하드웨어에 무관하고 재현 가능함을 보여준다.