자율 연구에서 실험 라운드 사이의 결정: 전체 연구 이력을 읽는 대규모 언어 모델 제어기
The Between-Round Decision in Autonomous Research: An LLM Controller That Reads the Whole Trajectory
한국어 초록
아이디어를 실행하면 유망해 보이는 정도가 달라지는 경우가 많으므로, 자율 연구에서 다음 단계는 실험 결과에 근거해야 한다. 실험 라운드가 끝날 때마다 시스템은 지금까지 가장 좋은 해법을 개선할지, 새로운 방향을 시작할지, 어떤 해법을 출발점으로 삼을지, 어떤 목표를 세울지 결정해야 한다. 이를 라운드 간 결정이라 부른다. 기존 시스템은 규칙, 점수, 탐색 트리, 일정 같은 장치로 이 결정을 관리한다. 대규모 언어 모델(LLM)이 결정하는 경우에도 모델이 어떤 정보를 읽어야 하는지는 정해지지 않았다. LLM이 별도의 탐색 구조 없이 누적 근거를 보고 결정할 수 있는지, 근거를 얼마나 읽어야 하는지 조사한다. LLM 기반 제어기 BRED(Between-Round Evidence-based Decision)는 지금까지 검증한 최선의 해법인 챔피언과 과거 라운드 기록을 유지하며 라운드마다 한 번 결정한다. 널리 쓰이는 연구 에이전트 벤치마크 과제 세 개에서 BRED는 과제 기준선 대비 ETTh1의 평균 절대 오차(MAE)를 4.80% 낮춰 0.4172로 만들었다. SST-2와 CIFAR-100의 정확도는 각각 3.44%포인트와 3.43%포인트 높아져 95.07%와 84.63%를 기록했다. 세 결과 모두 기존 발표 결과를 앞섰다. 제어기가 누적 근거를 읽지 않으면 같은 반복 구조에서도 개선 폭이 작다. 이력이 없을 때 ETTh1의 MAE는 0.4299, CIFAR-100 정확도는 83.71%였다. 전체 제어기는 MAE가 2.95% 낮고 정확도가 0.92%포인트 높았다. 데이터 누출을 막은 절차에서 음성 기반 우울증 탐지라는 새 과제를 시험한 결과, 해법 선택에 쓰지 않은 시드에서 매크로 F1 0.6164를 기록했다. 자체 기준선보다 5.5점, 발표된 최고 성능 시스템보다 4.0점 높았다. 코드는 https://github.com/learninginvision/BRED 에 공개되어 있다.
원문 초록
Executing an idea often changes how promising it looks, so the next step in autonomous research should rest on results, not on proposals. After each round of experiments, the system must decide whether to refine the best solution or start a new direction, which solution to build from, and what goal to set. We call this the between-round decision. Existing systems wrap it in machinery such as rules, scores, search trees, and schedules; where an LLM makes it, what the LLM needs to read is left open. We ask whether an LLM can make this decision from accumulated evidence, without a search structure around it, and how much of that evidence it needs to read. We present BRED (Between-Round Evidence-based Decision), an LLM-based controller that maintains the best verified solution so far (the Champion) and a log of past rounds, and makes one decision per round. On three widely used research-agent benchmark tasks, BRED improves on the task baselines by 4.80% in MAE on ETTh1 (to 0.4172) and by 3.44 and 3.43 points of accuracy on SST-2 (to 95.07%) and CIFAR-100 (to 84.63%), ahead of the published results. When the controller does not read the accumulated evidence, the same loop gains less: with no history it reaches 0.4299 on ETTh1 and 83.71% on CIFAR-100, whereas the full controller's MAE is 2.95% lower and its accuracy 0.92 points higher. On a new task, speech-based depression detection under a leakage-free protocol, it reaches a macro-F1 of 0.6164 on seeds held out from selection, 5.5 points above its baseline and 4.0 above the strongest published system. Code is available at https://github.com/learninginvision/BRED.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22661v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.