arXiv:2611.23067v1 cs.AI

가치관은 자기 개선 코딩 에이전트가 무엇을 만드는지 바꾼다

Values Shape What Self-Improving Coding Agents Build

Jason Liang, Dylan Waldner, Risto Miikkulainen

제출 2026-11-18

한국어 초록

자기 개선 에이전트는 보통 산출하는 결과에 맞춰 최적화되며, 결과에 이르는 과정에는 상대적으로 관심을 덜 기울인다. 특히 정답이 정해지지 않은 과제에서는 설계자가 지시를 통해 에이전트의 작업 방식에 영향을 주는 데 한계가 있다. 에이전트의 지속적 지시 파일에 짧은 가치 선언문을 넣으면 성능뿐 아니라 무엇을 만드는지도 달라지는지 조사했다. 슈워츠의 기본적 인간 가치 이론에 나오는 네 가지 상위 가치 유형인 변화에 대한 개방성, 보수주의, 자기 향상, 자기 초월을 평가했다. 다양한 코딩 과제에서 자기 개선을 여러 차례 반복하는 동안 실행별 가치관은 고정했다. 세 가지 결과를 얻었다. (1) 여러 과제에서 가치관은 성능에 영향을 주었다. 개방성 가치는 따로 보관한 데이터에서 성능을 높였고, 반대편의 보수주의 가치는 가치 선언을 받지 않은 에이전트보다 낮은 점수를 냈다. (2) 가치관은 에이전트가 만드는 결과물을 바꿨다. 해법 알고리즘의 크기, 복잡도, 접근 방식이 달라졌다. (3) 가치관을 설계하려면 여전히 사람의 감독이 필요했다. 에이전트가 스스로 가치관을 고치게 하면 가치관 유형에 따른 차이가 줄었다. AI 문헌에서 추출한 가치관은 가치 선언을 하지 않았을 때보다 감지할 만한 성능 향상을 내지 못했다. 적절히 설계한 가치관은 자기 개선 코딩 에이전트가 무엇을 만드는지에 영향을 주며, 일부 과제에서는 성능에도 영향을 줄 수 있다.

원문 초록

Self-improving agents are typically optimized for the results they produce, with less attention to how they produce them. Their instructions give designers limited ways to shape how they work, especially when the task is open-ended. This paper studies whether a short value statement in an agent's persistent instruction file changes not only how well the agent performs but also what it builds. Four higher-order value types in Schwartz's theory of basic human values were evaluated: openness to change, conservation, self-enhancement, and self-transcendence. Across diverse coding tasks, the values were held fixed within each run over multiple iterations of self-improvement. Three findings emerged: (1) Values matter for performance across a diverse set of tasks. The openness values increase performance on held-out data, whereas the opposite conservation values result in scores below those of an agent given no values. (2) Values change what agents build, producing solution algorithms that differ in size, complexity and approach. (3) Human oversight is still needed for designing values. Allowing the agent to revise its own values narrows the differences between sets of values, and values distilled from the AI literature provide no detectable gain over having no values. Properly designed values can thus influence what a self-improving coding agent builds and, where the task permits, how well it performs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23067v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.