입장: 매번 반응적으로 모델을 패치하지 말고 선제적 테스트 주도 AI 개발을 시작하라
Position: Stop Reactively Patching Your Model Every Time and Start Proactive Test-Driven AI Development
많은 현대 AI 시스템은 다양하고 개방형(open-ended)인 사용 사례 하에서 동작하도록 설계된다. 배포된 시스템의 일반화를 돕기 위해, 많은 배포 시스템 유지보수 파이프라인은 사용자 행동(오류)으로부터 발생하는 피드백을 관찰하고 그에 따라 모델을 패치하는 반응적(reactive) AI 플라이휠을 사용한다. 그러나 주요 유지보수 메커니즘으로 사용될 때, 이러한 플라이휠은 시스템 목표 내에서 이러한 오류의 더 넓은 맥락을 종종 무시하여 잠재적인 미래 엣지 케이스(edge case)를 선제적으로 방지하지 못하고, 이는 더 많은 불필요한 플라이휠 반복으로 이어진다. 또한 개방 세계(open-world) 사용 사례의 롱테일(long-tail) 특성으로 인해 남은 오류를 수집하는 것이 통계적으로 점점 더 어려워진다. 본 입장 논문(position paper)은 반응적 플라이휠의 한계를 해결하고 일반화 가능한 시스템에 접근하기 위해 선제적(proactive) 테스트 주도(test-driven) 플라이휠이 필요하다고 주장한다. 우리는 피드백 데이터를 태스크 목표에 기술적으로 매핑하기 위한 테스트 공간(test space)을 생성하여 플라이휠을 반응적에서 선제적으로 진화시키는 것을 옹호한다. 우리는 선제적 플라이휠이 반응적 플라이휠보다 더 적은 반복으로 더 나은 장기 스케일링(scaling)을 달성한다는 것을 수학적으로 증명함으로써 입장을 보강한다.