HumanEval, LiveCodeBench 등 기존 벤치마크의 높은 통과율이 실제 알고리즘 추론 능력을 반영하지 못한다는 문제를 해결하기 위해, AlgoBench는 경쟁 프로그래밍 문제에 구조적 제약 변환을 적용해 원래 참조 알고리즘이 반드시 실패하는 새로운 문제를 자동 생성하는 프레임워크를 제안한다. pass@k 외에도 시간·공간 복잡도 적합성을 검증하는 OptT, OptS, TrapRate 등의 복잡도 인식 평가지표를 도입하였으며, 다수의 대규모 언어 모델(LLM) 실험에서 AlgoBench 변형 문제에 대한 성능이 크게 하락하고 오류의 주된 원인이 구현이 아닌 알고리즘 수준에 있음을 확인했다.
Designing an algorithm from a natural-language problem statement requires identifying the problem structure, reading constraints, choosing a suitable paradigm, checking correctness, and refining complexity. Existing large language model (LLM) methods often rely on direct generation or generic self-refinement, leaving these steps implicit. We propose AlgoSkill, which models algorithm design as sequential decision-making over a typed library of algorithmic skills, including abstraction, constraint analysis, state design, data-structure selection, proof checking, counterexample construction, and complexity refinement. A learned scheduler proposes skills from the current design state, while a Monte Carlo Tree Search (MCTS) controller explores skill sequences using verification feedback from compilation, testing, stress testing, and complexity analysis. Experiments on competitive programming and combinatorial optimization benchmarks show that AlgoSkill improves over direct LLM generation, chain-of-thought prompting, self-refinement, and MCTS without typed skills. Ablations show that typed skills, verification-based repair, and search-based scheduling each contribute to performance. These results support treating automatic algorithm design as verification-guided skill scheduling rather than one-shot code generation.
대규모 언어 모델(LLM)의 문제 해결 능력뿐만 아니라 인간이 작성한 코드의 오류 식별 능력을 평가하기 위해 실제 온라인 저지 제출물을 기반으로 한 UOJ-Bench를 소개한다. 원샷 평가에서는 오류 식별에 한계가 있었으나 테스트 타임 스케일링을 통해 성공률을 90% 이상으로 높일 수 있음을 확인했다.