대규모 언어 모델(LLM)은 과학적 발견을 진전시킬 강력한 잠재력을 보여주었습니다. 그러나 모델이 기초적인 혁신을 이룰 역량을 갖추고 있는지는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 기초 혁신의 전제 조건인 'LLM이 컴퓨터 과학의 기초 알고리즘을 재발명할 수 있는가?'에 초점을 맞춥니다. 우리는 LLM 언러닝(unlearning) 기법을 사용하여 대상 알고리즘의 직접적인 상기를 억제하고, 모델이 남아 있는 지식을 바탕으로 추론하여 이를 복원하도록 유도했습니다. 언러닝이 완전한 지식 제거를 보장하지는 않음에도 불구하고, LLM은 대상 알고리즘의 절반 가까이를 복원하지 못했습니다. 특히 언러닝 없이 디코딩(decoding) 과정에서 알고리즘 이름 언급을 억제하기만 해도 모델의 복원율이 급격히 떨어져(19~39%), 모델이 암기된 지식에 과도하게 의존하고 있음을 시사했습니다. 우리는 복원 가능한 알고리즘이 구조나 핵심 아이디어 면에서 단순한 경향이 있는 반면, 그렇지 않은 알고리즘은 덜 직관적이라는 점을 관찰했습니다. 또한 모델의 추론 능력을 유지하여 '사고 붕괴(thought collapse)' 현상을 방지하는 데 도움을 주는 생성형 검증기(generative verifier)를 도입했습니다. 종합적으로 언러닝된 모델의 복원율을 대략적인 상한선으로 간주할 때, 본 실증적 연구 결과는 현재의 LLM 시스템이 기초 알고리즘 혁신을 이뤄내는 데 여전히 제한적인 능력을 가지고 있음을 시사합니다. 코드 링크: https://github.com/Algo-Reinvention/algo-reinvention
알고리즘적 추론(algorithmic reasoning)은 단계별 논리적 추론을 수행하는 능력으로, 그래프 신경망과 트랜스포머 모델을 위해 설계된 다단계 추론 능력을 평가하는 합성 벤치마크이다. 기존 연구는 단일 알고리즘 과제를 실행하는 추론을 평가해 왔지만, 더 바람직한 목표는 여러 알고리즘적 추론 과제를 동시에 수행하는 것이다. 우리는 이것이 알고리즘의 실행 추적(execution traces)에서 발생하는 차이(예: 깊이 우선 대 너비 우선 탐색)로 인해 본질적으로 어렵다는 점을 먼저 지적한다. 이러한 차이는 함께 학습될 때 간섭을 유발한다. 본 논문에서는 멀티태스크 알고리즘적 추론을 위한 새로운 아키텍처인 분기 신경망(branching neural networks)을 제안한다. 핵심 아이디어는 $n$개의 알고리즘 과제를 $L$개 층으로 나눈 $k$-진 트리로 재귀적 트리 구조 분할을 탐색하는 것이다. 단순 탐색은 $O(k^{nL})$ 복잡도를 필요로 한다. 우리는 각 층에서 볼록 완화(convex relaxation)를 풀어 최적 분할을 근사함으로써 이를 $O(nL)$로 줄이는 알고리즘을 개발한다. 우리의 접근법은 그래디언트 기반 친화도(affinity)를 사용하여 이러한 과제들을 클러스터링하며, 어떤 기본 모델 위에서도 사용할 수 있다. 우리는 알고리즘적 추론 벤치마크와 텍스트 설명이 추가된 확장 버전에서 접근법을 검증한다. 그래디언트 기반 친화도 점수가 최대 340억 개의 파라미터를 갖는 8가지 서로 다른 아키텍처에 걸쳐 측정했을 때, 5% 미만의 오차로 실제 성능을 추정하는 데 도움이 됨을 보인다. CLRS 벤치마크에서 우리의 접근법은 기존 그래프 신경망보다 3.7%, 기준선보다 1.2% 우수한 성능을 보이면서, 실행 시간을 48%, 메모리 사용량을 26% 줄인다. 학습된 분기 구조는 관련 알고리즘의 계층적 클러스터링을 보여준다. 세 가지 텍스트 기반 그래프 추론 벤치마크에서 우리의 접근법은 기준선 방법보다 3.2% 향상된다. 마지막으로, 겹치는 커뮤니티 탐지(overlapping community detection)에 대해서도 접근법을 검증한다.
사전학습된 대규모 언어 모델(LLM)을 후보 프로그램 제안 분포로 활용하고 검증 집합 오차로 최적 프로그램을 선택하는 LLM-PV를 제안하여, 열거 탐색의 지수적 계산 비용과 경사도 기반 학습의 표본 비효율성을 동시에 해소한다. 패리티, 패턴 매칭, 소수 판별 등 알고리즘 과제에서 LLM-PV는 소수의 레이블 예시만으로 정확한 규칙을 복원하고 훈련 시퀀스 길이를 크게 초과하여 일반화하는 반면, SGD 기반 트랜스포머와 문맥 내 학습(ICL) 등 기존 방법들은 훈련 데이터에는 적합하나 길이 일반화에 실패한다.
HumanEval, LiveCodeBench 등 기존 벤치마크의 높은 통과율이 실제 알고리즘 추론 능력을 반영하지 못한다는 문제를 해결하기 위해, AlgoBench는 경쟁 프로그래밍 문제에 구조적 제약 변환을 적용해 원래 참조 알고리즘이 반드시 실패하는 새로운 문제를 자동 생성하는 프레임워크를 제안한다. pass@k 외에도 시간·공간 복잡도 적합성을 검증하는 OptT, OptS, TrapRate 등의 복잡도 인식 평가지표를 도입하였으며, 다수의 대규모 언어 모델(LLM) 실험에서 AlgoBench 변형 문제에 대한 성능이 크게 하락하고 오류의 주된 원인이 구현이 아닌 알고리즘 수준에 있음을 확인했다.
추론 모델 -- 답변을 생성하기 전에 일련의 추론 또는 사고 토큰을 출력하는 언어 모델 -- 의 인기가 증가하고 있는데, 이는 부분적으로 사고의 연쇄(Chain-of-Thought, CoT) 트랜스포머가 튜링 머신을 시뮬레이션할 수 있고 따라서 임의의 계산을 수행할 수 있다는 이론적 결과에 의해 정당화됩니다. 그러나 튜링 머신은 복잡도 이론적 분석에는 적합하지만, 알고리즘을 논의하는 데에는 편리하거나 직관적이거나 효율적이지 않습니다. 알고리즘은 일반적으로 더 높은 추상화 수준에서 설계 및 분석되며, 이는 랜덤 액세스 메모리와 $\bigO(\log n)$비트 워드에 대한 단위 비용 연산을 갖는 워드 RAM(Word RAM) 모델로 포착됩니다. 결과적으로, 워드 RAM 알고리즘은 튜링 머신 대응물보다 훨씬 더 효율적일 수 있으며, 이는 다음과 같은 질문을 제기합니다: CoT 트랜스포머는 워드 RAM 알고리즘을 효율적으로 시뮬레이션할 수 있습니까? 예를 들어, $n$개의 항목을 $\bigO(n \log n)$ 단계로 정렬하거나 다익스트라 알고리즘을 $\bigO(E + V \log V)$ 단계로 실행할 수 있습니까? 우리는 다중 로그(poly-logarithmic) 오버헤드 범위 내에서 이에 긍정적으로 답합니다. 우리는 먼저 다중 로그 너비와 가장 오른쪽 고유 하드 어텐션을 갖는 유한 정밀도 트랜스포머에 대해 이를 확립한 다음, 유한 너비와 로그 정밀도를 갖는 두 가지 더 실용적인 설정으로 결과를 강화합니다: 추론이 토큰이 아닌 벡터 형태를 취하는 연속형 CoT와 트랜스포머 층이 순환(선형 RNN) 층 위에 있는 하이브리드 아키텍처입니다. 이 세 가지 경우 모두에서, 우리는 CoT가 $n$에 대한 다중 로그 오버헤드만으로 어떤 워드 RAM 알고리즘도 효율적으로 시뮬레이션할 수 있음을 발견했습니다. 이 오버헤드는 워드 RAM이 "플랫(flat)" 명령어 세트를 가질 때 로그 제곱으로 줄어들고, 곱셈이 없는 플랫 명령어의 경우 로그 수준으로만 줄어듭니다 -- 이는 워드 RAM에 대해 이차 오버헤드가 필요한 알려진 튜링 머신의 CoT 시뮬레이션과는 현저한 대조를 이룹니다.
그래프 알고리즘 작업에서 트랜스포머의 깊이-너비 트레이드오프를 분석한 결과, 깊이를 고정하고 너비를 노드 수에 선형으로 늘리면 다양한 그래프 문제를 상수 깊이만으로 해결할 수 있음을 보였으며, 오일러 순환 검증 등 일부 과제는 거의 2차 너비가 필요함을 증명했다. 실험에서는 전체 파라미터 수를 맞춘 조건에서 더 넓고 얕은 모델이 깊은 모델과 비슷한 정확도를 유지하면서 병렬화 가능한 하드웨어 덕분에 학습·추론 시간이 더 빠른 경우가 있음을 확인했다.