PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.05716v2cs.AI

대규모 언어 모델은 기초 알고리즘을 재발명할 수 있는가?

Can Large Language Models Reinvent Foundational Algorithms?

대규모 언어 모델(LLM)은 과학적 발견을 진전시킬 강력한 잠재력을 보여주었습니다. 그러나 모델이 기초적인 혁신을 이룰 역량을 갖추고 있는지는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 기초 혁신의 전제 조건인 'LLM이 컴퓨터 과학의 기초 알고리즘을 재발명할 수 있는가?'에 초점을 맞춥니다. 우리는 LLM 언러닝(unlearning) 기법을 사용하여 대상 알고리즘의 직접적인 상기를 억제하고, 모델이 남아 있는 지식을 바탕으로 추론하여 이를 복원하도록 유도했습니다. 언러닝이 완전한 지식 제거를 보장하지는 않음에도 불구하고, LLM은 대상 알고리즘의 절반 가까이를 복원하지 못했습니다. 특히 언러닝 없이 디코딩(decoding) 과정에서 알고리즘 이름 언급을 억제하기만 해도 모델의 복원율이 급격히 떨어져(19~39%), 모델이 암기된 지식에 과도하게 의존하고 있음을 시사했습니다. 우리는 복원 가능한 알고리즘이 구조나 핵심 아이디어 면에서 단순한 경향이 있는 반면, 그렇지 않은 알고리즘은 덜 직관적이라는 점을 관찰했습니다. 또한 모델의 추론 능력을 유지하여 '사고 붕괴(thought collapse)' 현상을 방지하는 데 도움을 주는 생성형 검증기(generative verifier)를 도입했습니다. 종합적으로 언러닝된 모델의 복원율을 대략적인 상한선으로 간주할 때, 본 실증적 연구 결과는 현재의 LLM 시스템이 기초 알고리즘 혁신을 이뤄내는 데 여전히 제한적인 능력을 가지고 있음을 시사합니다. 코드 링크: https://github.com/Algo-Reinvention/algo-reinvention