대규모 언어 모델(LLM)은 과학적 발견을 진전시킬 강력한 잠재력을 보여주었습니다. 그러나 모델이 기초적인 혁신을 이룰 역량을 갖추고 있는지는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 기초 혁신의 전제 조건인 'LLM이 컴퓨터 과학의 기초 알고리즘을 재발명할 수 있는가?'에 초점을 맞춥니다. 우리는 LLM 언러닝(unlearning) 기법을 사용하여 대상 알고리즘의 직접적인 상기를 억제하고, 모델이 남아 있는 지식을 바탕으로 추론하여 이를 복원하도록 유도했습니다. 언러닝이 완전한 지식 제거를 보장하지는 않음에도 불구하고, LLM은 대상 알고리즘의 절반 가까이를 복원하지 못했습니다. 특히 언러닝 없이 디코딩(decoding) 과정에서 알고리즘 이름 언급을 억제하기만 해도 모델의 복원율이 급격히 떨어져(19~39%), 모델이 암기된 지식에 과도하게 의존하고 있음을 시사했습니다. 우리는 복원 가능한 알고리즘이 구조나 핵심 아이디어 면에서 단순한 경향이 있는 반면, 그렇지 않은 알고리즘은 덜 직관적이라는 점을 관찰했습니다. 또한 모델의 추론 능력을 유지하여 '사고 붕괴(thought collapse)' 현상을 방지하는 데 도움을 주는 생성형 검증기(generative verifier)를 도입했습니다. 종합적으로 언러닝된 모델의 복원율을 대략적인 상한선으로 간주할 때, 본 실증적 연구 결과는 현재의 LLM 시스템이 기초 알고리즘 혁신을 이뤄내는 데 여전히 제한적인 능력을 가지고 있음을 시사합니다. 코드 링크: https://github.com/Algo-Reinvention/algo-reinvention
대규모 언어 모델(LLM)이 일반적인 능력을 희생하지 않으면서 특정 지식과 가치를 깊이 잊게 하는 것은 언러닝(unlearning)의 핵심 과제로 남아 있다. 그러나 현재 방법들은 미세조정이나 퓨샷(few-shot) 프롬프팅에 의해 쉽게 되돌릴 수 있어, 그들의 망각이 얕기만 함을 시사한다. 우리는 근본 원인을 밝혀낸다. 기존 방법들은 유지 집합(retain set)과 미세조정 공격자가 복원하는 부분공간(subspace) 모두와 공유되는 표현을 대상으로 삼아, 언러닝이 일반 능력에 혼란을 주면서도 쉽게 되돌릴 수 있게 만든다. 우리는 RepSelect(Representation Selectivity)를 제안한다. 이 방법은 매 업데이트 전에 가중치 그래디언트의 상위 주성분(principal components)을 붕괴시켜 망각 집합(forget set) 특이적 표현을 분리하며, 일반 능력은 그대로 유지하면서 미세조정이 복원할 수 있는 것을 제한한다. 우리는 생물학적 위험(biohazardous) 지식과 학대적 성향(abusive tendencies)이라는 두 가지 망각 카테고리, 그리고 밀집(dense) 및 전문가 혼합(MoE) 아키텍처를 아우르는 네 가지 모델 계열(Llama 3, Qwen 3.5, Gemma 4 E4B, DeepSeek V2 Lite)에 대해 평가한다. 다섯 가지 인기 기준선(GradDiff, NPO, SimNPO, RMU, UNDIAL)과 비교할 때, RepSelect는 가장 강한 기준선 대비 재학습(post-relearning) 후 답변 정확도를 4~50배 더 크게 낮추며, 퓨샷 프롬프팅 공격에 거의 완벽하게 견고하다. 따라서 선택적 표현을 겨냥하는 것은 깊고 강건한 LLM 망각을 향한 중요한 단계이다.