arXiv:2510.26792 cs.LG

Learning Pseudorandom Numbers with Transformers: Permuted Congruential Generators, Curricula, and Interpretability

제출 2025-10-30

한국어 초록

우리는 널리 사용되는 의사난수 생성기(PRNG) 계열인 순열 합동 생성기(PCG)가 생성한 시퀀스를 트랜스포머(Transformer) 모델이 학습할 수 있는 능력을 연구한다. PCG는 숨겨진 상태에 일련의 비트 단위 시프트, XOR, 회전, 절단을 적용함으로써 선형 합동 생성기(LCG)보다 훨씬 더 큰 추가 난이도를 도입한다. 우리는 그럼에도 불구하고 트랜스포머가 발표된 고전적 공격의 범위를 넘어서는 과제에서, 다양한 PCG 변형으로부터 나온 보지 못한 시퀀스에 대해 문맥 내 예측(in-context prediction)을 성공적으로 수행할 수 있음을 보인다. 실험에서는 최대 \(2^{22}\)의 모듈러스, 최대 5천만 개의 모델 파라미터, 최대 50억 토큰의 데이터셋까지 확장하였다. 놀랍게도, 출력이 단일 비트로 절단되더라도 모델이 이를 안정적으로 예측할 수 있음을 확인했다. 학습 중 여러 개의 서로 다른 PRNG를 함께 제시하면, 모델은 이를 공동으로 학습하며 서로 다른 순열에서 나타나는 구조를 식별할 수 있다. 우리는 모듈러스 \(m\)에 대한 스케일링 법칙을 제시하는데, 거의 완벽한 예측에 필요한 문맥 내 시퀀스 요소의 수는 \(\sqrt{m}\)에 비례해 증가한다. 더 큰 모듈러스에서는 최적화가 장기간의 정체 구간에 들어가며, 우리의 실험에서는 모듈러스 \(m \geq 2^{20}\)를 학습하려면 더 작은 모듈러스의 학습 데이터를 함께 포함해야 했다. 이는 커리큘럼 학습의 결정적 필요성을 보여준다. 마지막으로, 우리는 임베딩 층을 분석하여 새로운 클러스터링 현상을 발견했다. 상위 주성분들이 정수 입력을 비트 단위 회전 불변 클러스터로 자발적으로 묶으며, 이를 통해 표현이 더 작은 모듈러스에서 더 큰 모듈러로 어떻게 전이될 수 있는지 드러난다.

요약

의사난수 생성기의 구조를 트랜스포머가 얼마나 깊이 학습할 수 있는지를 살펴본 이 연구는, 특히 퍼뮤티드 콩그루엔셜 제너레이터(PCG, Permuted Congruential Generator)처럼 내부 상태에 비트 단위 시프트, XOR(배타적 논리합), 회전, 절단(truncation)을 연속적으로 적용하는 복잡한 생성기를 대상으로 문맥 내 학습(in-context learning)의 가능성을 검증합니다. 선형 합동 생성기(LCG, Linear Congruential Generator)가 비교적 단순한 모듈러 산술 구조를 갖는 반면, PCG는 출력 단계에서 비선형 비트 연산을 섞어 관측된 수열과 내부 상태의 대응을 훨씬 더 어렵게 만들기 때문에, 모델이 단순한 패턴 암기를 넘어 생성 규칙 자체를 추론할 수 있는지 확인하기에 적절한 시험대가 됩니다. 저자들은 최대 모듈러스 \(2^{22}\), 최대 5천만 개의 파라미터, 최대 50억 토큰 규모로 실험을 확장하여, 트랜스포머가 보지 못한 PCG 수열에 대해서도 안정적으로 다음 값을 예측할 수 있음을 보였습니다. 더 주목할 점은 출력이 단일 비트로 축소된 극단적으로 정보가 제한된 조건에서도 예측이 가능했다는 사실로, 이는 모델이 표면적인 수치 분포보다 더 깊은 생성 규칙을 포착했음을 시사합니다. 또한 서로 다른 PRNG를 함께 제시한 경우에도 모델이 각 생성기의 퍼뮤테이션 구조를 동시에 학습하며 공통된 저수준 패턴을 분해해 활용할 수 있다는 점이 확인되었습니다. 이 연구의 핵심 방법론적 기여는 성능 자체뿐 아니라, 학습이 어떤 조건에서 성립하는지를 정량화했다는 데 있습니다. 저자들은 모듈러스 \(m\) 이 커질수록 near-perfect prediction에 필요한 문맥 길이가 대략 \(\sqrt{m}\) 에 비례해 증가한다는 스케일링 법칙을 제시했으며, 이는 상태 공간이 커질수록 예측에 필요한 관측량이 어떻게 늘어나는지를 보여주는 중요한 경험적 규칙입니다. 동시에 큰 모듈러스 구간에서는 최적화가 장기간 정체되는 현상이 나타났고, 특히 \(m \geq 2^{20}\) 에서는 작은 모듈러스에서 학습한 데이터를 먼저 포함하는 커리큘럼 학습이 사실상 필수적이라는 점이 드러났습니다. 다시 말해, 이 문제는 단순히 데이터와 모델을 더 크게 만드는 방식만으로 풀리지 않으며, 쉬운 구조에서 어려운 구조로 점진적으로 확장하는 학습 순서가 표현 형성에 직접적인 영향을 미칩니다. 이런 결과는 트랜스포머의 알고리즘적 일반화가 데이터 규모만으로 설명되지 않고, 최적화 경로와 학습 순서에 의해 강하게 좌우된다는 사실을 잘 보여줍니다. 해석 가능성 분석 역시 이 논문의 중요한 축을 이룹니다. 임베딩 레이어와 상위 주성분을 살펴본 결과, 정수 입력들이 비트 회전(bitwise rotation)에 대해 불변인 클러스터로 자연스럽게 묶이는 현상이 관찰되었으며, 이는 모델이 숫자를 단순한 크기 순서가 아니라 비트 구조와 대칭성의 관점에서 표현하고 있음을 의미합니다. 이러한 표현은 PCG가 사용하는 회전과 XOR 같은 연산과 구조적으로 잘 맞물리며, 작은 모듈러스에서 학습한 비트 패턴이 더 큰 모듈러 설정으로 이전되는 경로를 설명하는 단서가 됩니다. 결국 이 연구는 트랜스포머가 복잡한 의사난수 생성기에서도 숨은 규칙을 학습할 수 있음을 실증하는 동시에, 그 과정에서 나타나는 스케일링 법칙, 커리큘럼의 필요성, 그리고 비트 대칭성을 반영하는 내부 표현까지 함께 제시함으로써 알고리즘적 시퀀스 학습에 대한 이해를 한 단계 확장합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.