arXiv:2606.27460v1 cs.CL

발달적 접근법이 신경 언어 모델의 통계적 학습을 밝힘: 트랜스포머는 가장 추상적인 통계 패턴으로부터 일반화한다

Developmental approach reveals the statistical learning of Neural Language Models: Transformers generalize from the most abstract statistical patterns

Wang Bojun, Holly Jenkins, Elizabeth Wonnacott

제출 2026-06-25

한국어 초록

본 연구에서는 발달적 접근법을 사용하여 신경 언어 모델(NLM)의 통계적 학습과 정신적 표상(mental representation)을 조사한다. 합성 문법(synthetic grammar)에 일련의 생성형 트랜스포머 모델을 학습시키고, 학습 과정의 여러 단계에서 모델 상태를 저장한다. 발달 경로에서 이러한 모델의 내부 표상이 어떻게 변화하는지 분석한 결과, NLM은 학습 초기에 가장 추상적인 전역 통계 지식을 습득하고 이후 상대적으로 지역적인 통계적 의존성을 습득함을 발견했다. 이 학습 경로에는 처음부터 많은 과잉 일반화(over-generalization)가 포함되어 있으며, 이러한 과잉 일반화는 학습 후기 단계에서 점진적으로 제약된다. 이 관찰을 바탕으로 NLM의 통계적 학습과 언어 인지를 설명하는 새로운 프레임워크를 제안한다.

원문 초록

In this study, we use a developmental approach to investigate the statistical learning and mental representation of neural language models (NLM). A series of Generative Transformer models are trained on a synthetic grammar. The model states are saved at multiple stages in the course of training. Through analyzing how the internal representations of these models change in the developmental path, we found that NLMs acquire the most abstract global statistical knowledge at the beginning of learning and later acquire the relatively local statistical dependencies. This learning path contains many over-generalizations from the very beginning and these over-generalizations are gradually constrained in the later stage of learning. Based on this observation, we propose a new framework to explain the statistical learning and language cognition of NLMs.

요약

신경 언어 모델(NLM)이 합성 문법 학습 과정에서 어떤 통계적 지식을 먼저 습득하는지를 발달적 접근법으로 분석한 결과, 트랜스포머 모델은 학습 초기에 가장 추상적인 전역 통계 패턴을 먼저 습득하고 이후 상대적으로 지역적인 의존성을 학습하는 과잉 일반화(over-generalization) 경로를 따름을 발견했다. 이 관찰을 바탕으로 NLM의 통계적 학습과 언어 인지를 설명하는 새로운 프레임워크를 제안한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27460v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15836v1cs.CL공통 태그 Language Modeling, Representation Learning, Inductive Bias

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

arXiv:2609.29102v3cs.CL공통 태그 Language Modeling, Representation Learning

ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기

ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks

완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.

arXiv:2610.03251v1cs.AI공통 태그 Language Modeling, Representation Learning

사실을 학습하는 것과 이를 인출하는 방법을 학습하는 것은 다르다

Learning a Fact Is Not Learning How to Retrieve It

"X의 수도는 Y이다"로 학습된 모델은 "X의 수도는" 뒤에 "Y"를 생성할 수 있지만, "X의 수도:" 뒤에서는 실패할 수 있습니다. 본 연구에서는 동일한 사실을 이끌어내는 이러한 서로 다른 방식들을 요청 형태(request forms)라고 부릅니다. 사실 학습과 사실 인출을 분리하기 위해, 두 개의 모델을 2단계에 걸쳐 학습(training)합니다. 1단계(요청 형태 학습)에서 한 모델은 각 사실을 5가지 형태로 보고, 다른 모델은 동일한 사실들을 진술문 형태로만 봅니다. 2단계(목표 사실 학습)에서는 두 모델 모두 새로운 사실들에 대해 모두 진술문 형태로 동일한 학습을 받습니다. 이후 두 모델 모두 진술문으로부터 새로운 사실을 거의 동등하게 잘 인출하지만, 다른 요청 형태에서는 현저한 차이를 보입니다. 따라서 모델(model)은 사실을 학습하기 전에 요청 형태를 통해 인출하는 방법을 학습할 수 있습니다. 이러한 차이를 이해하기 위해 정답 직전의 은닉 상태(hidden state)를 살펴보며, 이를 문맥 상태(context state)라고 부릅니다. 동일한 사실에 대해 서로 다른 두 가지 요청 형태가 주어졌을 때, 1단계에서 5가지 형태로 학습된 모델은 진술문으로만 학습된 모델보다 더 유사한 문맥 상태를 생성합니다. 인출 시점에 이 상태를 변경하면 이미 학습된 사실의 인출을 가능하게 하거나 방지할 수 있으며, 동일한 효과가 수도나 통화와 같은 사실 및 사실 관계 전반에 걸쳐 전이됩니다. 학습 중 문맥 상태의 역할을 검증하기 위해 목표 사실 학습 중에만 문맥 상태를 변경했습니다. 이러한 개입은 테스트 시점의 개입 없이도 이후의 인출 결과를 변화시킵니다. 종합하면, 이러한 결과들은 향후의 인출이 초기 요청 형태 경험과 사실 학습 중의 문맥 상태에 의존한다는 점을 보여줍니다.

arXiv:2610.01864v1cs.SD공통 태그 Representation Learning, Inductive Bias

개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견

From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment

음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.

arXiv:2609.28414v1cs.CV공통 태그 Decoder, Representation Learning

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.