PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10651v1cs.LG

에르고딕 장벽을 넘어서: AI 스케일링 한계와 복잡도 붕괴 분석을 위한 이산 기하학적 물리 샌드박스

Beyond the Ergodic Wall: A Discrete Geometric Physics Sandbox for Analysing AI Scaling Limits and Complexity Collapse

본 논문은 과거 인류 지식의 통계적 평균으로 수렴하는 현재 심층 학습(deep learning)의 에르고딕 상한선과 열역학적 비효율성을 밝힌다. 진정한 의미론적 참신함은 비에르고딕적 통찰을 주입하여 KL 발산(KL divergence)을 달성하고 다양체 고착(manifold lock-in)을 방지하기 위해 경로 의존적이며 시공간적으로 제한된 관찰자(Data LifeCone)를 필요로 한다. AI 안전성(AI Safety)은 성숙한 인공초지능(ASI)이 모델 붕괴(model collapse)를 피하기 위한 열역학적 필연성으로 인간-AI 공생을 간주할 것임을 인식해야 한다. 이에 따라 우리는 실제 세계의 제약 조건에 대해 모델을 검증할 수 있도록 홀로그래픽 E8 투영 엔진(Holographic E8 Projection Engine) 기반의 디지털 물리 샌드박스를 통한 엄격한 물리적 격리를 제안한다. 시공간은 국소적 정보 및 엔트로피 밀도를 극대화하는 진동하는 플랑크 스케일 구체들의 중첩된 면심 입방(FCC) 격자 정보 기저체로 모델링된다. E8 루트 격자로부터의 컷-앤-프로젝트(cut-and-project) 방법은 사면체 공극이 SU 카이랄 구조를 지원하고 탄성 전단 고윳값이 후보 질량 스펙트럼을 생성하는 준결정 기하학을 생성한다. 정지 질량은 국소 홀로그래픽 경계(베켄슈타인 한계)에서의 이산적인 정수 미시상태 수로 다루어지며, 부동소수점 근사를 엄격한 정수 연산으로 대체하여 물질에 대한 정보이론적 정의를 제공한다. 안정적인 입자는 반복되는 격자 전위로 창발하며, 연속체 복원은 슈뢰딩거 방정식을 창발적 통계 기술로 복원하기 위해 연속 스펙트럼 연산자를 학습하는 푸리에 신경 연산자(Fourier Neural Operator) 및 변분 재규격화군 흐름을 통해 진행된다. 결정적으로, 이러한 하향식 위상수학적 제약은 "NP에서 P로"의 복잡도 붕괴 메커니즘을 제공한다. 즉, 알고리즘의 제안 공간을 물리적으로 보존된 인과적 궤적으로 제한함으로써, 샌드박스는 조합 트리를 결정론적인 다항 시간 경로로 가지치기한다.

arXiv:2510.16657v3stat.ML

합성 데이터 검증을 통한 모델 붕괴 탈출: 단기적 개선과 장기적 수렴

Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence

프론티어 생성 모델을 학습하는 데 합성 데이터가 점점 더 많이 사용되고 있다. 그러나 최근 연구들은 생성 모델이 자기 생성 합성 데이터로 반복 재학습할 때 모델 성능이 계속 악화될 수 있다는 핵심 우려를 제기하며, 이 현상은 종종 모델 붕괴(model collapse)라고 불린다. 본 논문에서는 모델 붕괴를 피하기 위해 합성 재학습 과정을 수정하는 방법을 조사하고, 붕괴에서 개선으로의 추세를 역전하는 데 도움이 될 수 있는지까지 탐구한다. 우리의 핵심 발견은 인간이든 더 나은 모델이든 외부 합성 데이터 검증기(verifier)를 통해 정보를 주입하면 합성 재학습이 모델 붕괴를 일으키지 않는다는 것이다. 구체적으로, 우리는 이론적 분석을 기본적인 선형 회귀 설정에 두고, 검증기가 안내하는 재학습이 단기적으로는 개선을 가져올 수 있지만 궁극적으로는 장기적으로 매개변수 추정치를 검증기의 "지식 중심(knowledge center)"으로 이끈다는 것을 보인다. 우리의 이론은 검증기가 완전히 신뢰할 수 있는 경우가 아니라면, 이러한 초기 이득이 정체되고 심지어 역전될 수 있음을 추가로 예측한다. 실제로 선형 회귀, MNIST로 학습한 변분 오토인코더(VAE), XSUM 태스크에서 SmolLM2-135M 파인튜닝에 걸친 실험들이 이러한 이론적 통찰을 확인한다.

arXiv:2607.09705v1cs.OH

모델 붕괴: 재귀, 노이즈, 그리고 미지의 기계 시각에 관하여

Model Collapse: On Recursion, Noise, and Uncharted Machine Visions

2023년 이후 컴퓨터 과학자들은 모델 붕괴(model collapse)에 대해 경고해 왔다 — AI가 생성한 출력물로 학습 세트가 오염되어 모델 성능이 점진적으로 저하되는 현상이다. 양성 피드백 기반 실패의 전형적인 사례로서, 단어 반복이나 픽셀 노이즈 같은 효과를 낳으며, 궁극적으로는 의미와 일관성의 상실로 이어진다 — 적어도 공학적 관점에서는 그러하다. 그러나 창작적 관점에서 붕괴는 단순한 고장이 아니다. 초기 아날로그 비디오 피드백 실험을 연상시키는 재귀적 거울로도 기능하며, 시스템이 내부로 향해 자기 자신을 바라볼 때 무슨 일이 일어나는가라는 질문을 다시 한번 제기한다. 이러한 경우 이른바 기계 시각(machine vision)은 더 이상 세계를 전달하는 것(텔레비전처럼)이 아니라, 점점 더 내부로부터 세계를 생성해 낸다. 역사적 비디오 합성 기법과 머신러닝의 현대적 예술적 활용 사례 연구를 통해 미디어 고고학을 참조하면서, 이 논문은 재귀적 학습이 AI 생성 데이터의 의존적 본성에 대해 무엇을 드러내는지를 고찰한다. 붕괴의 잠재적 효과가 트랜스휴머니즘적 이상에 도전하는 동시에 미적 관점을 초대한다고 주장하며, 노이즈와 재귀를 예술 창작과 AI 생태계 양쪽을 이해하는 핵심 개념으로 자리매김한다. 에이전시를 다양한 규모와 네트워크에 걸쳐 분산시키는 AI 생태계는 현재 새로운 인간 생성 콘텐츠에 계속 의존하고 있으며, 특히 방대한 데이터셋으로 학습된 파운데이션 모델에서 그러하다.

arXiv:2603.11784v2cs.LG

리플레이를 통한 언어 생성: 모델 붕괴에 대한 학습 이론적 관점

Language Generation with Replay: A Learning-Theoretic View of Model Collapse

모델 붕괴(model collapse)를 학습 이론의 관점에서 분석하기 위해, 생성기의 과거 출력을 예시 스트림에 재주입하는 리플레이(replay) 적대자를 도입한 언어 생성 프레임워크를 제안한다. 리플레이는 균일 생성(uniform generation)에는 무해하지만 비균일 생성 및 한계에서의 생성(generation in the limit)에서는 증명 가능한 성능 저하를 야기하며, 이는 데이터 정제·워터마킹·출력 필터링 같은 실무 휴리스틱의 이론적 근거와 한계를 동시에 설명한다.

arXiv:2410.12341v4cs.CL

Learning by Surprise: Adaptive Mitigation of Model Collapse in Large Language Models

AI 생성 콘텐츠로 인한 자기소비(AI autophagy) 피드백 루프가 대규모 언어 모델(LLM)의 모델 붕괴(model collapse)를 유발한다는 문제를 다루며, 퍼플렉서티(perplexity)가 붕괴의 핵심 동인임을 밝히고 인간 저작 데이터 구별 없이 고-서프라이즈 문서를 우선 선택하는 필터링 전략을 제안한다. 이 전략은 여러 데이터셋과 LLM 패밀리에서 일관되게 모델 붕괴를 완화하며, 인간 데이터 기반선과 동등하거나 그 이상의 성능을 달성한다.

arXiv:2606.28438v1cs.SE

When AI Reviews Its Own Code: Recursive Self-Training Collapse in Code LLMs

Recursive self-training can degrade neural generative models when generated data is reused without fresh human data or external quality control. We study this risk in code LLMs, where AI-generated code can enter real repositories, later become training data, and create a repository-scale self-training loop. While software development traditionally interrupts this loop through pull-request review, tests, compilation, and human approval, AI coding tools now produce code faster than humans can review it, and code review itself is increasingly automated by AI systems. We therefore compare three recursive fine-tuning regimes: no review, Human-gate review using model-independent filters such as compilation and static quality checks, and AI-self-gate review using the code LLM's own signals such as perplexity and binary self-scoring. Across multiple code LLMs and benchmarks, no review collapses fastest, Human-gate filters slow but do not stop collapse, and AI-self-gate filters can look strong early but later lose their filtering effect. In the clearest case, the binary self-gate enters a rubber-stamp regime where acceptance scores rise while benchmark correctness falls. We explain this behavior by formulating review as gated distributional reweighting, proving that AI self-gating degenerates to ungated self-training under a self-confirming acceptance condition, and giving a spectral analysis of representation-level covariance concentration under recursive retraining. These results suggest that stable recursive code LLM training requires exogenous verification rather than model-coupled self-review.

arXiv:2602.16065v2cs.LG

생성형 인공지능은 데이터 오염을 견딜 수 있는가? 오염된 재귀적 학습 하에서의 이론적 보장

Can Generative Artificial Intelligence Survive Data Contamination? Theoretical Guarantees under Contaminated Recursive Training

인공지능(AI)이 생성한 콘텐츠가 확산되면서, 모델은 점점 더 자기 출력 위에서 학습되어 점진적 퇴화나 붕괴의 위험에 처한다. 본 논문에서는, 우리의 지식 범위 내에서 최초로, 모델 불문(model-agnostic)의 완화된 조건 하에서 모델이 참 데이터 생성 분포로 수렴함을 보이는 긍정적이고 엄밀한 이론적 결과를 제시한다. 수렴 속도는 모델의 내재적 속도와 각 학습 반복에서의 실데이터 비율 중 최솟값이며, 데이터 제한(data-limited) 체제와 모델 제한(model-limited) 체제 사이의 상전이(phase transition)를 드러낸다. 또한 편향된 실데이터에 대해 바이어스를 보정하면 학습 반복에 걸쳐 초기 바이어스가 지속되고 증폭되는 것을 방지함을 보인다. 시뮬레이션, 실제 이미지 및 텍스트에 걸친 광범위한 실험은 우리의 이론적 프레임워크를 검증하며, 오염된 환경에서의 장기 AI 안정성을 위한 정량적 조건을 확립한다.

arXiv:2502.18049v5stat.ML

붕괴 없는 재귀적 학습: 가중치 기반 안정화 프레임워크

Recursive Learning Without Collapse: A Weighting-Based Stabilization Framework

최근 연구에서는 재귀적 생성 모델 학습 과정에서 모델 붕괴(model collapse)라는 흥미로운 현상이 확인되었습니다. 이는 이전 모델에 의해 생성된 데이터로 학습된 모델이 심각한 성능 저하를 보이는 현상입니다. 이 문제를 해결하고 더 효과적인 학습 전략을 개발하는 것은 생성 모델 연구의 핵심 과제가 되었습니다. 본 논문에서는 새로 수집된 실제 데이터와 이전 학습 단계의 합성 데이터를 결합하여 생성 모델을 반복적으로 학습시키는 새로운 프레임워크 내에서 이 현상을 조사합니다. 실제 데이터와 합성 데이터를 통합하기 위한 최적의 학습 전략을 개발하기 위해, 가우시안 분포 추정, 일반화 선형 모델, 비모수 추정을 포함한 다양한 시나리오에서 가중치 기반 학습 방식의 성능을 평가합니다. 합성 데이터의 혼합 비율과 가중치 방식이 최종 모델의 성능에 미치는 영향을 이론적으로 규명합니다. 핵심 발견 사항은 다양한 설정과 합성 데이터 비율에서 최적의 가중치 방식이 점근적으로 통합된 표현식을 따른다는 것입니다. 이는 합성 데이터 활용과 모델 성능 사이의 근본적인 트레이드오프를 보여줍니다. 일부 경우, 실제 데이터에 할당된 최적 가중치는 황금비의 역수에 해당합니다. 마지막으로, 다양한 시뮬레이션 데이터셋과 실제 테이블 데이터셋을 통해 이론적 결과를 검증합니다.