PyTorchKR Papers

최신 논문

총 4,041편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2603.20521cs.LG

Delightful Distributed Policy Gradient

현대 대규모 인공지능 모델의 사후 학습(Post-training)은 수천 개의 노드에서 데이터를 수집하고 학습하는 분산 강화학습(Distributed Reinforcement Learning) 시스템에 크게 의존하고 있으나, 데이터 수집과 학습 사이의 시차인 스테일니스(Staleness)나 액터 측의 구현 오류인 버그(Bugs)와 같은 시스템적 마찰은 피할 수 없는 과제입니다. 이러한 마찰 요인들은 학습자의 현재 정책에서 예측하기 어려운 높은 서프라이절(Surprisal, 음의 로그 확률)을 가진 행동들을 양산하며, 특히 결과가 나쁜 실패 사례들이 업데이트 방향을 지배하여 유용한 신호를 왜곡하는 부정적 학습(Negative Learning)을 초래해 성능을 저하시킵니다. 본 연구에서는 이러한 문제를 근본적으로 해결하기 위해 어드밴티지(Advantage)와 서프라이절의 곱으로 정의되는 딜라이트(Delight) 개념을 도입한 딜라이트풀 정책 그래디언트(Delightful Policy Gradient, DG)를 제안합니다. DG는 각 업데이트 단계에서 딜라이트 값을 시그모이드(Sigmoid) 함수에 통과시켜 게이팅(Gating)함으로써, 정책이 미처 예상하지 못했던 희귀한 성공은 증폭시키고 치명적인 실패 사례의 영향력은 다항식 수준으로 급격히 억제합니다. 기존의 중요도 샘플링(Importance Sampling, IS) 방식이 행동 확률에 대한 정확한 정보가 필요하고 어드밴티지의 부호와 상관없이 가중치를 재조정하는 부호 맹목적(Sign-blind) 특성을 갖는 것과 달리, DG는 별도의 행동 확률 정보 없이도 성공과 실패를 비대칭적으로 처리하는 부호 인식(Sign-aware) 메커니즘을 구현한 것이 핵심입니다. 이론적 분석에 따르면, 데이터 오염이 심화되는 환경에서 표준 정책 그래디언트의 방향성이 붕괴되는 것과 대조적으로, DG는 정책이 정교해짐에 따라 실제 그래디언트와의 코사인 유사도(Cosine Similarity) 하한을 강력하게 유지하며 자가 강화(Self-reinforcing) 동학을 형성함을 증명하였습니다. MNIST를 활용한 진단 실험에서 DG는 시스템 지연이 발생하는 조건에서도 정확한 행동 확률을 사용하는 가중치 정책 그래디언트보다 4배 이상 우수한 성능을 기록하며 그 견고함을 입증하였습니다. 또한 트랜스포머(Transformer) 기반의 시퀀스 제어 작업에서 스테일니스, 액터 버그, 보상 오염, 희귀 발견 등 네 가지 주요 마찰 요인이 동시에 작용하는 복합적인 환경에서도 베이스라인 모델 대비 약 10배 낮은 오류율을 달성하는 성과를 거두었습니다. 문제의 복잡도가 증가하고 시나리오가 가혹해질수록 DG의 계산 효율성과 성능 우위는 더욱 두드러지며, 이는 대규모 모델 학습 시스템의 확장성을 획기적으로 개선할 수 있는 강력한 잠재력을 시사합니다. 결론적으로 딜라이트풀 정책 그래디언트는 복잡한 분산 환경에서도 안정적인 학습을 보장하는 알고리즘적 혁신이며, 차세대 대규모 언어 모델(Large Language Model, LLM) 및 자율 학습 시스템의 신뢰성을 높일 수 있는 핵심적인 기술적 토대를 제공합니다.

arXiv:2512.21326cs.LG

Measuring all the noises of LLM Evals

대규모 언어 모델(Large Language Model, LLM) 평가에서는 동일한 질문에 대해서도 모델의 응답이 달라질 수 있고, 질문 표본의 구성에 따라 성능 해석이 크게 흔들리기 때문에 신호와 노이즈를 분리해 보는 관점이 특히 중요합니다. 이러한 배경에서 제시된 핵심 방법론은 노이즈를 예측 노이즈(prediction noise), 데이터 노이즈(data noise), 총 노이즈(total noise)라는 세 범주로 명확히 구분하고, 전체 분산의 법칙(law of total variance)을 바탕으로 이들 사이의 관계를 정량적으로 연결하는 것입니다. 예측 노이즈는 같은 질문에 대해 서로 다른 답이 생성되며 발생하는 변동성이고, 데이터 노이즈는 어떤 질문을 샘플링했는지에 따라 달라지는 난이도 차이에서 비롯되며, 총 노이즈는 이 둘을 함께 반영한 전체 불확실성으로 해석됩니다. 저자들은 특히 여러 모델을 하나의 기준선과만 비교하는 기존 방식의 한계를 지적하고, 모든 모델 쌍에 대해 짝지은 분석을 수행하는 all-pairs paired method를 제안함으로써 각 평가가 지닌 노이즈 구조를 더 정밀하게 측정합니다. 이 방법은 수백만 개의 질문 수준 예측을 활용하여 평가별, 설정별 노이즈를 일관되게 추정하고, 단순한 점수 비교를 넘어 평가 자체의 통계적 안정성을 드러내는 데 초점을 둡니다. 실험과 분석 결과는 각 평가가 모델 쌍 전체에 걸쳐 매우 예측 가능한 총 노이즈 수준을 보이며, 특히 짝지은 예측 노이즈가 짝지은 데이터 노이즈보다 대체로 크다는 사실을 보여 줍니다. 이는 동일한 질문에 대해 여러 번 예측해 평균을 내는 방식만으로도 불확실성을 크게 줄이고, 통계적 검정력(statistical power)을 효과적으로 높일 수 있음을 뜻합니다. 또한 sign test와 bootstrap을 비교하고, 베타 분포(Beta distribution)를 이용한 이론적 설명과 추정기 검증을 통해 이러한 분해가 단순한 경험적 관찰이 아니라 구조적인 현상임을 뒷받침합니다. 나아가 여러 평가를 종합할 때는 표준화된 z-score를 이용한 메타분석(meta-analysis)을 제안하여, 평가마다 다른 표본 수와 신뢰도를 반영한 보다 타당한 결합 방식을 제시합니다. 결국 이 연구는 LLM 평가를 단일 점수의 서열화 문제로 보지 않고, 어떤 종류의 노이즈가 결과를 지배하는지까지 함께 해석해야 한다는 관점을 확립하며, 평가 운영자와 모델 개발자 모두에게 더 엄밀하고 실용적인 분석 틀을 제공합니다.

arXiv:2512.15605cs.LG

Autoregressive Language Models are Secretly Energy-Based Models: Insights into the Lookahead Capabilities of Next-Token Prediction

자기회귀 모델(autoregressive models, ARMs)과 에너지 기반 모델(energy-based models, EBMs)은 대규모 언어 모델(large language models, LLMs)을 이해하는 서로 다른 관점으로 여겨져 왔지만, 이 연구는 두 계열이 함수 공간(function space)에서 본질적으로 대응된다는 점을 이론적으로 정교하게 보여 줍니다. 출발점은 확률의 연쇄 법칙(chain rule of probability)이며, 이를 통해 다음 토큰 예측에 기반한 ARM과 전체 시퀀스의 전역 점수를 다루는 EBM 사이에 명시적인 전단사(bijection)를 구성합니다. 이러한 대응은 단순한 형식적 유사성이 아니라, 두 모델이 동일한 분포를 서로 다른 파라미터화로 표현한다는 사실을 뜻하며, 나아가 최대 엔트로피 강화학습(maximum entropy reinforcement learning)의 소프트 벨만 방정식(soft Bellman equation)과도 긴밀하게 연결됩니다. 즉, 시퀀스의 지역적 조건부 확률을 학습하는 과정이 전역적 에너지 구조와 분리된 것이 아니라, 오히려 그 구조를 간접적으로 구현하는 방식으로 해석될 수 있습니다. 이 관점은 언어 모델이 단순히 직전 토큰만을 반영하는 기계가 아니라, 미래의 완성 형태를 암묵적으로 고려하는 계획적 모델일 수 있음을 시사합니다. 더 나아가 저자들은 이러한 전단사를 바탕으로 ARM과 EBM의 지도학습(supervised learning)이 사실상 동등한 최적화 문제라는 점을 도출하며, 학습 목표의 차이가 표현 방식의 차이로 환원될 수 있음을 보입니다. 이는 다음 토큰 예측이 전역 문맥을 충분히 반영하지 못한다는 기존의 직관에 중요한 반례를 제시하며, 표준 트랜스포머(Transformer) 기반 언어 모델도 전역적인 시퀀스 품질을 내재적으로 학습할 수 있음을 뒷받침합니다. 또한 이 연구는 EBM을 ARM으로 증류(distillation)할 때 발생하는 근사 오차에 대한 이론적 경계도 제시하여, 전역적 정렬과 효율적 추론을 동시에 만족시키는 실용적 경로를 마련합니다. 결국 이 논문은 생성 모델과 정렬 모델, 예측과 계획, 지역적 조건부 확률과 전역적 에너지 함수 사이의 경계를 재정의하면서, 자기회귀 언어 모델이 왜 놀라운 lookahead 능력을 보일 수 있는지를 하나의 통합된 수학적 틀로 설명합니다. 이러한 해석은 대규모 언어 모델의 동작 원리를 더 깊이 이해하는 데 중요한 통찰을 제공하며, 향후 더 강력하고 정렬된 언어 모델을 설계하는 이론적 기반으로도 의미를 가집니다.

arXiv:2511.08544cs.LG

LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics

AI의 발전에 있어 조작 가능한 표현을 학습하는 것은 필수적이며, 이를 위한 Joint-Embedding Predictive Architectures (JEPA)는 유망한 설계를 제공하지만, 기존의 연구는 실용적인 지침과 이론의 부족으로 인해 비효율적인 접근을 초래하였다. 이러한 문제를 해결하기 위해, LeJEPA라는 새로운 학습 목표가 제안되었다. LeJEPA는 경량화되고 확장 가능하며 이론적으로 기반이 있는 접근법으로, JEPA의 임베딩이 따라야 할 최적의 분포로 등방성 가우시안(isotropic Gaussian)을 식별하고, 이를 달성하기 위한 새로운 목표인 Sketched Isotropic Gaussian Regularization (SIGReg)을 도입하였다. LeJEPA는 JEPA의 예측 손실과 SIGReg를 결합하여 여러 이론적 및 실용적 이점을 제공한다. 이 접근법은 단일 트레이드오프 하이퍼파라미터를 사용하며, 선형 시간 및 메모리 복잡성을 갖추고 있어 다양한 하이퍼파라미터 및 아키텍처(ResNets, ViTs, ConvNets)에서 안정성을 보장한다. 또한, 휴리스틱 없이 구현이 가능하여 중단 그래디언트, 교사-학생 접근법, 하이퍼파라미터 스케줄러가 필요하지 않으며, 약 50줄의 코드로 분산 학습이 가능하다는 점에서 실용성을 높인다. 저자들은 10개 이상의 데이터셋과 60개 이상의 아키텍처를 통해 LeJEPA의 성능을 검증하였으며, 예를 들어 imagenet-1k를 이용한 사전 학습 후 고정된 백본으로 선형 평가를 수행했을 때, ViT-H/14에서 79%의 성능을 달성하였다. 이러한 결과는 LeJEPA가 자가 감독 학습의 새로운 가능성을 열 수 있는 기반이 될 것임을 시사하며, 이론 친화적인 생태계가 자가 감독 사전 학습을 AI 연구의 핵심 기둥으로 재정립할 수 있기를 기대한다. LeJEPA의 접근법은 기존의 연구와 차별화되며, AI 분야에서의 자가 감독 학습의 발전에 기여할 것으로 보인다.

arXiv:2511.07585cs.LG

LLM Output Drift: Cross-Provider Validation & Mitigation for Financial Workflows

금융 기관들이 대규모 언어 모델(LLMs)을 활용하여 조정, 규제 보고 및 고객 커뮤니케이션을 수행하는 과정에서 비결정적 출력(출력 드리프트)은 신뢰성과 감사 가능성을 저해하는 주요 요인으로 작용하고 있다. 본 연구는 이러한 문제를 해결하기 위해 다섯 가지 모델 아키텍처(7B-120B 매개변수)에서의 출력 일관성을 정량적으로 분석하고, 모델 간 드리프트를 비교하여 새로운 통찰을 제공한다. 특히, 작은 모델인 Granite-3-8B와 Qwen2.5-7B는 T=0.0에서 100%의 출력 일관성을 보인 반면, GPT-OSS-120B는 오히려 12.5%의 일관성만을 나타내어, 더 큰 모델이 항상 우수하다는 기존의 가정을 도전하는 결과를 도출하였다. 본 연구의 주요 기여는 네 가지로 요약될 수 있다. 첫째, 금융 조정 결정론적 테스트 하니스를 개발하여 탐욕적 디코딩, 고정 시드, SEC 10-K 구조 인식 검색 순서를 결합함으로써 출력 일관성을 극대화하였다. 둘째, RAG, JSON, SQL 출력에 대한 작업별 불변성 검사를 수행하며, 금융 조정 물질성 기준(±5%)과 SEC 인용 검증을 통해 결과의 신뢰성을 높였다. 셋째, 위험 적합 배포 결정을 지원하는 3단계 모델 분류 시스템을 도입하여 각 모델의 특성과 위험도를 평가할 수 있는 체계를 마련하였다. 넷째, 이중 제공자 검증을 포함한 감사 준비 완료 인증 시스템을 통해 모델의 신뢰성을 높이는 방법을 제시하였다. 연구 결과, 구조화된 작업(SQL)은 T=0.2에서도 안정성을 유지하는 반면, RAG 작업은 드리프트(25-75%)를 보이며 작업 의존적 민감성을 드러냈다. 이러한 발견은 금융 작업에서의 모델 선택에 중요한 시사점을 제공하며, 로컬 및 클라우드 배포 간의 결정론적 행동 이전을 확인함으로써 다양한 환경에서의 모델 신뢰성을 높일 수 있는 방법을 제시한다. 본 연구는 금융 안정성 위원회(FSB), 국제 결제 은행(BIS), 상품선물거래위원회(CFTC) 요구 사항에 부합하는 준수 준비 완료 AI 배포를 위한 실용적인 경로를 제시하며, 향후 연구에서는 다양한 금융 작업에 대한 추가적인 실험과 모델 개선을 통해 이 문제를 더욱 심층적으로 탐구할 예정이다.

arXiv:2509.26507cs.NE

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

컴퓨팅 시스템과 인간의 뇌 간의 관계는 오랜 시간 동안 연구자들에게 영감을 주어 왔으며, 이는 기계 학습의 발전에도 중요한 영향을 미치고 있다. 본 연구에서는 생물학적으로 영감을 받은 새로운 대규모 언어 모델 아키텍처인 Dragon Hatchling (BDH)을 제안한다. BDH는 국소적으로 상호작용하는 뉴런 입자들로 구성된 스케일 불변의 네트워크를 기반으로 하며, 이로 인해 시간에 따른 일반화 능력을 갖춘다. BDH는 강력한 이론적 기초와 해석 가능성을 결합하면서도 Transformer 모델과 유사한 성능을 발휘한다. BDH는 그래프 모델로서 GPU 친화적인 구조를 가지고 있으며, 트랜스포머와 유사한 스케일링 법칙을 따르며, 동일한 매개변수 수와 학습 데이터로 GPT2의 성능에 필적하는 결과를 보여준다. 이 모델의 작업 기억은 스파이킹 뉴런을 통한 헤비안 학습에 의존하며, 특정 개념에 대한 언어 입력 처리 시 개별 시냅스의 연결이 강화되는 현상을 경험적으로 확인하였다. BDH의 뉴런 상호작용 네트워크는 높은 모듈성을 가지며, 무거운 꼬리 분포를 통해 생물학적 타당성을 지닌다. 또한, BDH는 해석 가능성을 위해 설계되어 있으며, 활성 벡터는 희소하고 긍정적인 특성을 지닌다. 언어 작업에서 단일 의미성을 입증하여, 뉴런과 모델 매개변수의 해석 가능성을 넘어서는 상태 해석 가능성을 제공한다. 이러한 혁신적인 접근은 BDH가 인간의 언어 처리 메커니즘을 설명하는 데 기여할 수 있는 가능성을 제시하며, 기계 학습 분야에서의 보편적 추론 모델 개발에 중요한 이정표가 될 것으로 기대된다.

arXiv:2509.13232cs.LG

Single-stream Policy Optimization

Single-stream Policy Optimization (SPO)은 대규모 언어 모델(LLM)의 정책 경량화 최적화를 위한 혁신적인 접근법으로, 기존의 그룹 기반 방법인 GRPO의 한계를 극복하는 데 중점을 두고 설계되었습니다. GRPO는 즉석 기준을 통해 분산을 줄이는 데 기여하지만, 빈번한 퇴화 그룹과 동기화 장벽으로 인해 학습 신호가 손실되고 확장성이 저해되는 문제를 안고 있습니다. SPO는 이러한 문제를 해결하기 위해 각 샘플에 대해 안정적이고 낮은 분산의 학습 신호를 제공하는 지속적인 KL-적응형 가치 추적기를 도입합니다. 이를 통해 그룹 없이도 높은 처리량을 유지하며, 긴 수명 또는 도구 통합 환경에서 효과적으로 확장할 수 있습니다. SPO의 핵심 원리는 이점 정규화에 있습니다. 기존의 그룹 내 정규화 방식 대신, SPO는 전체 배치에 걸쳐 이점을 정규화하여 각 샘플의 응답 시퀀스에 적용합니다. 이 과정은 정책의 안정성을 보장하고, 다양한 정책 손실 함수를 통해 정책 매개변수를 업데이트하는 데 기여합니다. 특히, SPO는 "기준 없음"의 경우에도 유효하게 작동하며, 높은 정책 경량화 분산 문제를 해결하는 데 중점을 둡니다. 실험 결과, SPO는 Qwen3-8B 모델을 사용하여 GRPO보다 더 매끄럽게 수렴하고 높은 정확도를 달성하며, 퇴화 그룹에서 낭비되는 계산을 제거하는 성과를 보였습니다. 다섯 가지 어려운 수학 벤치마크에서 SPO는 평균 maj@32를 +3.4 퍼센트 포인트 향상시키며, 특정 데이터셋에서는 +7.3 pp, +4.4 pp, +3.3 pp의 절대 점수 향상을 이끌어냈습니다. 이러한 결과는 SPO의 접근 방식이 LLM 추론에 있어 보다 강력하고 효율적인 경로를 제공함을 시사합니다. SPO는 기존의 복잡성을 추가하는 경향에 도전하며, 기본 원칙에 기반한 접근이 LLM 추론의 다음 진전을 이끄는 길임을 강조합니다. 이 연구는 LLM의 정책 최적화에서 새로운 가능성을 제시하며, 향후 연구 방향에 대한 중요한 통찰력을 제공합니다.

arXiv:2509.13805cs.LG

Towards a Physics Foundation Model

물리학 기초 모델(Physics Foundation Model, PFM)의 필요성은 고충실도 시뮬레이션에 대한 접근을 민주화하고, 과학적 발견을 가속화하며, 전문적인 솔버 개발의 필요성을 없애는 데 있다. 그러나 현재의 물리학 인식 기계 학습(Physics-Aware Machine Learning, PAML) 접근법은 단일 물리 시스템에 국한되어 있으며, 새로운 시스템에 대해 재훈련이 필요하다는 한계가 있다. 이러한 문제를 해결하기 위해 제안된 General Physics Transformer (GPhyT)는 1.8TB의 다양한 시뮬레이션 데이터를 기반으로 학습하여 물리학의 기초 모델 능력을 실현할 수 있음을 보여준다. GPhyT의 핵심 통찰은 트랜스포머(Transformer) 구조가 맥락에서 지배하는 동역학을 추론할 수 있다는 점이다. 이로 인해 단일 모델이 유체-고체 상호작용, 충격파, 열 대류 및 다상 동역학을 시뮬레이션할 수 있게 된다. GPhyT는 세 가지 주요 혁신을 통해 물리학 분야에서의 성과를 달성하였다. 첫째, 여러 물리학 도메인에서 전문 아키텍처보다 최대 29배 더 뛰어난 성능을 보였다. 둘째, 제로샷 일반화(zero-shot generalization)를 통해 전혀 새로운 물리적 시스템에 대해서도 입력 데이터만으로 동역학을 추론할 수 있는 능력을 갖추었다. 셋째, 50타임스텝 롤아웃을 통해 안정적인 장기 예측을 수행하며 물리적 일관성을 유지할 수 있다. 이 연구는 단일 모델이 데이터만으로 일반화 가능한 물리적 원리를 학습할 수 있음을 입증함으로써, 계산 과학 및 공학 분야에서의 혁신적인 발전을 이끌어낼 수 있는 가능성을 열었다. GPhyT는 다양한 물리 시스템을 효과적으로 모델링할 수 있는 능력을 보여주며, 이는 물리학 시뮬레이션의 새로운 가능성을 제시한다. 이러한 기초 모델은 향후 고충실도 시뮬레이션에 대한 접근을 민주화하고, 다양한 물리적 조건에 대한 적응력을 높일 수 있는 길을 제시한다.

arXiv:2509.07569cs.LG

uGMM-NN: Univariate Gaussian Mixture Model Neural Network

단변량 가우시안 혼합 모델 신경망(Univariate Gaussian Mixture Model Neural Network, uGMM-NN)은 심층 신경망의 계산 단위에 확률적 추론을 직접 통합하는 혁신적인 아키텍처로, 각 뉴런이 자신의 활성화를 단변량 가우시안 혼합으로 매개변수화하는 방식을 채택하고 있다. 이 접근법은 전통적인 뉴런의 가중합과 고정된 비선형성의 한계를 극복하며, 학습 가능한 평균, 분산 및 혼합 계수를 통해 개별 뉴런에서 다중 모드와 불확실성을 효과적으로 포착할 수 있도록 한다. 이러한 설계는 모델이 복잡한 데이터 분포를 학습하는 데 필요한 유연성을 제공하며, 표준 피드포워드 네트워크의 확장성을 유지한다. uGMM-NN은 기존의 다층 퍼셉트론(Multilayer Perceptron, MLP)과 비교하여 경쟁력 있는 판별 성능을 달성할 수 있으며, 활성화에 대한 확률적 해석을 가능하게 한다. 이로 인해 모델은 단순한 결정 경계를 넘어, 데이터의 복잡한 구조를 이해하고 표현할 수 있는 능력을 갖추게 된다. 제안된 프레임워크는 현대 신경 아키텍처에 불확실성 인식 구성 요소를 통합할 수 있는 기반을 마련하며, 이는 판별 및 생성 모델링 모두에 새로운 연구 방향을 제시한다. uGMM-NN의 구조는 각 뉴런이 혼합 계수, 평균, 분산을 포함하여 활성화를 표현하는 형태로 구성되어 있으며, 이러한 요소들은 학습 과정에서 최적화된다. 학습 방법으로는 역전파 알고리즘을 사용하여 매개변수를 업데이트하며, 손실 함수는 각 뉴런의 활성화와 실제 레이블 간의 차이를 최소화하도록 설계된다. 이 과정에서 그래디언트 기반 최적화 기법이 적용되어 모델의 성능을 극대화한다. 실험 결과, uGMM-NN은 다양한 벤치마크 데이터셋에서 기존 MLP에 비해 더 높은 정확도를 기록하며, 불확실성을 효과적으로 처리하는 능력을 입증하였다. 이러한 결과는 uGMM-NN의 우수성을 증명하며, 향후 불확실성 인식 모델링의 방향성을 제시하는 중요한 기초 자료가 된다. 이 연구는 다양한 응용 분야에서의 활용 가능성을 탐구하며, uGMM-NN의 확장성과 다른 모델과의 통합 가능성에 대한 논의로 이어진다.

arXiv:2509.02046cs.LG

Fantastic Pretraining Optimizers and Where to Find Them

사전학습 옵티마이저는 대규모 언어 모델 훈련에서 중요한 역할을 하며, 특히 **AdamW**는 오랜 기간 동안 표준으로 자리잡아왔습니다. 그러나 최근 연구들은 대안 옵티마이저들이 1.4배에서 2배의 속도 향상을 주장하고 있지만, 이러한 주장이 실제로는 과장된 것임을 보여주고 있습니다. 본 연구에서는 이러한 주장을 뒷받침하는 두 가지 주요 문제를 지적합니다. 첫째, 하이퍼파라미터 조정이 불균형하게 이루어질 수 있으며, 둘째, 평가 설정이 제한적이거나 오해를 불러일으킬 수 있다는 점입니다. 이를 해결하기 위해, 저자들은 10개의 딥러닝 옵티마이저를 다양한 모델 스케일과 데이터-모델 비율에서 체계적으로 비교하였습니다. 연구의 핵심 방법론은 하이퍼파라미터 조정 프레임워크를 세 가지 단계로 나누어 설명하는 것입니다. 첫 번째 단계에서는 각 옵티마이저의 하이퍼파라미터를 세밀하게 조정하여 최적의 성능을 도출합니다. 두 번째 단계에서는 메모리 요구량을 줄이기 위해 하이퍼파라미터의 조정이 필요한 부분만을 선택하여 최적화합니다. 마지막으로, 세 번째 단계에서는 모델 크기와 데이터 예산에 따라 하이퍼파라미터의 최적 값을 예측하는 스케일링 법칙을 적용합니다. 이러한 방법론은 옵티마이저 간의 공정하고 재현 가능한 비교를 보장하며, 연구 결과는 매트릭스 기반 옵티마이저가 스칼라 기반 옵티마이저보다 일관되게 더 나은 성능을 보인다는 점을 강조합니다. 이 연구는 하이퍼파라미터 조정의 중요성과 다양한 모델 스케일 및 데이터-모델 비율에서의 평가 필요성을 강조하며, 최적의 하이퍼파라미터가 다른 옵티마이저에 대해 비최적일 수 있음을 보여줍니다. 이러한 발견은 향후 옵티마이저 설계와 평가에 대한 기준을 설정하는 데 중요한 기여를 할 것입니다.

arXiv:2611.21597v1cs.LG

배깅을 통한 최적의 자기회귀 사고 과정 학습

Optimal Autoregressive Chain-of-Thought Learning via Bagging

클래스 $\mathcal{F}$에 속하는 자기회귀 다음 토큰 생성기 $f\colon\Sigma^\star\to\Sigma$가 만든 길이 $T$의 사고 과정(CoT) 시연을 바탕으로 $f$를 학습하는 방법을 연구한다. 배깅을 기반으로 하는 간단한 알고리즘을 제시한다. 이 알고리즘은 학습 데이터의 부트스트랩 표본마다 CoT와 일치하도록 생성기를 학습시키고, 여러 생성기의 다수결 결과를 출력한다. 이진 토큰 집합에서는 CoT 길이 $T$와 무관하게 최적 표본 복잡도 $O((d_{\mathrm{VC}}+\log(1/\delta))/\epsilon)$를 달성한다. 여기서 $d_{\mathrm{VC}}$는 $\mathcal{F}$의 VC 차원이다. 유한 토큰 집합 $\Sigma$에서는 다중 클래스에 대응하는 그래프 차원 $d_{\mathrm{G}}$가 VC 차원을 대신한다. 이때 표본 복잡도는 $\log|\Sigma|$ 인자를 제외하면 최적이다. 다수결 앙상블에 포함되는 생성기의 수는 $O(\log(T/\delta))$이다. 레이블이 없는 프롬프트 $n\log(nT)$개를 추가로 사용하면 앙상블을 $\mathcal{F}$에 속하는 단일 생성기로 증류할 수 있음을 보인다.

arXiv:2611.21550v1stat.ML

ONAM: 블랙박스 예측의 사후 해석을 위한 직교 신경망 가법 모델 적합

ONAM: Fitting Orthogonal Neural Additive Models for Post-Hoc Interpretability of Black-Box Predictions

인공신경망과 같은 현대 머신러닝 모델은 점점 더 복잡한 블랙박스 아키텍처를 통해 높은 예측 성능을 달성한다. 이로 인해 투명성, 해석 가능성, 공정성이 필요한 환경에서는 사용에 제약이 생긴다. 본 연구는 효과를 구조적으로 표현해 블랙박스 모델을 해석하기 쉽게 하는 함수 분해 기법을 새롭게 구현한 R 패키지 ONAM을 소개한다. ONAM은 예측이 끝난 뒤 그 결과를 서로 다른 입력 특징과 관련된 성분으로 분해하는 알고리즘 프레임워크를 구현한다. 사용 편의성과 효율성을 고려해 설계했으며, 시각화 기능과 해석 가능성을 평가하는 정량 지표를 제공한다. 특정 모델에 종속되지 않아 다양한 예측 모델에 적용할 수 있다. ONAM의 수학적 토대, 알고리즘 설계, 소프트웨어 아키텍처를 설명한다. 제안한 방법의 핵심 결과는 분해가 계층적 직교성 조건을 만족한다는 점이다. 이 조건은 모든 성분이 식별 가능하며 유일하게 정의됨을 보장한다.

arXiv:2611.21486v1cs.LG

미분 가능한 정확 학습

Differentiable Exact Learning

본 연구는 크기에 제한이 없는 외부 환경을 상태 추적 신경 제어기와 결합하는 미분 가능한 정확 학습 프레임워크를 제안한다. 제어기는 전문가 행동 기록에서 관측과 행동을 보여 주되 내부 상태는 숨긴 정책 궤적 관측(PTO)으로 학습한다. 프레임워크와 함께 다중선형 갱신을 사용하고 로그 병렬 학습을 지원하는 미분 가능한 유한 상태 변환기(DFST)를 제안한다. DFST는 임의의 유한 상태 제어기를 모방할 수 있어 환경과 상호작용을 통해 계산 보편성을 얻는다. 소규모 DFST는 매우 작은 학습 데이터셋으로 산술과 범용 시뮬레이션 과제에서 학습 때보다 훨씬 긴 입력에도 일반화한다. 순환 신경망(RNN)과 게이트 순환 유닛(GRU)에서도 DFST의 결과를 재현했다. 이는 상태 추적 제어기, 크기에 제한이 없는 외부 환경, PTO를 결합하면 길이를 크게 늘려도 일반화할 수 있다는 더 폭넓은 학습 방법을 뒷받침한다. 길이 일반화에 더해, 계량 추출 절차를 사용해 학습된 DFST에서 해석 가능한 이산 제어기를 복원했다. 복원한 제어기가 목표 산술 및 범용 시뮬레이션 알고리즘과 동등함을 증명했다. 또한 소프트맥스 DFST 모델의 전이 확률에 $\mathrm{argmax}$를 적용하는 것만으로도 범용 튜링 기계의 시뮬레이션과 이진 산술을 정확하게 수행하는 이산 제어기를 얻을 수 있음을 증명했다. 신경 제어기의 정확 학습을 증명하려면 가정이 필요하며, 연구진은 실험으로 이를 뒷받침했다. 코드, 학습 방법, 모델 가중치, 증명 검사기는 https://github.com/fanagor/DEL 에 공개한다.

arXiv:2611.21467v1stat.ML

외부 데이터 없는 생성형 데이터 증강: 심층 신경망의 실증 및 이론 연구

Generative Data Augmentation Without External Data: An Empirical and Theoretical Study on Deep Networks

생성형 데이터 증강은 생성 모델이 만든 표본을 분류기의 학습 세트에 추가한다. 널리 인용되는 여러 연구는 대규모 외부 데이터셋으로 사전 학습한 생성기를 사용하므로, 합성 데이터 자체의 가치와 사전 학습에서 전이된 지식의 효과가 섞인다. 본 연구는 외부 데이터 없이 각 생성기가 분류기 자체의 학습 세트만으로 학습하는 경우를 살핀다. 생성 표본을 그 학습 세트에 추가할 때 분류기의 테스트 정확도가 언제, 왜 오르거나 떨어지는지 조사한다. 의료 데이터셋 2개를 포함한 데이터셋 6개에서 백본 4종으로 분류기를 학습하고, 생성기 4종이 만든 표본을 추가했다. 합성 데이터로 학습한 분류기의 초과 위험에 상한을 제시한다. 초과 위험은 모집단 위험이 해당 가설 클래스에서 가능한 최소 위험보다 얼마나 큰지를 나타낸다. 이 상한에는 실제 분포와 생성 분포 사이의 총변동 거리가 불리하게 작용하고, 학습 세트의 크기가 커지는 효과는 유리하게 작용한다. 합성 데이터를 추가해 줄일 수 있는 모집단 위험은 실제 이미지만으로 학습한 분류기의 초과 위험을 넘지 않는다. 이 상한에 비추어 실험을 해석하면, 분류기가 감지하는 생성 데이터와 실제 데이터 사이의 차이가 작고 실제 데이터만 사용한 분류기에 개선 여지가 있을 때 합성 데이터가 가장 유용했다. 감지한 차이가 크면 도움이 거의 없거나 오히려 성능이 떨어졌다. 분류기로 추정한 총변동 거리의 하한이 더 큰 생성기는 데이터셋 6개 중 5개에서 개선 효과가 더 작은 경향을 보였다. CIFAR 데이터셋에서는 정확도가 가장 높은 백본의 개선 폭이 가장 작았다. 이 상한은 성능이 어느 방향으로 바뀌는지는 설명하지만, 가장 큰 개선 폭의 크기는 설명하지 못한다. 가장 큰 개선 사례의 대부분은 같은 수의 옵티마이저 단계에서 기존 데이터 증강으로도 달성할 수 있었다.

arXiv:2611.21454v1stat.ML

「심층 프레셰 회귀」에 대한 논평

Comments on "Deep Fr\'echet Regression"

미국통계학회지(JASA)의 토론 논문 「심층 프레셰 회귀」를 검토하고, 조건부 흐름 매칭에 기반한 다른 관점을 살펴본다. 별도의 다양체 학습과 역매핑을 거치지 않고 응답 공간 안에서 공변량에 따라 달라지는 수송을 직접 학습하는 방법을 제안한다. 이 관점은 기하학적 구조를 반영하고 전체 조건부 분포를 모델링하는 데 더 유연한 틀을 제공할 수 있다.

arXiv:2611.21286v1stat.ML

압축 시뮬레이션 기반 추론: 저차원 스케치로 대규모 데이터의 사후분포를 추정하는 신경망

Compressed Simulation-Based Inference: Neural Posterior Estimation for Massive Data via Low-Dimensional Sketches

신경 사후분포 추정(NPE)은 널리 쓰이는 베이지안 시뮬레이션 기반 추론(SBI) 방법이다. 시뮬레이션으로 얻은 데이터와 매개변수의 쌍으로 신경망을 학습해, 사용자가 선택한 사전분포를 전제로 사후분포를 근사한다. 관측값의 차원이 높으면 차원의 저주 때문에, NPE는 일반적으로 전체 데이터셋을 조건으로 삼는 대신 사용자가 고르거나 학습으로 얻은 요약 통계량을 조건으로 매개변수의 밀도를 근사한다. 두 접근에는 모두 어려움이 있다. 복잡한 모델의 요약 통계량을 직접 설계하려면 연구자의 많은 노력이 필요하고, 대규모 데이터셋에서 이를 학습하면 계산 비용이 지나치게 높을 수 있다. 본 연구는 이러한 문제를 해결하기 위해 데이터의 저차원 스케치를 조건으로 매개변수의 밀도를 근사한다. 매개변수가 $p$차원인 모델에서 사후분포의 일관성을 확보하는 데 무작위 스케치 $2p+1$개만 필요함을 보인다. 최신 NPE 임베딩 신경망과 비교한 결과, 제안한 방법은 가장 성능이 높은 임베딩 신경망과 같은 수준의 성능을 내면서 계산 효율을 높였다.

arXiv:2611.21268v1cs.LG

매개변수화 상미분방정식의 문맥 내 추정과 예측

In-Context Estimation and Prediction for Parametric ODEs

트랜스포머는 매개변수를 갱신하지 않고도 소수의 예시에서 새로운 과제에 적응하는 문맥 내 학습 능력을 보였다. 기존 이론은 주로 볼록 통계 문제에서 그래디언트 기반 알고리즘을 모사하거나, 바탕에 있는 통계 구조를 활용하지 않고 일반적인 함수 근사 보장을 확립하는 데 집중했다. 본 연구는 추정 문제가 일반적으로 비볼록인 매개변수화 상미분방정식(ODE)에서 문맥 내 매개변수 추정과 궤적 예측을 연구한다. 적절한 식별 가능성과 정칙성 조건 아래에서, 잡음이 있는 궤적 관측으로부터 미지의 시스템 매개변수를 추정하는 트랜스포머를 구성한다. 두 단계의 근사 최대 가능도 절차를 사용한다. 먼저 개략적인 탐색으로 국소적으로 강볼록인 영역 안에서 초기값을 고른 뒤, 국소 선형 수축이 성립하는 경사하강법을 적용한다. 예측에서는 이 추정기를 ODE 해 매핑의 신경망 근사와 합성한다. 또한 매개변수를 공유하면 트랜스포머 하나가 매개변수 추정과 궤적 예측을 함께 수행할 수 있음을 보인다. 이 구성에 대해 비점근적 보장과 유한 사전학습 오라클 부등식을 확립한다. 이 부등식은 유한한 사전학습 데이터, 유한한 문맥 길이, 유한한 규모의 트랜스포머 근사에서 오는 오차를 각각 구분한다. 선형 및 비선형 ODE의 수치 실험에서도 사전학습 트랜스포머가 가중치를 갱신하지 않고, 추론 시 문맥을 길게 해 성능을 높일 수 있음을 보였다.

arXiv:2611.21251v1cs.LG

예시 선택의 대가: 적응형 문맥 내 학습의 문맥 과적합

The Price of Choosing Examples: Context Overfitting in Adaptive In-Context Learning

문맥 내 학습을 분석할 때는 보통 학습기를 고르기 전에 프롬프트 예시를 표본 추출했다고 가정한다. 실제 배포 시스템에서는 질의와 데이터 저장소를 확인한 뒤 예시를 검색하고, 필터링하고, 순위를 다시 매기고, 편집하고, 반복해서 시험한다. 본 연구는 조건부 확률 커널의 계산 체계를 사용해 프롬프트 구성을 적응적 데이터 분석으로 다룸으로써 이 차이를 정식화한다. 핵심량은 데이터 저장소와 최종 프롬프트 기록 사이의 상호정보량 또는 근사 최대정보량인 문맥 용량이다. 가중치를 고정한 임의의 문맥 내 학습기와 용량 $\kappa$의 임의의 적응형 문맥 파이프라인에 대해 $\sqrt{\kappa/k}$ 차수의 유한 표본 문맥 일반화 경계를 증명한다. 여기서 $k$는 선택한 예시 중 보고 점수의 계산에 손실이 사용되는 예시 수다. 같은 차수의 하한을 증명했으며, $\log k\ll\kappa\ll k$일 때 그 상수는 정확하다. 또한 PAC-베이즈 검색 규칙 두 가지를 도출한다. 첫째는 데이터에 따라 정한 후보 채택 규칙에 그 사전확률 질량을 반영하는 1차 깁스 규칙이고, 둘째는 자기 정규화 2차 규칙이다. Banking77에서 검색 구성 64개와 모델 계열 두 개를 평가한 결과, 재표본화한 선택 사건 24,000건 모두에서 성능 보증이 성립했다. 검증 질의 64개(Qwen2.5-7B) 또는 128개(GPT-4.1-mini)를 재사용하면 깁스 규칙은 검증 표본 추출의 99%를 넘는 경우에서 제로샷 오차보다 위험이 낮음을 보증했다. 마지막으로 질의 방향을 기준으로 한 상위 $k$개 가우스 검색의 순서통계량 분석을 포함해, 이 이론을 베이즈 선형 문맥 내 회귀에 적용했다. 이 결과는 문맥의 품질과 문맥 성능을 보증할 수 있는지를 구분한다. 길거나 관련성 높은 문맥은 선택 절차가 충분히 안정적이어서 선택한 문맥의 근거를 일반화할 수 있을 때에만 위험을 낮춘다.

arXiv:2611.21241v1cs.LG

적응형 테스트 시점 스케일링을 위한 언제나 유효한 PAC-베이즈 보증

Anytime-Valid PAC-Bayes Certificates for Adaptive Test-Time Scaling

테스트 시점 스케일링 시스템은 보정 데이터셋을 반복해 살펴본 뒤 표본을 얼마나 생성할지, 어떤 프롬프트를 쓸지, 어떤 검증기나 집계 규칙을 사용할지 고르는 경우가 많다. 이렇게 적응적으로 선택한 뒤에는 표준 검증 오차 막대가 유효하지 않다. 본 연구는 테스트 시점 스케일링 구성을 비용이 확률적으로 정해지는 무작위 예측기로 모델링한다. 모든 보정 시점, 구성에 대한 모든 사후 혼합분포, 데이터에 의존하는 모든 중단 규칙에 동시에 성립하는 시간 균일 PAC-베이즈 보증을 증명한다. 따라서 동일한 확률 사건은 최종 보고한 고정 구성뿐 아니라 배포 이전의 구성 탐색까지 포괄한다. 연산 예산과 검증기 후보가 유한한 경우 페널티는 익숙한 $\log M/n$이다. 최악의 경우 선택 이후에도 유효한 보증이라면 이 페널티를 피할 수 없다. 다만 구조가 있는 탐색에서는 균일하지 않은 사전분포와 국소화한 사후 혼합분포로 더 타이트한 보증을 얻을 수 있다. 이 결과를 자기 일관성에 적용해 상보적인 마진 법칙을 보인다. 최다 득표 방식은 정답이 생성기의 유일한 최빈값인 예시에서만 샘플 수에 따라 성능이 지수적으로 개선된다. 다른 예시에서는 연산을 늘릴수록 오차가 커질 수 있음을 증명할 수 있다. 같은 마진 분석으로 연산 배분을 위한 오라클 물 채우기 법칙도 도출한다. 합성 데이터를 이용해 적응적 예산 선택이 일으키는 낙관적 편향을 정량화했다. 또 gpt-4.1-mini의 출력을 사용한 GSM8K 예시 192개로 실제 추론 파이프라인의 위험과 비용을 함께 보고하는 방법을 보였다. 두 모델을 GSM8K와 MATH-500에서 더 큰 규모로 평가했을 때, 명목 수준이 5%인 상황에서 최선의 사후 선택 구성에 대한 오차 막대는 무작위 분할의 최대 22.5%에서 분할 밖 GSM8K 위험보다 낮았다. 제안한 보증은 그런 경우가 한 번도 없었다. GSM8K의 전체 테스트 분할에서는 보증이 0.109까지 좁아졌다. 별도 평가 분할에서 측정한 위험은 0.039였다. 이 결과는 적응형 추론 시스템의 위험과 연산량을 보고하는 데 사용할 수 있는 가볍고 분포 가정이 없는 방법을 제공한다.

arXiv:2611.21119v1stat.ML

적은 단계로 생성할 때 닫힌 형태의 결합이 갖는 한계

The Limits of Closed-Form Couplings for Few-Step Generation

흐름 모델로 적은 단계의 생성기를 만들려면 사전학습 흐름 모델이나 일관성 손실 등 복잡한 기술이 필요하다. 정류 흐름은 적은 단계로 샘플링하는 데 성공해 널리 쓰인다. 다만 모델을 사전학습해야 하고 데이터셋마다 많은 결합을 샘플링해야 한다. 유한한 데이터셋과 가우스 확률 경로에서는 경험분포의 확률 흐름 벡터장을 닫힌 형태로 구할 수 있다. 따라서 이 벡터장을 교사로 사용하면 사전학습을 아예 생략할 수 있을 듯하다. 그러나 본 연구는 실제로 관심 있는 문제에는 이 접근법을 적용할 수 없음을 보인다. 특히 고차원에서 확산 과정의 해석해는 거의 선형 변환이 된다. 적분하면 초기화에서 뽑은 잡음 벡터와 드리프트의 합을 얻는다. 실험에서 드리프트는 데이터 점을 작게 축소한 것과 비슷하고 잡음과는 거의 독립적이었다. 따라서 이 결합은 드리프트에서만 독립적으로 짝을 지은 경우와 다르다. 이 결합으로 학습하는 것은 잡음과 데이터를 독립적으로 표본 추출해 학습하는 것과 거의 같으므로 유용한 교사 신호를 제공하지 못한다. 이는 데이터가 고차원인 데서 직접 비롯되는 결과다. 차원이 충분히 낮거나 데이터셋이 충분히 크면 해석적 결합은 더 효과적인 교사가 된다. 드리프트가 차지하는 종점 에너지의 비율로 이 효과를 정량화했다. $d$차원 공간에서 크기 $N$의 데이터셋을 사용하면 이 비율은 $\frac{\log N}{d}$에 비례해 변한다. 실험으로 논문에서 제시한 이론적 결과를 모두 확인했다.