PyTorchKR Papers

최신 논문

총 30편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.21295v1cs.LG

Deep Learning for Physicists: From Linear Regression to Reasoning Models

These lecture notes are based on an introductory course on neural networks and deep learning that the author taught in the School of Mathematical Sciences at Queen Mary University of London in 2023/24 and 2024/25. The author, however, is a physicist, and it shows: wherever possible, ideas are explained with physical intuition rather than heavy formalism. Readers with a background in physics or mathematics who want a self-contained, introductory route into modern machine learning may therefore find these notes particularly friendly. The notes start from maximum likelihood, least squares, linear regression and (stochastic) gradient descent. They then cover neural networks, backpropagation, the vanishing gradient problem, batch and layer normalization, overfitting and regularization, adversarial examples, and the kernel method. The second half turns to natural language processing: word embeddings, recurrent networks and LSTMs, the attention mechanism and Transformers, and large language models, including scaling laws, the history of GPT, instruction tuning, reinforcement learning from human feedback, hallucination, alignment faking, chain-of-thought reasoning and test-time scaling. The emphasis on large language models reflects requests from the students. The notes are aimed at third- and fourth-year students in the UK system. Because the course was also taken by students from other departments, very little is assumed: even basic material such as matrix multiplication is explained from scratch, so readers familiar with it can safely skip such parts. No originality is claimed; the aim is a coherent, intuitive path through the material. Developments after spring 2025 are not covered, but the basic ideas emphasized here are unlikely to go out of date soon.

arXiv:2611.21503v1hep-th

Learning from Duality in Neural Network Field Theories

We develop neural realizations of positive-level Wess-Zumino-Witten models using bosonic Wakimoto and fermionic Fourier-Berezin fields. Level-rank duality connects the charged sectors of the fermionic construction, where explicit neural observables recover conformal block data and enable the transfer of information about unknown correlators between paired theories. We also show that distinct neural presentations of the same continuum current algebra exhibit different finite-width behavior, with approximation accuracy depending on architecture, regulator, and parameter distribution. These results connect the exact mathematical structure of conformal field theory with the expressive and computational properties of neural field theories.

arXiv:2610.16733v2hep-th

TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving

We present a suite of 50 unpublished research-level theoretical physics problems with verifiable answers. Without AI assistance, a typical problem in our collection could be solved by a world expert in about a day or less but would take considerably longer for experts in adjacent specialties. We test the ability of off-the-shelf AI agents to tackle these problems autonomously, without human hints. When given access to tools available in a realistic setting, including the ability to search the literature and write scripts for numerical and symbolic work, the best-performing agent, GPT-6-Astra harnessed in Codex, obtains the final answers with a near-perfect accuracy of 98% at an average cost under USD 3 per problem. On average, agents show only small changes in accuracy when denied web search and access to background research papers, suggesting significant memorization of the literature. These results suggest that state-of-the-art agents can accurately perform concrete calculations required across theoretical physics research. We comment on the broader implications of these findings and discuss possible explanations for the current lack of agent-led breakthroughs in theoretical physics despite their outstanding problem-solving abilities.

arXiv:2601.14175v2cs.LG

A model of errors in transformers

We study the error rate of LLMs on tasks like arithmetic that require a deterministic output, and repetitive processing of tokens drawn from a small set of alternatives. We argue that incorrect predictions arise when small errors in the attention mechanism accumulate to cross a threshold, and use this insight to derive a quantitative two-parameter relationship between the accuracy and the complexity of the task. The two parameters vary with the prompt and the model; they can be interpreted in terms of an elementary noise rate, and the number of plausible erroneous tokens that can be predicted. Our analysis is inspired by an ``effective field theory'' perspective: the LLM's many raw parameters can be reorganized into just two parameters that govern the error rate. We perform extensive empirical tests, using Gemini 2.5 Flash, Gemini 2.5 Pro and DeepSeek R1, and find excellent agreement between the predicted and observed accuracy for a variety of tasks, although we also identify deviations in some cases. Our model provides an alternative to suggestions that errors made by LLMs on long repetitive tasks indicate the ``collapse of reasoning'', or an inability to express ``compositional'' functions. Finally, we show how to construct prompts to reduce the error rate.

arXiv:2611.02084v1gr-qc

Black Hole Love Numbers with Physics-Informed Neural Networks

We develop and validate a physics-informed neural network (PINN) framework for computing the tidal Love numbers of black holes directly from their perturbation equations. We consider static perturbations of the Kerr black hole, whose exact hypergeometric solutions provide a controlled benchmark for both the numerical solver and the extraction of the physical response. The framework combines exact enforcement of the horizon boundary conditions with an $H^2$-Sobolev loss that incorporates derivatives of the differential-equation residual. The Love number is then obtained by extracting the asymptotic coefficients of the learned solution, without using the analytic connection formula. Across the tested scalar, vector, and tensor perturbations, the method recovers the finite dissipative response with relative errors below $10^{-5}$. Controlled comparisons show that the higher-derivative loss terms improve solution accuracy by orders of magnitude, while independent tests of the extraction procedure distinguish solver errors from errors in recovering the response coefficients. The conservative response, which vanishes analytically, is constrained by the numerical error floor. These results demonstrate that PINNs can accurately compute black-hole tidal response and establish a validated framework for future extensions to frequency-dependent and non-separable perturbation problems.

arXiv:2610.09938v2hep-th

초전도 돔의 빠른 홀로그래피 역변환

Fast holographic inversion of superconducting domes

A holographic superconductor whose scalar mass depends on the gauge field strength, $M(\Fsq)$, reproduces a superconducting dome for a suitable $M$, but recovering $M$ from a dome has taken days. We obtain the condition that fixes the critical temperature from two integrations, started at the horizon and at the boundary, and its derivative with respect to $M$ from the same two solutions, so training needs no finite differences and an inversion takes ten minutes to an hour. With this speed we study the interval between the horizon value of $\Fsq$ at the lowest doping and $\Fsq=0$, which no horizon reaches and at whose end the scalar mass $M(0)$ fixes the dimension of the dual operator. Holding $M(0)$ at several values, the pinned masses, and retraining the rest, we find reconstructions that share the minima of $M$ and agree wherever the horizons reach, apart from the deepest end, but differ on that interval. A rule that keeps the reconstruction with the simplest closed form recovers the scalar mass and the mass function of a dome generated from a quadratic $M$. On Gaussian and double-Gaussian domes and the measured phase diagrams of YBa$_{2}$Cu$_{3}$O$_{y}$ and 2M-WS$_{2}$ its choice rests on ties or narrow margins, and it recovers the scalar mass of only two of the four domes generated from the closed forms it keeps for them. The dome thus constrains $M$ where its horizons reach but not the scalar mass, which a second observable would have to fix.

arXiv:2604.15742v2cs.LG

Collective Kernel EFT for Pre-activation ResNets

In finite-width deep neural networks, the empirical kernel $G$ evolves stochastically across layers. We develop a collective kernel effective field theory (EFT) for a simplified pre-activation residual model. Exact conditional Gaussianity of the residual increment gives finite-width discrete identities for $G$ and its sigma-kernel source. A projected $G$-only closure and a continuous-depth approximation define reference equations for the mean kernel $K_0$, the kernel covariance $V_4$, and the next-to-leading mean correction $K_1$. Numerical tests show that this closure captures the leading mean-kernel evolution, whereas its covariance and next-to-leading accuracy depend on sigma-kernel modes omitted from the $G$-only state. For the scalar ($N=1$) model with $\tanh$ activation, a Hermite--Galerkin extension agrees with the extrapolated $K_1$ value and reduces the $V_4$ endpoint error by $85$--$93\%$ relative to the $G$-only reference. These results clarify the range of validity of the equal-time Markov $G$-only description and identify the additional collective information required beyond it.

arXiv:2610.12293v1hep-ph

머신러닝과 고에너지 핵물리학의 만남: 패턴 인식에서 물리 통합 발견까지

Machine Learning Meets High-Energy Nuclear Physics: From Pattern Recognition to Physics-Integrated Discovery

고에너지 핵물리학(HENP)에서의 머신러닝(ML)은 물리적 지식이 데이터 분석, 시뮬레이션, 물리 추론에 더 직접적으로 통합되는 새로운 단계에 접어들고 있다. 이 미니 리뷰는 지난 수년간 성숙해 온 발전에 초점을 맞춘다. 초기 응용이 사건 분류(event classification), 패턴 인식, 선택된 관측량에 대한 대체 모델(surrogate model)을 강조했던 것과 달리, 최근 연구는 물리 통합 워크플로우로 이동하고 있다: QCD 물질 특성의 보정된 베이즈 추출(calibrated Bayesian extraction), 중이온 및 중성자별 데이터로부터의 고밀도 물질 상태방정식(equation-of-state) 추론, 생성적 사건 모델링(generative event modeling), 약한 물리 신호의 신경망 언폴딩(neural unfolding), 미분 가능한 역해법(differentiable inverse solver), 게이지 등변(gauge-equivariant) 및 디퓨전 기반 격자장 샘플러(lattice-field sampler), 그리고 홀로그래픽 QCD에서의 모델 함수에 대한 신경망 재구성이다. 우리는 중이온 충돌, 중성자별 물리학, 격자 양자장론(lattice QFT), 홀로그래픽 또는 연속체 QCD에서의 ML의 최근 응용을 조사한다. 강조점은 ML 아키텍처 자체가 아니라, 이들이 구체적인 물리 워크플로우에 어떻게 투입되는지, 대칭성, 보존 법칙, 인과성, 열역학적 안정성, 위상(topology)과 같은 물리적 제약이 어떻게 부과되는지, 그리고 불확도 정량화(uncertainty quantification)와 검증이 AI 보조 결과가 신뢰할 수 있는 물리적 결론을 지지할 수 있는지를 어떻게 결정하는지에 있다.

arXiv:2610.09147v1hep-lat

홀로노미와 모서리 재가중을 통해 독립적인 플라켓으로부터 2차원 격자 상의 SU(N) 게이지 이론 샘플링하기

Sampling SU(N) gauge theory on a 2D lattice from independent plaquettes via holonomies and corner reweighting

격자 게이지 이론(lattice gauge theory)의 윌슨(Wilson) 정식화에서 기본 자유도는 군(group) 값을 갖는 링크 변수들이며, 작용(action)은 가장 작은 윌슨 루프인 플라켓(plaquette)들의 대각합(trace)에 대한 합으로 주어집니다. 이는 정규화 흐름(normalizing flows)과 같은 생성형 샘플링 방식에 난제를 제기합니다. 즉, 개별 플라켓의 분포를 모델링하기는 쉽지만, 샘플링된 플라켓들을 링크로 역매핑하는 것이 걸림돌이 됩니다. 본 연구에서는 윌슨 플라켓 작용을 갖는 2차원 $\mathrm{SU}(N)$ 게이지 이론에서 이를 우회하는 통계적 방법을 탐구합니다. 작용은 확장된 격자의 네 모서리에서 정합성 조건(consistency condition)이 만족될 때 링크들을 결정하는 홀로노미(holonomy) 변수들로 표현될 수 있습니다. 홀로노미에만 영향을 미치는 경계 조건을 사용하여, 우리는 이 정합성 조건을 조건부 샘플링 문제로 치환하며, 이는 네 모서리에 의존하는 군 교환자(commutator) $Z=XYX^\dagger Y^\dagger$ ($Z\in\mathrm{SU}(N)$)가 주어졌을 때 $X,Y\in\mathrm{SU}(N)$를 샘플링하는 문제로 귀결됩니다. 플라켓들은 독립적으로 샘플링되며, 결과 구성(configuration)들은 추가적인 조건부 샘플링으로 인해 가중치를 갖게 됩니다. 우리는 이러한 가중치를 결정하는 $Z$의 밀도 함수를 $\mathrm{SU}(2)$ 및 $\mathrm{SU}(3)$에 대해 닫힌 형태(closed form)로 도출합니다. 단일 플라켓 분포는 $\mathrm{SU}(2)$와 $\mathrm{SU}(3)$ 모두에 대해 정규화 흐름으로 모델링되며, 군 교환자 문제의 경우 $\mathrm{SU}(2)$에는 닫힌 형태의 샘플러를, $\mathrm{SU}(3)$에는 학습된 정규화 흐름을 사용합니다. 각각 두 가지 결합 상수(coupling)에서 $2\times2$ 및 $32\times32$ 격자를 대상으로 진행한 테스트에서 플라켓당 채택률은 $99\%$를 초과하였으며, 최종 가중치의 유효 표본 크기(effective sample size)는 일반적으로 절반 이상으로 적정 수준을 유지했습니다.

arXiv:2601.01779v2hep-th

모듈러성의 머신러닝

Machine learning modularity

동적 배치(dynamic batching) 알고리즘과 결합된 트랜스포머 기반 시퀀스-투-시퀀스(sequence-to-sequence) 아키텍처를 바탕으로, 본 연구는 $q$-$θ$ 함수 및 타원 감마 함수를 포함하여 여러 타원 감마 함수가 관여하는 복잡한 수식을 자동으로 단순화하는 머신러닝 프레임워크를 소개합니다. 모델은 대수적 항등식, 특히 $\text{SL}(2,\mathbb{Z})$ 및 $\text{SL}(3,\mathbb{Z})$ 모듈러 변환을 적용하여 복잡하게 뒤섞인 식을 표준 형식(canonical form)으로 축약하는 방법을 학습합니다. 실험 결과에 따르면 이 모델은 분포 내(in-distribution) 테스트에서 99\% 이상의 정확도를 달성하며, 더 깊은 뒤섞임 깊이와 같은 상당한 외삽(extrapolation) 조건에서도 90\%를 초과하는 정확도를 유지하며 견고한 성능을 보여줍니다. 이는 모델이 단순히 학습 패턴을 암기하기보다는 모듈러 변환의 기초 대수적 규칙을 내재화했음을 입증합니다. 본 연구는 모듈러 항등식을 활용해 기호적 단순화를 수행하는 데 머신러닝을 성공적으로 적용한 최초의 사례를 제시하며, 양자장론 및 끈 이론의 특수 함수 계산을 위한 새로운 자동화 도구를 제공합니다.

arXiv:2610.00435v1hep-th

AI 에이전트가 과학 방정식을 발견하는 방법: 하이드로토프 재발견부터 새로운 수면파 진폭까지

How AI Agents Discover Scientific Equations: From Hydrotope Rediscovery to New Water-Wave Amplitudes

본 연구에서는 비선형 표면파 산란의 서로 다른 다항식 조각들을 하나의 전역적 표현으로 결합하는 최근 발견된 기하학적 공식인 하이드로토프(hydrotope)를 통제된 사례 연구로 활용하여, AI 에이전트(agent)가 과학 공식을 발견하고 검증하는 방식을 연구합니다. 이 문제는 겉보기와 달리 매우 까다롭습니다. 개별 주파수 영역 내에서는 단순한 공식이 성립할 수 있지만, 전역적인 결과를 얻으려면 이들의 경계를 식별하고 잠재적으로 활성화될 수 있는 기하급수적으로 많은 항들을 결합해야 하기 때문입니다. 우리는 인간-에이전트 협업을 통해 이 공식이 원래 어떻게 발견되었는지를 재구성하고, 힌트가 없는 조건과 두 가지 형태의 인간 안내(부정확한 사전 지식을 나타내는 거짓 힌트 및 도메인 지식 기반 통찰을 나타내는 참 힌트) 하에서 18회의 단일 프롬프트(prompt) 재발견 실행을 분석합니다. 단 4회만이 모든 운동학적 챔버(kinematic chamber, 즉 단일 다항식 형태가 적용되는 영역)에 걸쳐 공식을 복원하는 데 성공했으며, 대부분의 실패한 실행은 올바른 챔버 다항식을 찾기는 했으나 이를 결합하지 못하거나 전체 영역을 검증하는 데 실패했습니다. 기존의 기호 회귀(symbolic regression), LLM 지원 기호 회귀, 표준 머신러닝 회귀 모델 또한 우리의 실험에서 전역 공식을 복원하지 못했습니다. 이러한 실패 양상을 바탕으로, 우리는 총괄 책임 에이전트가 두 연구 에이전트에게 상호 보완적인 해석적 및 수치적 작업을 할당하고 그 결과를 독립적으로 평가하는 'PI+2인 학생(PI+two-student)' 워크플로를 테스트합니다. PI+2인 학생 팀은 완전한 하이드로토프 공식을 성공적으로 재발견했으며, 더 어려운 세 개의 음의 파수(three negative wavenumber) 문제에 동일한 워크플로를 적용하여 6점 진폭 $A_6$에 대한 독립적으로 검증된 새로운 해석적 표현식을 발견했습니다.

arXiv:2609.22812v1hep-ph

쿼크 flavor의 형상

The shape of quark flavors

추가 공간 차원에서 가우시안 파동함수의 중첩 적분(overlap integral)으로 쿼크 섹터의 Yukawa 결합을 구성한다. 각 카이랄 fermion의 파동함수가 추가 차원에서 한 점에 국소화(localised)되어 있고, Higgs doublet의 파동함수는 평평(flat)하다고 가정하면, Yukawa 행렬 원소는 세 개의 좌손 쿼크 doublet $q_1$, $q_2$, $q_3$과 여섯 개의 우손 쿼크 singlet $u_1$, $u_2$, $u_3$, $d_1$, $d_2$, $d_3$의 상대적 위치에 의해 결정된다. 기계학습(machine learning)에서 온 수치 최적화(optimization) 기법을 사용하여 쿼크 Yukawa 섹터에 대한 현재의 모든 실험적 제약을 만족하는 장(field) 구성을 찾는다. 이 틀에서는 가우시안 파동함수의 중첩 적분이 추가 차원에서 ${\mathcal O}(1)$ 크기의 분리에 대해 지수적으로 민감하기 때문에, 쿼크 질량의 큰 위계(hierarchy)가 자연스럽게 생긴다.

arXiv:2609.22189v1quant-ph

1차원 슈뢰딩거 고유값 문제를 위한 물리 정보 고전 및 양자 신경망

Physics-Informed Classical and Quantum Neural Networks for One-Dimensional Schrodinger Eigenvalue Problems

1차원 공간에서의 슈뢰딩거 방정식은 정확히 풀 수 있는 잠재(potential)의 소수 집합을 허용하며, 이는 새로운 고유값 솔버에 대한 자연스러운 검증 벤치마크 역할을 한다. 시간 독립 슈뢰딩거 방정식에 대해 물리 정보 신경망(PINNs)과 물리 정보 양자 신경망(PIQNNs)을 구성하고, 이 벤치마크 중 세 가지—조화 진동자, 무한 사각 우물, 유한 사각 우물—에 적용한다. 각 경우 복합 손실은 미분방정식 잔차, 정규화 조건, 경계 거동, 고유상태 간 직교성을 인코딩하여 지도 데이터 없이 시행 파동함수가 진정한 고유함수로 수렴하도록 한다. 두 방법이 반환하는 고유값과 파동함수는 정확한 스펙트럼 및 세 가지 고전 참조법—행렬 Numerov 방법, 유한 차분법, 슈팅(shooting) 방법—과 비교한다. 매끄러운 진동자의 경우 두 신경 솔버는 최저 네 개 고유값을 백만분의 일(parts per million) 수준까지 재현하며, 사각 우물에서는 잠재가 불연속인 경우에도 해석적 에너지 준위를 비슷한 정확도로 복원한다. 강한 얽힘 블록으로 구성된 계층적 각도 임베딩(embedding) ansatz로 만든 양자 회로는, 고전 네트워크의 손실 경관이 탐색하기 어려워지는 더 높은 여기(excited) 상태에서 고전 대응물보다 더 안정적으로 수렴한다.

arXiv:2601.22033v2cs.LG

AdS/CFT를 활용한 홀로그래픽 생성 흐름

Holographic generative flows with AdS/CFT

반-드지터/등각장론(anti-de Sitter/conformal field theory, AdS/CFT) 대응성의 한 형태인 홀로그래피는 생성 모델링(generative modelling)에 자연스러운 틀을 제공한다. 경계 다양체(boundary manifold) 위의 데이터는 전파자(propagator)를 통해 더 높은 차원의 벌크(bulk)로 들어 올려지며, 이 추가 차원은 흐름 매개변수의 역할을 한다. 우리는 이러한 구조를 활용하여 GenAdS를 구축한다. GenAdS는 생성적 흐름 매칭(generative flow matching)에 대한 접근법으로, 그 동역학은 AdS 내 장(field)의 진화와 신경망이 학습하는 잔차 보정으로 표현된다. 경계 샘플은 스칼라 소스로 인코딩되어 흐름을 따라 벌크로 전송되고, 수치 적분 이후 디코딩된다. 우리의 패러다임은 데이터를 AdS 소스로 표현하는 푸리에 공간 인코딩 기법, 흐름 매칭 동역학을 전개하는 정규화된 반경 위상 공간, 그리고 흐름을 안내하는 클라인-고든(Klein-Gordon) 백본을 결합한다. 2차원 체커보드 벤치마크에서, 우리의 실험은 GenAdS의 이점 대부분이 푸리에 표현과 합성곱 아키텍처에서 비롯됨을 보여준다. 그러나 모멘텀 채널 정규화를 제거하면, 물리 정보를 가장 많이 반영한 GenAdS 변형이 경계 위반 측면에서 물리 정보를 사용하지 않는 가장 강력한 대조군에 필적한다. MNIST에서 GenAdS 모델은 충실도 면에서 합성곱 기준선에 근접한 수준을 유지하면서, 비슷한 정밀도에서 상당히 더 높은 재현율을 달성하여 충실도-커버리지 트레이드오프를 시사한다. 우리의 결과는 GenAdS를 물리적으로 해석 가능하고 실험적으로 제어 가능한 생성 모델링 프레임워크로 확립하며, 향후 확장을 위한 다양한 방향을 제시한다.

arXiv:2605.22330v2hep-ph

BSM 글로벌 피팅을 위한 기호 분류 기반 LHC 한계

Symbolic Classification-Enabled LHC Limits for BSM Global Fits

표준 모델을 넘어서는(BSM) 물리학의 글로벌 피팅은 이론과 실험 사이의 양방향 상호작용을 수반하는 경우가 많다. 이론 모델은 실험 탐색에 대한 지침을 제공하고, 실험 결과는 다시 이론적 틀을 제약한다. 이러한 피드백 루프에서 중요한 측면은 측정값과 배제 한계를 글로벌 피팅의 매개변수 스캔, 즉 글로벌 피팅 수행 과정 중에 직접 포함하는 ‘온라인(online)’ 글로벌 피팅이다. 그러나 이러한 분석에 대형 하드론 충돌기(LHC) 한계를 넣는 것은 계산적으로 부담이 커 왔으며, 종종 매개변수 점당 소요 시간이 글로벌 피팅 프레임워크에서 허용 가능한 수준을 초과하기 때문이다. 본 연구에서는 기호 회귀(symbolic regression) 기법에서 도출한 근사를 활용하여 LHC 한계를 ‘온라인’ 글로벌 피팅에 통합할 수 있음을 보인다. electroweakino 생성 탐색에서 얻은 ATLAS 제약 데이터셋을 이용해 현상론적 최소 초대칭 표준 모델(pMSSM) 매개변수 공간을 허용 또는 배제로 분류할 수 있는 수학적 표현을 도출한다. 이를 이어 LHC Run-2 한계를 포함한 데이터에 대한 pMSSM 글로벌 피팅에 반영한다.

arXiv:2608.28084v1cs.LG

고에너지 물리 충돌 데이터 회귀를 위한 고전·양자 기계학습 비교

Comparing Classical and Quantum Machine Learning for Regression in High Energy Physics Collision Data

입자 충돌 사건의 분류와 회귀는 실험 고에너지 물리에서 지속적인 계산적 과제이며, 대량의 시뮬레이션 데이터를 속도와 정밀도 모두를 갖추어 처리해야 한다. 본 연구는 지원 벡터 머신(SVM), 인공 신경망(ANN), 합성곱 신경망(CNN), 장단기 기억(LSTM) 네트워크 네 가지 고전 기계학습 아키텍처를 양자 대응 모델인 양자 SVM(QSVM), 양자 신경망(QNN), 양자 CNN(QCNN), 양자 LSTM(QLSTM)과 체계적으로 비교한다. 모든 모델은 CERN Open Data 포털의 전자-양전자 및 뮤온-반뮤온 최종 상태를 갖는 시뮬레이션 양성자-양성자 충돌 사건으로 학습하며, 입력 특징으로 횡운동량 성분을, 회귀 목표로 횡운동량 크기를 사용한다. 고전 아키텍처, 특히 CNN과 LSTM은 현재 하드웨어 및 데이터셋 제약 하에서 정량적 성능이 근소하게 더 우수하다. 그러나 양자 모델은 학습 가능 매개변수를 훨씬 적게 쓰면서도 경쟁력 있는 정확도에 도달한다. QCNN은 4큐비트와 깊이 3의 회로만으로 깊은 고전 CNN의 성능을 재현하여, 근기간(near-term) 양자 장치에서 실질적인 매개변수 효율 이점을 시사한다. 기준선 분석은 얕은 다항식 피팅에 대해 회귀 문제가 trivial하지 않음을 확인하여 아키텍처 비교의 관련성을 뒷받침한다. 이러한 결과는 현실적이고 자원이 제한된 조건에서 고전과 양자 접근법 간의 트레이드오프를 특성화하며, 실제 양자 하드웨어에 대한 향후 연구를 위한 벤치마크를 제공한다.

arXiv:2608.21588v1hep-th

유한 너비에서의 신경망 장 이론

Neural Network Field Theory at Finite Width

완화된 가정 하에서, 임의의 양자 역학(QM) 모델이나 양자장 이론(QFT)은 가산 무한개의 무작위 매개변수를 갖는 신경망 앙상블로 표현할 수 있다. 우리는 너비 $N < \infty$인 순전파 신경망과 같이 매개변수가 유한한 NN-QM 및 NN-FT 모델의 특성을 조사한다. 일반적으로 이러한 모델은 반사 양성(reflection positivity)이나 군집 분해(cluster decomposition) 같은 기존 유클리드 QFT의 성질 중 적어도 하나를 위반해야 함을 밝힌다. QM과 QFT 모두에서 유한 $N$일 때 어떤 특성을 보존할 수 있고 없는지 이해하는 여러 상보적 관점을 제시한다.

arXiv:2608.21523v1hep-th

컴퓨터에서 신경망 장 이론이 실현할 수 있는 것과 없는 것

What Neural Network Field Theory Can and Cannot Realise on a Computer

신경망 장 이론의 한 목표는 신경망 앙상블 자체를 이론으로 삼아 양자 장 이론(QFT) 또는 유효 장 이론(EFT)을 컴퓨터 위에 올리는 것이다. 우리는 계산할 수 있을 만큼 충분히 정칙적인 함수 클래스에 대해 그 목표를 어디까지 밀어붙일 수 있는지 묻는다. 주된 결과는 표준 신경망 구조에 대해 성립하는 가정 하의 no-go 정리이다. 이를 이용해, 정의 대상이 유한 폭 앙상블인지 그 무한 폭 극한인지, 그리고 계산하고자 하는 대상이 QFT인지 EFT인지에 따라 신경망 장 이론의 네 가지 버전을 구분한다. 두 유한 폭 해석 모두 직관적으로는 일관되지 않다. 각 점에서 유한 분산을 갖는 유한 폭 앙상블의 경우, QFT 해석은 반사 양성(reflection positivity)을 만족하지 못하고, EFT 해석은 양성 위반을 유효 영역 밖으로 밀어낼 수 있는 스케일 분리를 확립하지 못한다. 두 극한 버전 중 하나는 완전히 시뮬레이션할 수 있고 다른 하나는 부분적으로만 가능한데, 후자는 스미어된 상관함수만 통제된 오차로 계산 가능하기 때문이다. 따라서 통제된 수치 계산이라는 수준에서 QFT 버전과 EFT 버전은 구별할 수 없다. 한 차원은 이 장애물에서 벗어나지만, 코사인 신경망에 대해서는 모든 유한 폭에서 여전히 반사 양성이 성립하지 않음이 보인다. 정리를 피하는 두 가지 탈출구, 즉 한 점에서의 유한 분산 또는 정확한 회전 불변성 중 하나를 포기하는 경우가 남아 있으며, 우리는 이 두 가능성을 모두 논의한다.

arXiv:2608.18570v1hep-th

$\widehat Z$-불변량의 위상수학적 특징 학습

Learning Topological Features of $\widehat Z$-invariants

머신러닝과 데이터 분석 기법은 최근 수학 연구, 특히 저차원 위상수학 분야에서 패턴을 식별하고 추측을 정식화하는 강력한 도구로 부상했습니다. 본 논문에서는 (절단된) 무한 $q$-급수, 혹은 이와 동등한 무한 정수 급수로 구조화된 수학적 데이터를 다루는 체계적인 접근 방식을 시작합니다. 이러한 데이터 분석 파이프라인을 적용하기 위해 배관된 3-다양체(plumbed 3-manifolds)에 대한 $\widehat{Z}$-불변량(호몰로지 블록)의 포괄적인 데이터셋을 구축합니다. 우리는 신경망이 $q$-급수 계수로부터 직접 호몰로지류 및 기저 그래프 구조와 같은 필수적인 위상수학적 정보를 안정적으로 추출할 수 있음을 입증합니다. 우리 방법론의 핵심적인 특징은 해석 가능성에 초점을 맞춘다는 점입니다. 국소 그래디언트 민감도와 전역 특징 관련성을 대조함으로써 신경망이 복잡한 위상수학적 규칙을 우회하고 특정 스펙트럼 및 기하학적 대리지표를 학습한다는 점을 밝혀냅니다. 마지막으로, 이 파이프라인을 적용하여 호몰로지 코보디즘을 탐구하고, $\widehat{Z}$-불변량 지수와 히가드 플뢰어(Heegaard Floer) $d$-불변량(보정항) 사이의 고정확도 예측 관계를 발견합니다. 이러한 결과는 $\widehat{Z}$-불변량이 코보디즘 동치성에 관한 미묘한 기하학적 정보를 포착하고 있음을 시사하며, 양자 불변량 연구를 위한 새로운 방향성을 제시합니다.

arXiv:2401.04013v3cs.LG

경사 기반 학습 시스템 선형화의 기본 원리로서의 약한 상관관계

Weak Correlations as the Underlying Principle for Linearization of Gradient-Based Learning Systems

폭이 넓은 신경망과 같은 심층 학습(deep learning) 모델은 상호작용하는 수많은 자유도를 특징으로 하는 비선형 동역학 물리계로 개념화할 수 있습니다. 이러한 시스템은 무한 극한(infinite limit)에서 단순화된 동역학을 보이는 경향이 있습니다. 본 논문에서는 신경 탄젠트 커널(Neural Tangent Kernel, NTK)을 연상시키는 매개변수 동역학의 선형 구조를 나타내는 경사하강법(gradient descent) 기반 학습 알고리즘을 심층적으로 살펴봅니다. 연구진은 이러한 명견한 선형성이 초기값 부근에서 매개변수에 대해 취한 가설 함수의 1계 도함수와 고계 도함수 사이의 약한 상관관계(weak correlations)로 인해 발생함을 규명합니다. 이 통찰은 이러한 약한 상관관계가 해당 시스템에서 관찰되는 선형화의 근본적인 이유일 수 있음을 시사합니다. 대표적인 사례로, 연구진은 폭이 큰 극한(large width limit)의 신경망 내에서 이러한 약한 상관관계 구조를 입증합니다. 선형성과 약한 상관관계 간의 관계를 활용하여, 확률적 경사하강법(SGD)의 학습 궤적 동안 관찰되는 선형성으로부터의 벗어남에 대한 한계(bound)를 도출합니다. 증명을 용이하게 하기 위해, 무작위 텐서의 점근적 거동을 특성화하는 새로운 방법을 도입합니다.