등변 그래프 신경망(Equivariant Graph Neural Network)은 머신러닝 기반 원자 간 포텐셜(interatomic potential)의 핵심 아키텍처로 부상하여, 계산 비용의 일부만으로도 양자 화학 수준의 정확도에 근접하고 있습니다. 이러한 모델들은 국소 원자 환경을 정확하게 기술하지만, 유한한 공간적 컷오프(cutoff)로 인해 장거리 정보 흐름이 단절되며, 메시지 전달 계층을 깊게 쌓으면 지나친 평활화(over-smoothing) 및 과도한 압축(over-squashing)이 발생할 수 있습니다. 기존의 장거리 확장 기법들은 고정된 해석적 전파 커널(propagation kernel)을 규정하거나, 장거리 통신을 스칼라 또는 차수 보존 채널로 제한하거나, 근사적으로만 등변성을 만족하거나, 초선형(super-linear) 계산 비용을 초래합니다. 대규모 시스템에 대해 효율적인 스케일링(scaling) 및 다중 스케일 다체 표현력과 함께 학습 가능한 장거리 등변 수송을 결합하는 것은 여전히 핵심 과제로 남아 있습니다. 본 논문에서는 장거리 텐서 표현 학습을 위해 고속 다중극 방법(Fast Multipole Method, FMM)을 신경 등변 방식으로 확장한 NEMORA(Neural Equivariant Multipole Operators)를 소개합니다. NEMORA는 적응형 공간 계층 구조상에서 FMM의 해석적 다중극 전개 및 변환 연산자를 학습 가능한 등변 연산자로 일반화합니다. 이 연산자들은 각도 차수를 결합하고 다양한 길이 스케일에 걸쳐 다체 상호작용을 형성하며, 데이터 의존적인 장거리 결합을 학습하는 동시에 FMM의 계층적 구조와 해석적 방사형 인자를 물리적 귀납 편향(inductive bias)으로 유지합니다. NEMORA는 선형 시간 및 메모리 복잡도로 평가되므로 수십만 개의 원자에 달하는 대규모 시스템을 다른 장거리 방식보다 효율적으로 다룰 수 있으며, 대칭 제약이 있는 백본 및 제약이 없는 단거리 백본 모두를 보강합니다. 비국소(non-local) 벤치마크에서 단거리 백본 대비 힘(force) 및 에너지 오차를 각각 1자릿수(order of magnitude) 이상, 최대 3자릿수까지 줄여, 정확도 측면에서 기존의 장거리 확장 기법보다 우수하거나 경쟁력 있는 성능을 보입니다.
등변(equivariant) 네트워크는 가중치 공유를 통해 기하학적 대칭을 구조적 사전 지식(prior)으로 내장하여, 비전 작업 전반에서 뛰어난 매개변수 효율성을 달성한다. 그러나 이러한 매개변수 효율성은 연산 효율로 이어지지 않는다. 기존 구현은 구조화된 가중치를 밀집(dense) 행렬로 펼친 뒤 범용 밀집 커널에 전달하므로, 등변 층의 FLOPs는 비등변(non-equivariant) 대응물보다 작지 않다. 본 논문에서는 현대 등변 아키텍처에서 가장 기본적이며 자주 사용되는 모듈인 등변 선형(EQ-Linear) 층이 본질적으로 그룹 차원을 따른 순환 합성곱(circular convolution)과 채널 차원을 따른 선형 변환의 합성임을 관찰한다. 이 관찰에 기반하여, 우리는 그룹 차원을 따른 푸리에 합성곱 정리(Fourier convolution theorem)와 실수 DFT의 켤레 대칭(conjugate symmetry)을 결합하여 복잡도를 $\mathcal{O}(NDC)$에서 $\mathcal{O}(NDC/T)$로 줄이는 정확한 가속 알고리즘인 Flash EQ-Linear를 제안한다. 또한 순전파와 역전파, FP32 및 FP16 정밀도를 모두 아우르는 Flash EQ-Linear 전용 CUDA 커널을 제공한다. 연산자 수준에서 Flash EQ-Linear는 PyTorch의 F.linear 대비 순전파 최대 ${2\times}$ 속도 향상을 달성한다. 네트워크 수준에서는 Flash EQ-ViT와 Flash EQ-Swin이 등변 및 비등변 베이스라인 모두에 대해 최대 ${1.7\times}$ end-to-end 속도 향상을 달성한다. 우리가 아는 한, 이는 등변 네트워크가 정확도, 매개변수 효율성, 추론 속도라는 세 축 모두에서 비등변 대응물을 엄격히 압도한 최초의 사례이다. 코드는 https://github.com/zhongchenzhao/FlashEQLinear 에서 이용할 수 있다.
심층 생성 모델은 물리학부터 화학까지 다양한 분야에서 최근 큰 주목을 받고 있으며, 정규화되지 않은 볼츠만 유사 분포로부터 샘플링하는 것은 근본적인 과제이다. 특히 자기회귀 모델과 정규화 흐름(normalizing flows)은 폐쌤 형태의 확률 밀도를 제공할 수 있다는 매력적인 특성으로 두드러지게 되었다. 또한 대칭과 같은 사전 지식을 심층 신경망에 통합하면 학습 성능을 크게 향상시킬 수 있다는 것은 잘 알려져 있다. 이러한 맥락에서 최근 연구는 대칭 등변 생성 모델(symmetry-equivariant generative models) 개발에 집중하여 놀라운 결과를 달성했다. 이러한 기반 위에서 본 논문은 대칭 강제 확률적 변조(Symmetry-Enforcing Stochastic Modulation, SESaMo)를 제안한다. 등변 정규화 흐름과 유사하게 SESaMo는 확률적 변조(stochastic modulation)라는 새로운 기법을 통해 정규화 흐름에 귀납적 편향(예: 대칭)을 통합할 수 있게 한다. 이 접근법은 생성 모델의 유연성을 향상시켜 다양한 정확한 대칭과 깨진 대칭(broken symmetries)을 효과적으로 학습할 수 있게 한다. 수치 실험에서 SESaMo를 8-가우시안 혼합 모델 및 $φ^4$ 이론과 허버드 모델(Hubbard model)과 같은 물리적으로 관련 있는 장 이론을 포함한 다양한 시나리오에서 벤치마크했다.
망상(reticular) 프레임워크는 다양한 지속 가능한 응용에 잠재력을 지니지만, 방대한 화학 공간이 효율적이고 체계적인 설계를 제한한다. 기계 학습은 탐색을 가속하는 설득력 있는 경로를 제공하지만, 기존 접근법은 결정 구조 기하와 창발적(emergent) 물성을 연결하는 데 있어 해석 가능성 또는 충실도 중 하나를 종종 결여한다. 여기서 우리는 3차원 주기적 공간 샘플링에 기반한 위치 해상(site-resolved) 등변(equivariant) 학습 프레임워크를 제안하며, 이는 망상 구조를 국소 기하 환경으로 분해하여 물성 예측과 위치별 기여도 분석을 동시에 수행한다. 구축 및 검색된 데이터셋의 조합으로 학습된 모델은 가스 저장, 가스 분리, 전자 물성 예측 과제 전반에서 최신(state-of-the-art) 수준의 정확도와 데이터 효율성을 달성한다. 중요하게도, 이 프레임워크는 다양한 프레임워크에 걸쳐 전이 가능한 고기여(high-contribution) 위치를 식별함으로써 해석 가능한 국소 구조-물성 관계를 드러낸다. 학습된 모티프(motif)를 활용하여, 우리는 물리 기반 시뮬레이션으로 검증된, 기록적인 N2 저장량, 강한 CO2/N2 분리 성능, 그리고 거의 0에 가까운 전자 밴드갭을 보이는 새로운 금속-유기 프레임워크(metal-organic framework)의 역설계(inverse design)를 추가로 시연한다.
단백질은 본질적으로 다중 스케일 물리 시스템으로, 기능적 특성은 원자 간 상호작용에서부터 전역 접힘 토폴로지에 이르기까지 여러 공간 해상도에 걸친 협조된 구조적 조직화로부터 창발한다. 그러나 기존 단백질 표현 학습 방법은 일반적으로 단일 구조 수준에서 동작하거나, 서로 다른 구조 정보 원천을 병렬 모달리티로 취급할 뿐, 이들 간의 계층적 관계를 명시적으로 모델링하지 않는다. 우리는 PRIME(물리 정보 기반 다중 스케일 등변 계층을 통한 단백질 표현)을 제안한다. 이는 단백질을 표면, 원자, 잔기, 2차 구조, 단백질 수준에 걸친 5개의 물리적으로 근거한 구조 그래프의 중첩 패밀리로 모델링하는 통합 프레임워크이다. 인접 수준은 결정론적이고 물리 정보 기반의 할당 연산자를 통해 연결되며, 상향식 집계와 하향식 맥락 정제를 통해 양방향 정보 교환을 가능하게 한다. 표준 단백질 표현 학습 벤치마크에 대한 실험은 다양한 과제에서 강력하고 경쟁력 있는 성능을 보여주며, 특히 Fold Classification 벤치마크에서 두드러진 향상을 보인다. PRIME은 더 어려운 Superfamily 및 Fold 분할에서 가장 강력한 기하 GNN 기준선을 13.80점과 18.30점 차이로 능가하며, Reaction Class 예측에서 84.10%의 최첨단 정확도를 달성하여 ESM을 포함한 모든 기준선 방법을 능가한다. 제거 연구는 각 구조 수준이 상호 보완적이고 중복되지 않는 정보를 기여함을 확인하며, 적응형 교차 어텐션 분석은 PRIME이 예측 시점에 가장 과제 관련적인 구조 해상도를 자율적으로 식별함을 보여준다. 소스 코드는 https://github.com/HySonLab/PRIME 에서 공개적으로 이용할 수 있다.
프라이버시 보존 클러스터링은 헬스케어, 사이버보안, 엔터프라이즈 응용 분야에서 민감 데이터를 분석하는 데 필수적이며, 데이터 기밀성 유지와 분석 성능 간의 균형이 요구된다. 본 논문은 대칭성 인식 양자 회로와 차등 프라이버시(differential privacy)를 통합하여 프라이버시-유용성 트레이드오프를 개선하는 매개변수 효율적 프레임워크인 등변 양자 클러스터링(EQC, Equivariant Quantum Clustering)을 제안한다. EQC는 p4m 등변 매개변수 공유를 적용하여 정보성 특징 표현을 유지하면서 회로 복잡도를 줄인다. 본 프레임워크는 세 가지 프라이버시 민감 데이터셋인 NSL-KDD, CERT Insider Threat v6.2, 합성 MIMIC-III 임상 데이터셋을 대상으로 평가되었다. NSL-KDD 벤치마크에서 EQC는 프라이버시 예산 ε = 1.0, δ = 10^-5 조건 하에 클러스터링 정확도 79.3%를 달성하는 동시에 멤버십 추론 공격(membership inference attack) 성공률을 38.3%로 낮추어, 대표적인 고전적·양자 기반 비교 모델들을 능가하였다. 에이블레이션 연구(ablation study)는 성능 향상이 주로 매개변수 효율적 회로 설계와 차등 프라이버시의 결합에서 비롯됨을 보여준다. 실험 결과는 EQC가 이종 민감 데이터셋 전반에 걸쳐 안전하고 프라이버시를 보존하는 클러스터링을 위한 실용적인 양자 준비 프레임워크를 제공함을 입증한다.
Clebsch-Gordan 텐서곱(CGTP)의 $O(L^6)$ 계산 복잡도 문제를 해결하고자 제안된 Gaunt 텐서곱(GTP)이 홀수 차수합 경로(반대칭 경로)를 손실한다는 한계를 극복하기 위해, 본 연구는 스핀 가중 구면 조화 함수(Spin-Weighted Spherical Harmonics, SWSH)를 기반으로 한 SpinGTP를 제안한다. SpinGTP는 GTP의 $O(L^3)$ 효율성을 유지하면서 누락된 반대칭 상호작용을 복원하며, Tetris, 3BPA, SPICE-MACE-OFF, OC20 벤치마크에서 전체 CGTP에 준하는 정확도를 달성하고 특히 키랄(chiral) 구조 예측에서 우수한 성능을 보였다.
기계 학습(ML) 연산자 모델은 밀도 범함수 이론(DFT) 해밀토니안/밀도 행렬을 훨씬 낮은 계산 비용으로 예측하도록 학습될 수 있으며, 이를 통해 전자 구조 계산을 기존에는 불가능했던 규모로 확장할 수 있다. 본 논문에서는 MALOQ(Massively Accelerated Learning of Operators for Quantum Transport)를 소개한다. 이는 소수에서 최대 100,000개의 원자로 구성되고, 대규모 기저 집합(basis set)으로 기술되며, 광범위한 원소를 포함하는 시스템에 대한 전자 구조 행렬을 학습하고 예측하기 위해 구축된 애플리케이션이다. 최신 SO(2)-등변(equivariant) 백본 아키텍처를 기반으로, MALOQ는 (i) 고차 해밀토니안 행렬 데이터를 처리하기 위한 커스텀 데이터 처리 커널과 (ii) 원자 그래프의 확장 가능한 에지 단위 분산을 제공한다. 현재 이용 가능한 가장 대규모의 분자 해밀토니안 데이터셋으로 학습된 결과, 분자 단위 분산 프레임워크 대비 에포크당 시간을 30% 이상 단축하며, 임의 크기의 물질 그래프에 대한 추론을 가능하게 한다. Alps 슈퍼컴퓨터에서 3,000~12,000개의 원자에 대해 각각 최대 192개 및 256개의 GPU를 활용하여 확장 가능한 학습과 추론을 실증한다.
Inverse rendering is an ill-posed problem, but priors such as illumination priors can help simplify it. Existing work either disregards the spherical and rotation-equivariant nature of illumination environments or does not provide a well-behaved latent space. We propose a rotation-equivariant variational autoencoder that models natural illumination on the sphere without relying on 2D projections. To preserve the SO(2)-equivariance of environment maps, we use a novel Vector Neuron Vision Transformer (VN-ViT) as encoder and a rotation-equivariant conditional neural field as decoder. In the encoder, we reduce the equivariance from SO(3) to SO(2) using a novel SO(2)-equivariant fully connected layer, an extension of Vector Neurons. We show that our SO(2)-equivariant fully connected layer outperforms standard Vector Neurons when used in our SO(2)-equivariant model. Compared to previous methods, our variational autoencoder enables smoother interpolation in latent space and offers a more well-behaved latent space.
사전학습된 재료 파운데이션 모델, 즉 기계학습 원자간 포텐셜(machine learning interatomic potentials)은 일반적인 물화학적 지식을 활용하여 포텐셜 에너지 면(potential energy surfaces)을 효과적으로 근사한다. 그러나 물화학적 다양성뿐 아니라 실제 계산 설정과 사전학습 데이터 구축에 사용된 설정 간의 불일치로 인해, 종종 영역별 보정이 필요하다. 이를 해결하기 위해, E(3) 등변 재료 파운데이션 모델의 구조적 특성을 활용하여 모델 파라미터를 선택적으로 갱신하는 희소성 촉진 미세조정 방법을 제안한다. 분자 및 결정 벤치마크 전반의 에너지·힘 예측 과제에서, 우리 방법은 전체 미세조정 및 등변 저랭크 적응(equivariant low-rank adaptation)과 동등하거나 이를 능가하면서 파라미터의 $\sim$3~\%만, 일부 경우에는 $\sim$0.5~\%만 갱신한다. 에너지·힘 보정을 넘어, 자기 모멘트 예측 및 자기 특성을 고려한 총 에너지 모델링에 본 방법을 적용하여 과제 일반화 가능성을 추가로 입증한다. 마지막으로, 희소성 패턴 분석은 전이금속 계에서 강화된 $d$-궤도 기여와 같이 물리적으로 해석 가능한 징후를 밝혀낸다. 전반적으로, 우리 결과는 희소성 촉진 미세조정이 등변 재료 파운데이션 모델의 영역 특화를 위한 유연하고 해석 가능한 방법임을 확립한다.