arXiv:2606.07426v1 cs.LG

신경망 안내 람다 대수를 통한 복잡계 내 다중 스케일 딥 수식 발견

Discovering Multiscale Deep Formulas in Complex Systems via Neural-Guided Lambda Calculus

Hanqiao Yu, Shusen Yang, Xuebin Ren, Cong Zhao

제출 2026-06-05

한국어 초록

과학의 근본적인 문제 중 하나는 복잡계의 내재된 패턴을 간결한 수학적 공식의 형태로 식별하는 것이다. 현재의 인공지능(AI) 기반 방법들은 단일 스케일 시스템에서는 강력한 성능을 보였으나, 다중 스케일 복잡계에서 스케일 특이적 공식을 식별하는 데는 여전히 제한이 있다. 본 논문에서는 복잡계로부터 불변량(invariants) 및 분포(distributions)를 포함하여 잠재적으로 다른 형태를 가진 다중 스케일 공식을 자동으로 추출하는 엔드-투-엔드(end-to-end) AI 방법인 Deflex를 제안한다. Deflex는 Deflexformer와 Deflexpressor라는 두 하위 시스템으로 구성된다. Deflexpressor는 고차 공식을 위한 람다 대수 기반 기호 회귀 모델이다. Deflexformer는 여러 스케일에 걸쳐 통합된 표현을 학습하는 분해 가능한 딥 에너지 모델이다. Deflexpressor는 Deflexformer를 사전 학습(pre-train)하기 위해 합성 데이터를 생성하며, 이후 Deflexformer는 다중 스케일 잠재 관계를 분해(decoupling)하여 공식 발견을 안내한다. 다양한 행동을 보이는 6가지 대표적인 복잡계에서 Deflex는 자동화된 다중 스케일 발견을 가능하게 하면서 최첨단(SOTA) 방법들 대비 최대 7배 더 높은 효율성을 달성했다. 본 연구는 학제 간 과학적 발견을 위한 유용한 도구가 될 수 있다.

원문 초록

A fundamental problem in science is identifying underlying patterns of complex systems in the form of concise mathematical formulas. Current Artificial Intelligence (AI)-based methods have shown strong performance in single-scale systems, yet remain limited in identifying scale-specific formulas in multiscale complex systems. We present Deflex, an end-to-end AI method to automatically extract multiscale formulas with potentially different forms, including invariants and distributions, from complex systems. Deflex consists of two subsystems named Deflexformer and Deflexpressor. Deflexpressor is a lambda-calculus symbolic regression model for higher-order formulas. Deflexformer is a decomposable deep energy model for learning unified representations across scales. Deflexpressor generates synthetic data to pre-train Deflexformer, which then guides formula discovery by decoupling multiscale latent relationships. Across six representative complex systems with diverse behaviors, Deflex achieves up to 7-fold higher efficiency than the state-of-the-art methods while enabling automated multiscale discovery. Our work could be a useful tool for scientific discovery across disciplines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07426v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13750v1cs.LG공통 태그 Representation Learning, Math

작은 수학적 세계를 활용한 과제 다양성의 효과 연구

Studying the Effects of Task Diversity Using Small Mathematical Worlds

모듈러 덧셈과 같은 기초적인 수학적 과제는 노이즈가 많고 검증하기 어려운 대규모 실제 환경에서는 확인하기 힘든 신경망의 동작 양상을 밝히는 데 유용한 도구로 활용되어 왔습니다. 이러한 연구들은 대개 단일 과제에 집중해 왔습니다. 그러나 현대의 언어 모델은 다음 토큰 예측 목적함수로 학습됨에도 불구하고 방대한 수의 과제에 노출됩니다. 본 연구에서는 정수 및 순열에 대한 서로 구별되면서도 관련된 과제들로 구축된 두 가지 수학적 과제 생태계인 IntWorld와 PermWorld를 소개합니다. 두 생태계 모두 과제들이 구별되면서도 서로 연결된 응집력 있는 수학적 '세계' 내에서 과제 다양성을 시뮬레이션하도록 설계되었습니다. 데이터셋이 절차적으로 생성되기 때문에 과제의 수를 정밀하게 조절할 수 있으며, 이를 통해 학습에서 다른 요인들과 분리하여 과제 다양성의 역할을 밝혀내기 시작할 수 있습니다. 데이터셋을 소개한 후, 과제 다양성을 늘리는 것이 모델 내부 표현의 풍부함을 증가시킨다는 견해를 뒷받침하는 초기 결과를 제시합니다.

arXiv:2609.29102v3cs.CL공통 태그 Representation Learning, Math

ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기

ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks

완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.

arXiv:2610.02391v1cs.LG공통 태그 Representation Learning, Math

망설임에는 기하학이 있다: 희소 활성화 조향을 위한 엔트로피 학습 쌍곡 프로브

Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering

대규모 언어 모델이 수학 문제를 해결할 때 그 추론은 대체로 계층적이며, 해결 과정은 다음 토큰 엔트로피가 높은 소수의 토큰에서 분기되는 경우가 많습니다. 이러한 트리 형태의 구조는 유클리드 공간보다 왜곡이 훨씬 적게 쌍곡 공간에 임베딩됩니다. 그러나 활성화 조향(activation steering)은 해결 과정의 대부분의 토큰이 이미 문맥에 의해 결정되어 있음에도 불구하고, 모든 토큰에 하나의 고정된 유클리드 벡터를 더함으로써 사전학습된 모델의 은닉 상태를 수정하는 것이 일반적입니다. 본 논문에서는 모델 자체의 다음 토큰 엔트로피만을 레이블로 사용하는 경량 프로브를 통해 은닉 상태를 푸앵카레 볼(Poincaré ball)에 임베딩하는 쌍곡 엔트로피 조향(Hyperbolic Entropy Steering, HEST)을 제안합니다. 이 엔트로피가 임계값을 초과하는 지점에서, HEST는 프로브 판독값의 최급하강 측지선(geodesic of steepest descent)을 따라 임베딩된 상태를 이동시키고 그 변화를 다시 은닉 상태로 매핑합니다. 학습된 이상점(ideal point)의 부제만(Busemann) 판독값에 대해, 고정된 길이의 한 스텝이 모든 상태에서 동일한 양만큼 판독값을 감소시킴을 증명합니다. Qwen2.5-Math 및 Llama-3.1 계열의 인스트럭션 튜닝된 3개 모델에서 부제만 판독값을 적용한 HEST는 6개 설정 중 5개에서 MATH-500 및 GSM8K의 그리디 정확도를 최대 1.8포인트 향상시킨 반면, 모든 토큰에 추가된 대조 조향 벡터는 정확도를 떨어뜨렸습니다. 동일한 방식으로 학습된 유클리드 프로브를 사용했을 때는 Qwen2.5-Math-1.5B-Instruct에서 이러한 성능 향상이 사라졌습니다. 성능 향상은 모델이 자주 망설이는 문제에서 가장 컸으며, 나머지 문제에서의 정확도는 거의 변하지 않았습니다.

arXiv:2610.00435v1hep-th공통 태그 Math, Symbolic Regression

AI 에이전트가 과학 방정식을 발견하는 방법: 하이드로토프 재발견부터 새로운 수면파 진폭까지

How AI Agents Discover Scientific Equations: From Hydrotope Rediscovery to New Water-Wave Amplitudes

본 연구에서는 비선형 표면파 산란의 서로 다른 다항식 조각들을 하나의 전역적 표현으로 결합하는 최근 발견된 기하학적 공식인 하이드로토프(hydrotope)를 통제된 사례 연구로 활용하여, AI 에이전트(agent)가 과학 공식을 발견하고 검증하는 방식을 연구합니다. 이 문제는 겉보기와 달리 매우 까다롭습니다. 개별 주파수 영역 내에서는 단순한 공식이 성립할 수 있지만, 전역적인 결과를 얻으려면 이들의 경계를 식별하고 잠재적으로 활성화될 수 있는 기하급수적으로 많은 항들을 결합해야 하기 때문입니다. 우리는 인간-에이전트 협업을 통해 이 공식이 원래 어떻게 발견되었는지를 재구성하고, 힌트가 없는 조건과 두 가지 형태의 인간 안내(부정확한 사전 지식을 나타내는 거짓 힌트 및 도메인 지식 기반 통찰을 나타내는 참 힌트) 하에서 18회의 단일 프롬프트(prompt) 재발견 실행을 분석합니다. 단 4회만이 모든 운동학적 챔버(kinematic chamber, 즉 단일 다항식 형태가 적용되는 영역)에 걸쳐 공식을 복원하는 데 성공했으며, 대부분의 실패한 실행은 올바른 챔버 다항식을 찾기는 했으나 이를 결합하지 못하거나 전체 영역을 검증하는 데 실패했습니다. 기존의 기호 회귀(symbolic regression), LLM 지원 기호 회귀, 표준 머신러닝 회귀 모델 또한 우리의 실험에서 전역 공식을 복원하지 못했습니다. 이러한 실패 양상을 바탕으로, 우리는 총괄 책임 에이전트가 두 연구 에이전트에게 상호 보완적인 해석적 및 수치적 작업을 할당하고 그 결과를 독립적으로 평가하는 'PI+2인 학생(PI+two-student)' 워크플로를 테스트합니다. PI+2인 학생 팀은 완전한 하이드로토프 공식을 성공적으로 재발견했으며, 더 어려운 세 개의 음의 파수(three negative wavenumber) 문제에 동일한 워크플로를 적용하여 6점 진폭 $A_6$에 대한 독립적으로 검증된 새로운 해석적 표현식을 발견했습니다.

arXiv:2609.28442v1cs.LG공통 태그 Representation Learning, Math

수학적 추론에서 순서 불변 답과 순서 민감 표현

Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning

수학적 규칙 집합의 의미를 바꾸지 않고 순서만 바꾸면 정답은 유지되어야 하지만, 모델의 내부 표현도 불변으로 유지되어야 할까? 동일한 정답을 갖는 여러 규칙 순서로 제시된 합성 다단계 함수 합성(function-composition) 문제를 사용해 이 질문을 조사한다. 정확도와 순열 신호 대 잡음비(permutation SNR)를 측정하는데, 후자는 문제 인스턴스 간 변이에 비해 순서 패턴이 얼마나 뚜렷하게 표현되는지를 정량화한다. 1B~8B 파라미터 규모의 16개 언어 모델에서 다음 패턴을 확인한다: 재순서화된 문제를 더 정확히 푸는 모델일수록 서로 다른 규칙 순서를 더 뚜렷하게 표현한다. 평가한 모든 합성 설정에서 층 평균 permutation SNR은 정확도와 양의 순위 상관을 보이며, Spearman 상관계수는 0.86에 이른다. 이 결과는 답 불변성(answer invariance)과 표현 불변성(representation invariance) 사이의 구별을 부각한다. 성공적인 수학적 규칙 합성은 동등한 규칙 순서들 사이에서 서로 다른 내부 표현과 동반될 수 있다. 이는 답 불변성과 표현 불변성을 구분해야 함을 정당화하며, 답 정확도만을 넘어 수학적 추론에 대한 표현 관점을 제시한다.

arXiv:2609.38840v3cs.LG공통 태그 Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.