ISR: Invertible Symbolic Regression
원문 초록
We introduce an Invertible Symbolic Regression (ISR) method. It is a machine learning technique that generates analytical relationships between inputs and outputs of a given dataset via invertible maps (or architectures). The proposed ISR method naturally combines the principles of Invertible Neural Networks (INNs) and Equation Learner (EQL), a neural network-based symbolic architecture for function learning. In particular, we transform the affine coupling blocks of INNs into a symbolic framework, resulting in an end-to-end differentiable symbolic invertible architecture that allows for efficient gradient-based learning. The proposed ISR framework also relies on sparsity promoting regularization, allowing the discovery of concise and interpretable invertible expressions. We show that ISR can serve as a (symbolic) normalizing flow for density estimation tasks. Furthermore, we highlight its practical applicability in solving inverse problems, including a benchmark inverse kinematics problem, and notably, a geoacoustic inversion problem in oceanography aimed at inferring posterior distributions of underlying seabed parameters from acoustic signals.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
정규화되지 않은 분포를 위한 기호 밀도 추정기
Symbolic Density Estimators for Unnormalized Distributions
관측된 표본으로부터 확률 밀도 함수(PDF)의 기호적(symbolic) 또는 해석적(analytical) 형태를 추정하는 것은 통계 및 계산 모델링의 근본적인 과제입니다. 이 과정은 기저 현상을 특징짓는 해석 가능하고 일반화 가능한 관계를 도출하는 데 매우 중요합니다. 전통적으로 이러한 추정은 도메인 전문성과 분야별 사전 지식에 크게 의존해 왔으며, 전문가들은 경험적 증거와 이론적 이해를 바탕으로 적절한 함수 형태나 매개변수 집합(parametric families)을 선택합니다. 그 후 이러한 형태의 계수는 일반적으로 매개변수 추정을 통해 결정됩니다. 본 논문에서는 상호작용의 범위 및 미리 정의된 기본 함수 집합과 같은 도메인 특화 사전 지식을 활용하여, 관측된 표본으로부터 정규화되지 않은 분포의 기호 표현식을 추정하는 프레임워크를 개발합니다. 본 연구는 딥 생성 모델(deep generative models)을 기호 회귀(SR)와 통합하고, 대규모 분포 인수분해와 같은 귀납적 편향(inductive bias)을 결합하여 문제를 다루기 쉬운 수준으로 유지합니다. 본 논문에서 살펴보는 딥 생성 모델에는 가능도 기반 모델(즉, 흐름 모델)과 점수 기반 모델이 포함됩니다. 실험을 통해 제안된 프레임워크가 다변량 토이 분포뿐만 아니라 계산 물리학의 격자계(즉, XY 모델 및 $φ^4$ 이론)에 대한 밀도 함수를 추정하는 데 효과적임을 보여줍니다. $φ^4$ 이론의 재규격화 문제에 적용했을 때, 제안된 프레임워크는 표본으로부터 직접 서로 다른 스케일에서의 해밀토니안 함수에 대한 간결한 기호 근사를 추정하여, 비섭동적(nonperturbative) 환경에서 전통적인 섭동론적 또는 해석적 접근법으로는 도출하기 어려울 수 있는 표현식을 산출합니다.
기호 회귀에서 선택 압력으로서의 계수 보정
Coefficient Calibration as Selection Pressure in Symbolic Regression
밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.
스크레이프오프 층(Scrape Off Layer) 플라즈마 시뮬레이션을 위한 확률적·기하 인지 신경망 대리 모델
Probabilistic and Geometry Aware Neural Surrogate of Scrape Off Layer Plasma Simulations
토카막 경계 플라즈마 시뮬레이션을 위한 고속 대리 모델(surrogate)은 일반적으로 전역 운전점(operating point)을 셀 값들의 평탄화된 벡터로 매핑하는 결정론적 회귀기이다. 디버터 탈부착(divertor detachment) 전이 근처에서는 정상 상태(steady state)가 단일 값으로 안정적으로 정해지지 않는다. 점 추정(point estimate)은 질적으로 서로 다른 플라즈마 상태들에 걸쳐 평균을 내야 하며, 신뢰도에 대한 어떠한 언급도 없이 결과를 내놓는다. 더욱이 평탄화된 벡터 표현은 SOLPS-ITER 메시의 기하학적 구조를 버린다. 본 연구는 이 두 가지 문제를 모두 다룬다. 우리는 곡선형(curvilinear) 메시를 셀 인접성을 보존하고 정확히 역변환되는 배치를 가진 세 개의 고정 크기 이미지 텐서로 펼쳐, 합성곱 신경망(convolutional network)이 정보 손실 없이 기하 구조 위에서 동작할 수 있도록 한다. 이후 민감도가 높은 시스템에 적합한 조건부 플로 매칭(conditional flow matching) 모델을 이 표현 위에서 학습한다. 그 결과 민감한 운전점에서도 여러 개의 그럴듯한 결과를 포착하는 효율적이고 확장 가능한 대리 모델을 얻는다. 가스 퍼프(gas-puff) 스캔을 따라, 예측 분포는 초기 레짐 전이(regime transition)를 지나면서 고온 모드와 저온 모드로 갈라진다. 크기가 알려진 분기(bifurcation)를 주입한 합성 데이터에 대한 추가 검증에서도, 모델이 두 분기의 평균이 아니라 두 분기를 각각 복원함을 확인한다.
매개변수 예산 하에서 루프 추정의 통계적 이득
Statistical Gains from Looped Estimation under Parameter Budgets
인공지능에서 메모리 수요가 증가함에 따라 더 적은 학습 가능 매개변수로 학습하려는 동기가 커지고 있다. 본 연구는 반복(iteration)마다 매개변수를 공유하며 하나의 적합된 연산자를 반복 적용하는 루프 추정기(looped estimator)가 동일한 매개변수 예산 하에서 통계적 정확도를 향상시킬 수 있는지 묻는다. 이에 대응하는 기존의 비공유(untied) 추정기는 각 반복마다 별도의 매개변수를 사용한다. 일반적인 가능도(likelihood) 모델에 대해, 루프 시브(sieve) 최대 가능도 추정에 대한 제곱 Hellinger 위험의 상한과, 튜닝된 비공유 모델군에 대한 미니맥스 하한을 확립한다. 이 경계들은 매개변수-반복-정확도 간의 트레이드오프를 드러낸다. 즉, 반복 계산은 매개변수를 추가하지 않고도 근사를 개선할 수 있으나, 계산 비용과 적합된 함수 클래스의 복잡도를 증가시킨다. 알려진 Hölder 매끄러움을 갖는 목표 함수에 대해, 루프 잔차 순방향 신경망(residual feedforward network)과 특정한 post-layer-normalized 트랜스포머(Transformer)는 유계 실수 매개변수의 개수를 고정한 채로 로그 인자를 제외하고 미니맥스 다항 수렴률을 달성한다. 충분히 큰 고정 예산에서는 표본 크기가 증가함에 따라 루프 방식의 최악 사례 위험이 0으로 수렴하는 반면, 최적의 비공유 방식의 최악 사례 위험은 0으로부터 일정 수준 이상 떨어진 채로 유지된다. 명시된 예산 증가 조건 하에서는 루프 대 비공유 위험 비율 또한 0으로 수렴한다. 가우시안 및 라플라스 회귀, 이진 응답, 에너지 기반 밀도 추정을 통해 이론을 예시한다.
CrowdCue: 비전-언어 군중 계수를 위한 전문가-단서 조건화
CrowdCue: Specialist-Cue Conditioning for Vision-Language Crowd Counting
생성형 비전-언어 모델(VLM)은 하나의 모델이 군중 수와 장면에 대한 자연어 설명을 모두 생성하는 계수 패러다임을 제공하지만, 이들의 순수 계수 정확도는 100만 개 미만의 매개변수를 가진 전문가 회귀 모델 수준에 머물러 있습니다. 여기서 핵심적인 미해결 과제는 사전학습된 전문가의 보조 가이드가 VLM을 유의미한 수준으로 끌어올릴 수 있는지, 그리고 그 가이드를 어떤 채널을 통해 전달하는 것이 최적인지 여부입니다. 본 연구에서는 네 가지 널리 사용되는 군중 계수 벤치마크(ShanghaiTech A 및 B, UCF-QNRF, NWPU-Crowd)에서 Qwen2.5-VL-7B를 평가합니다. 제로샷 프롬프팅은 파싱 가능한 계수 값을 거의 생성하지 못하므로, LoRA 지도 미세조정을 통해 전체 MAE 81.64의 기준선을 확립했습니다. P2PNet에서 파생된 밀도 히트맵을 보조 시각적 신호로 조건화하는 방식은 테스트한 모든 인코딩에서 실패했으며, 적대적 교체 프로토콜을 통해 모델이 히트맵을 읽기는 하지만 이를 역효과가 나도록 적용함을 확인했습니다. 이에 따라 본 연구는 동일한 전문가의 이미 통합된 정수 계수 값을 이산 기호로서 VLM에 제공하는 접근 방식인 CrowdCue를 제안합니다. 텍스트 채널 변형은 MAE 72.04에 도달했습니다. 정수를 인쇄된 숫자로 렌더링하여 두 번째 이미지로 제공하는 시각적 채널 변형은 본 논문에서 가장 우수한 결과인 MAE 62.65에 도달하며, 단서를 제공한 전문가 단독 성능(동일 분할 기준 84.45)을 크게 앞질렀습니다. 본 연구에서 다룬 후기 융합 VLM에서 구속 제약이 되는 것은 채널 자체가 아니라 전문가 신호가 전달되는 추상화 수준입니다.
유전 프로그래밍 심볼릭 회귀에서 제로샷 LLM 생성 부모 선택 벤치마킹
Benchmarking Zero-Shot LLM-Generated Parent Selection in Genetic Programming for Symbolic Regression
부모 선택은 심볼릭 회귀를 위한 유전 프로그래밍(GP)에서 탐험, 활용, 복잡도 제어에 중요한 영향을 미친다. 대규모 언어 모델(LLM)이 반복적 메타 진화 없이 제로샷 설정에서 효과적인 연산자를 합성할 수 있는지는 불분명하다. 여기서 제로샷이란 모델이 참조 연산자나 반복적 피드백 없이 작업 설명만 받는 것을 의미한다. 본 연구에서는 심볼릭 회귀를 위한 표준 GP 프레임워크 내에서 8개 LLM에 걸쳐 부모 선택 연산자의 제로샷 합성을 벤치마킹한다. 각 모델은 부모 선택 연산자를 생성하기 위해 동일한 자연어 프롬프트를 받으며, 생성된 연산자는 부모 선택 연산자만 교체된 표준 GP 프레임워크에서 평가되고, 다른 모든 구성 요소와 진화 탐색 예산은 일정하게 유지된다. 각 LLM에 대해 10개의 독립적인 제로샷 연산자를 12개 OpenML 회귀 벤치마크에서 평가하고, 자동 lexicase 및 토너먼트 선택 기준선과 비교한다. Claude Sonnet~4.6과 Gemini~3.1 Pro는 학습 및 홀드아웃 테스트 $R^2$ 모두에서 일관되게 강한 성능을 보여 두드러진다. 벤치마크에서 가장 강한 연산자인 Kimi~K2.5 제로샷 합성은 탐색 효과성에서 자동 lexicase 및 토너먼트 선택 기준선을 능가한다. 이 결과는 제로샷 LLM 합성이 경쟁력 있는 GP 선택 연산자를 생성하는 실행 가능한 접근법임을 시사한다. 분석에 따르면 생성된 연산자 중 다수가 선택을 안내하기 위해 semantics를 사용하며, 이는 LLM이 작업 설명만으로 비자명한 탐색 휴리스틱을 생성할 수 있음을 시사한다. 또한 공개 LLM 리더보드 순위와 GP 성능 간의 관계를 조사한다. Humanity's Last Exam, SWE-bench Verified와 같이 널리 사용되는 벤치마크는 학습 $R^2$와 강한 상관관계를 보이지만, 홀드아웃 테스트 $R^2$와의 관계는 더 약하고 덜 명확하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.