본 연구는 논리 제약과 제약에 일치하는 데이터셋을 함께 생성하는 신경기호 학습 과제 생성기 NeSySy를 소개한다. 기존 벤치마크와 달리 제약의 구조, 엄격도, 입력 의존성, 데이터 생성 및 정렬 전략 같은 핵심 속성을 세밀하게 조절할 수 있다. 특히 무한 도메인에서도 표현력이 높은 제약을 쓸 수 있다. 풀이기는 제약이 의미가 있는지, 생성한 표본이 제약을 만족하는지 보장한다. NeSySy는 선언적 제약을 활용한 학습과 원격 감독을 통한 학습을 모두 지원하게 설계했다. 여러 제약 계열에서 매개변수가 과제 난도에 체계적이면서 대체로 독립적인 영향을 준다는 증거를 제시한다. NeSySy를 활용해 제약을 고려하는 학습 방법을 연구했다. 제약을 명시적으로 강제하는 편이 유리한 조건과, 표현력이 높은 무제약 모델이 데이터에서 제약 구조를 직접 학습할 수 있는 조건을 각각 확인했다. 이 결과는 NeSySy를 학습과 논리 구조의 상호작용을 분석하는 통제된 실험 환경으로 활용할 수 있음을 보여 준다. NeSySy의 파이프라인에는 여러 풀이기가 포함된다. 충족 가능성 검사기인 CNFgen과 Z3는 제약을 생성하고 검증한다. MaxSAT용 RC2와 OMT용 Z3 같은 제약 최적화 풀이기는 모든 생성 표본이 제약과 일치하도록 최적 수정을 계산한다.
소형 언어 모델은 다단계 절차를 따라야 하는 도구 사용 과제에서 어려움을 겪는다. 이러한 실패가 제한된 능력을 반영하는지, 아니면 절차적 지식의 부재를 반영하는지는 여전히 불분명하다. 본 논문은 모델 가중치를 갱신하지 않고 전문가 추적 기록을 재사용 가능한 프로그램으로 증류하는 검증 가능한 보상 기반 프로그램 학습(Program Learning with Verifiable Rewards, PLVR)을 제안한다. 최첨단 모델이 추적 기록에서 반복되는 연산을 타입이 지정된 기본 요소(primitive)와 규칙으로 변환하고, 탐색 과정이 참조 행동과 학습 과제 검사를 이용해 이들을 조립한다. 동결된 소형 모델이 기본 요소를 실행하며, 결정적 검증기가 그 출력을 확인한다. 이렇게 얻은 프로그램은 학생 모델의 추론을 안내하거나 학생 모델이 제안한 행동을 검사한다. 합성 학습 과제와 보지 못한 벤치마크 테스트 과제를 사용하여, 동일한 프로그램을 여러 학생 모델에 적용해 $\tau^2$-Bench Retail 및 Telecom과 LiveMCPBench에서 평가한다. Telecom에서 PLVR은 8B 모델의 성공률을 43.0%에서 91.2%로 높였으며, 더 큰 학생 모델은 최대 94.4%에 도달한 반면 최고 기준선은 57.9%였다. Retail과 LiveMCPBench에서 PLVR은 최고 기준선들과 대등한 성능을 보이지만, 도구 탐색은 여전히 학생 모델에 더 크게 의존한다. 이러한 결과는 추가적인 추론 연산을 더 신뢰할 수 있는 도구 사용과 맞바꾸어, 동결된 모델들 사이에서 전문가의 절차를 전이하는 방법으로서 프로그램 학습을 뒷받침한다.
관측 데이터로부터 대칭을 발견하면 동역학계에 대한 해석 가능한 통찰과 과학적 기계학습을 위한 사전 지식을 얻을 수 있다. 그러나 기존 대칭 발견 방법에는 두 가지 한계가 있다. 많은 방법이 대칭을 암묵적으로 표현하므로, 동역학계 학습의 물리적 사전 지식으로 쓸 수 있는 명시적 무한소 생성자를 얻기 어렵다. 한편 생성자를 명시적으로 식별하는 방법은 사전 정의된 함수 라이브러리에 의존하는 경우가 많아, 고차 다항식이나 초월함수를 포함하는 복잡한 대칭을 포착하는 능력이 제한된다. 이러한 한계를 해결하기 위해 본 논문은 복잡한 함수 형태를 포착하도록 기호 함수 라이브러리를 동적으로 확장하는 반복적 기호 탐색 과정을 통해 무한소 생성자를 명시적으로 식별하는 프레임워크인 LieDiscover를 제안한다. 구체적으로 각 탐색 단계에서 후보 기호 표현을 생성하기 위해 인코더-디코더 구조를 설계한다. 각 후보가 복원 가능한 대칭 부분공간에 얼마나 기여하는지 평가하기 위해 적응형 특이값 분해(SVD) 기반 평가를 도입한다. 그 결과 얻은 평가는 단계별 보상에 반영되어, 간결한 기호 표현으로 더 풍부한 대칭 구조를 발견하도록 강화학습을 유도한다. 8개의 편미분방정식(PDE) 벤치마크 실험에서 LieDiscover는 고차 다항식, 지수, 삼각함수 항을 포함하는 명시적 생성자를 복원하였으며, 더 정확한 대칭 부분공간 복원과 향상된 잡음 강건성을 달성하였다. 나아가 복원된 생성자는 효과적인 대칭 기반 데이터 증강을 가능하게 하여 하위 신경망 PDE 풀이기의 정확도를 향상시킨다.
신경-기호 시스템은 전문가 에이전트나 기타 지식원으로부터 관련 있는 답변만을 결합해야 한다. 지식 네트워크가 성장하여 더 많은 지식원과 연결될수록, 주어진 입력 질의에 대해 관련 있는 전문가만 사용하는 것은 정확도와 확장성 측면에서 점점 더 중요해진다. 우리는 증거에 관한 법 이론의 표준적인 관련성 정의를 확장한다. 즉, 답변은 가용한 지식을 고려할 때 당면한 사안에 대해 입증력(probative)과 실질적 중요성(material)을 모두 가질 때, 그리고 그 경우에만 관련성이 있다. 우리는 이 관련성 체계를 실제 또는 인공 전문가의 피드백 퍼지 인지 지도(FCM)를 혼합하는 데 적용한다. 전문가 FCM의 방향성 인과 그래프는 하나의 공통 지식 네트워크로 혼합 또는 결합된다. 우리는 전문가들의 평형 극限 순환(limit-cycle) 예측 또는 답변을 혼합 FCM의 답변과 비교하고, 그 차이 또는 변동으로부터 답변의 입증적 지위를 추정한다. 새로운 베이즈 유사 정리는 지식 혼합물을 이에 대응하는 사후 유사 FCM으로 분리하며, 이 FCM 역시 관련성 기반 비교를 가능하게 한다. 그 결과 주어진 질의에 대해 관련성 혼합 FCM 지식 네트워크를 만들어 내는 최종 관련성 혼합 가중치 집합이 얻어진다. 따라서 질의가 다르면 서로 다른 관련성 혼합 FCM이 생성된다. 우리는 허혈성 뇌졸중 위험의 원인과 피드백을 모델링한 실제 13개 노드 전문가 FCM으로부터 생성한 합성 FCM을 사용하여 이 관련성 접근법을 시연한다.
콘웨이의 99-그래프 문제는 매개변수가 srg(99,14,1,2)인 강정규 그래프가 존재하는지를 묻는다. 우리는 서로 보완적인 두 가지 공략 방법을 전개한다. 한 꼭짓점을 고정하면 조건 lambda=1과 mu=2가 그 이웃을 완전 매칭으로 강제하고 그 이웃과 나머지 꼭짓점 사이의 모든 간선을 결정한다. 따라서 (99,14,1,2)에서 미해결 부분은 84개 꼭짓점 위의 제약된 12-정규 그래프이다. 우리는 이 축소를 CP-SAT으로 인코딩하고 유일한 srg(9,4,1,2)를 복원함으로써 이를 검증한다. 또한 Z/99 위의 어떠한 순환 그래프도 CAISc 제약의 68.0% 넘게 만족하지 못함을 전수 열거로 증명하며, 주어진 자기동형사상에 대한 검증된 궤도 정식화를 제시한다. 이어서 부분 점수 탐색 문제를 연구한다. 사람이 설계한 14개의 탐색 구성은 최대 69.43%에 도달했다. 별도로, 점수 함수를 진화적 프로그램 탐색 시스템에 제공하였다. 그 결과 차수를 보존하는 4-꼭짓점 스위치 타부 탐색이 생성되었으며, 검증된 최고 산출물의 점수는 70.73%이다. 생성된 이동 연산은 우리 자체 탐색에서 사용한 것과 다르며, 그 탐색들에서는 안정적이던 고원을 넘어선다. 주어진 대칭군(먼저 Z/33, 이어서 그 위수 11의 부분군)을 갖는 그래프로 제한한 타부 탐색은 점수 76.67%의 14-정규 그래프에 도달한다. 이러한 결과는 존재 문제를 해결하지는 못하지만, 정확한 탐색 공간을 줄이고 우리 실험에서 발견된 검증된 부분 구성 중 최상의 결과를 개선한다.
불변식, 즉 네트워크의 측정 신호들 사이에서 성립할 것으로 기대되는 관계는 검증에서부터 트래픽 생성, 텔레메트리 보간, 입력 검증에 이르는 응용의 기반이 된다. 그러나 이를 수작업으로 작성하려면 형식 논리와 네트워킹 모두에 대한 드문 전문성이 필요하다. 텔레메트리 변수의 가능한 모든 조합을 통계적으로 검사하는 것은 네트워크 규모에서는 실행 불가능하며, 기존 자동화 도구는 여전히 허용 가능한 불변식에 대한 사람이 작성한 문법을 요구하고 실제 환경의 잡음에서 깨지는 정확한 "경성(hard)" 규칙만 학습한다. 본 연구의 핵심 아이디어는 LLM을 사용하여 변수 메타데이터를 검토하고, 카운터 데이터 유형을 분류하며, 간결한 문법을 이루는 후보 구문 관계를 예측한 뒤, 그 문법 안에서 결정론적 통계 탐색을 수행하는 것이다. 초기 문법이 보류된 텔레메트리에서 신뢰할 수 있는 기존 불변식을 복원하지 못하면, Autogram은 복원이 성공할 때까지 LLM이 문법을 반복적으로 확장하도록 지시한다. LLM을 문법 유도와 재유도에 한정하고 후보 검증은 논리적 및 통계적 검사에 맡김으로써, Autogram은 비결정적인 AI의 제안을 유도된 문법 내에서 형식적 보장을 갖는 감사 가능한 불변식으로 바꾼다. 본 연구는 Autogram을 설계 및 프로토타입으로 구현하고 공개 및 실제 운영 WAN 텔레메트리 모두에서 평가하여, 전문가가 도출한 불변식을 완전한 재현율과 낮은 오탐률로 복원하였다. 마지막으로 완전한 개방형 불변식 발견으로 가는 길의 미해결 문제들을 논의한다.
관측 데이터로부터 지배 방정식을 발견하는 것은, 특히 기저의 수학적 구조를 알 수 없을 때, 과학적 모델링의 근본적인 과제로 남아 있다. SINDy와 같은 전통적인 희소 식별 방법은 간결한 모델을 발견하는 데 뛰어나지만 연구자가 후보 기저 함수를 사전에 지정해야 하며, 이러한 한계는 핵심 항이 누락될 때 모델 실패로 이어지는 경우가 많다. 우리는 기호 회귀의 탐색 능력과 SINDy의 강건한 희소성 촉진 능력을 결합한 하이브리드 발견 후 해결(Discovery-then-Solve) 프레임워크인 AutoSINDy를 제시한다. 우리의 방법은 세 단계로 작동한다. (1) PySR 기반 기호 회귀가 데이터의 무작위 부분집합으로부터 후보 함수 형태를 발견한다. (2) 큐레이션 파이프라인이 공선성 분석을 이용해 이 표현식들을 분해, 확장, 필터링하여 최소이면서도 포괄적인 라이브러리를 구성한다. (3) SINDy의 약형(weak form)이 이렇게 맞춤 구성된 라이브러리로부터 희소 지배 방정식을 식별한다. 각 변수 표준편차의 최대 20%에 달하는 잡음을 포함한 여섯 개의 대표적 비선형 시스템에 대한 광범위한 실험에서, AutoSINDy는 모든 시행에 걸쳐 89.7%의 복원율(새로운 궤적 R^2 > 0.99)을 달성하였으며, 베이스라인은 최대 45.0%였고 가장 높은 잡음 수준에서는 67.5%였다. 확장된 라이브러리를 사용한 표준 SINDy, 그 약형, 단독 기호 회귀와 비교하여, AutoSINDy는 더 높은 예측 정확도, 보지 못한 궤적에 대한 우수한 일반화, 그리고 실제 복잡도에 가까운 방정식을 달성한다. 이러한 결과는 AutoSINDy가 사전 도메인 지식 없이 올바른 지배 항을 식별하여 시스템 식별의 특징 공학 병목을 자동화하며, 수학적 형태를 알 수 없는 생물학적 및 물리적 시스템에서 복잡한 동역학을 발견하는 경로를 제공함을 보여준다.
본 논문에서는 비선형 실수 산술 이론에 대한 만족 가능성 판정(SMT-NRA)을 위한 하이브리드 프레임워크를 제안한다. 먼저 SMT-NRA 지역 탐색 방법의 핵심 연산인 셀 점프(cell-jump)를 일반화한 2차원 셀 점프 이동인 \emph{2D-cell-jump}를 도입한다. 주어진 직선을 따라서만 할당을 갱신하는 기존의 셀 점프와 달리, 2D-cell-jump는 임의로 선택한 평면 위에서의 탐색을 가능하게 한다. 이어서 (SMT-NRA를 위한 기존 지역 탐색 프레임워크 LS를 따라) \emph{2D-LS}라 명명한 확장 지역 탐색 프레임워크를 제안한다. 마지막으로 정보 교환을 통해 탐색 효율을 높이기 위해 2D-LS, MCSAT, OpenCAD를 통합한 SMT-NRA용 하이브리드 프레임워크를 제시한다. 실험 결과는 지역 탐색 성능의 향상을 보여주며, 제안한 방법의 효과를 부각한다.