하이브리드 AI를 위한 통계적 일관성을 넘어서는 기계학습
Machine Learning Beyond Statistical Consistency for Hybrid AI
한국어 초록
본 논문은 기계가 함수를 성공적으로 계산할 때, 즉 각 입력에 대해 반환하는 값이 형식 체계에서 적절한 도출을 갖출 때 그 함수를 학습한다고 보는 새로운 기계학습의 정의를 제안한다. 우리는 계산과 도출을 동치로 놓는 괴델의 표현 가능성 정리를 두 가지 방식으로 경험적 대상에 확장한다. 하나는 정리를 계산 가능한 실수로 확장하는 것이고, 다른 하나는 관측된 바를 기록하는 경험적 정의로서 데이터를 체계에 받아들이는 것이다. 우리는 기계가 참 확률을 학습하는 것이 두 조건이 충족되는 것과 동치임을 증명한다. 진리 조건은 추정치가 참 확률로 수렴한다는 것으로, 이는 통계적 일관성이다. 보증 조건은 기계가 자신의 수렴을 체계 내부에서 적절히 도출한다는 것이다. 따라서 학습은 통계적 일관성을 넘어서는데, 기록으로부터 수렴을 도출해야 하기 때문이다. i.i.d. 가정과 같이 데이터에 대한 전역적 가정은 이러한 도출을 제공하지 못하며, PAC 학습에서 보이듯 순환적인 도출로 이어질 뿐이다. 반면 유한한 이상적 코퍼스 위의 문장 확률에 대해서는 두 조건이 충족된다. 실제 기계는 이상적 기계가 정확히 학습할 수 있는 경우에만, 즉 두 조건을 충족하는 영역에서만 참 확률을 근사할 수 있다. 현대 AI는 그러한 영역에서 작동하며, 우리는 이를 그 성공의 단서로 제시한다. 현대 AI는 두 가지 의미에서도 하이브리드이다. 첫째, 다음 단어 예측과 같은 확률적 과제와 증명 및 코딩과 같은 연역적 과제라는 두 종류의 과제를 수행한다. 둘째, 증명과 코딩을 위해 통계적 제안기와 연역적 검증기라는 서로 다른 종류의 두 부분을 결합한다. 우리의 틀은 두 가지 하이브리드성을 하나의 형식 체계로 설명한다.
원문 초록
We propose a new definition of machine learning, according to which a machine learns a function when it computes the function successfully, that is, when the value it returns for each input has a proper derivation in a formal system. We extend G\"odel's Representability Theorem, which equates computation with derivation, to empirical targets in two ways: the theorem is extended to the computable reals, and the data are admitted into the system as empirical definitions that record what has been observed. We prove that a machine learns a true probability if and only if two conditions are met. The Truth Condition is that its estimate converges to the true probability, which is statistical consistency. The Assurance Condition is that the machine properly derives its own convergence inside the system. Learning thus lies beyond statistical consistency, for it requires a derivation of the convergence from the record. A global assumption about the data, such as the i.i.d. assumption, does not supply such a derivation, because it leads only to a circular one, as we show for PAC learning. On the other hand, the two conditions are met for the probability of a sentence over a finite ideal corpus. A real machine can approximate a true probability only if an ideal machine can learn it precisely, that is, only in a domain that meets the two conditions. Modern AI works in such a domain, and we offer this as a clue to its success. Modern AI is hybrid as well, in two senses: First, it performs two kinds of tasks, namely probabilistic ones such as predicting the next word and deductive ones such as proving and coding. Second, it combines two parts of different kinds, a statistical proposer and a deductive verifier, for proving and coding. Our framework explains both senses of hybridity in one formal system.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.01914v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.