arXiv:2206.07586

Theory of Machine Learning with Limited Data

Marina Sapir

제출 2022-06-15

원문 초록

Application of machine learning may be understood as deriving new knowledge for practical use through explaining accumulated observations, training set. Peirce used the term abduction for this kind of inference. Here I formalize the concept of abduction for real valued hypotheses, and show that 14 of the most popular textbook ML learners (every learner I tested), covering classification, regression and clustering, implement this concept of abduction inference. The approach is proposed as an alternative to statistical learning theory, which requires an impractical assumption of indefinitely increasing training set for its justification.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02559v1cs.LG공통 태그 regression, Clustering

시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합

Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks

신경망의 규모가 지속적으로 커짐에 따라, 제한된 계산 자원 환경에서의 효율적인 추론을 위한 모델 압축의 중요성이 점차 커지고 있습니다. 구조적 가지치기(structured pruning) 방식은 덜 중요하다고 추정되는 뉴런이나 채널을 제거하지만, 이렇게 제거된 단위들도 여전히 유용한 정보를 담고 있을 수 있습니다. 학습된 네트워크를 조대화(coarse-graining)하는 관점에서 볼 때, 여러 뉴런 자유도가 통합될 때 어떤 정보를 보존해야 하는지 묻는 것은 가치 있는 일입니다. 본 논문에서는 학습된 신경망의 압축을 위한 군집 기반 병합 방법을 논의합니다. 데이터가 필요 없는(data-free) 기여도 가중 평균 방식뿐만 아니라, 뉴런 반응을 역활성화 함수를 통해 사전 활성화(pre-activation) 공간으로 역매핑하고 최소자승법을 사용하여 각 대표 뉴런의 가중치와 편향을 추정하는 뉴런 병합 방법을 제안합니다. 또한 실제 학습 입력을 활용하는 데이터 보조 전략과 무작위로 생성된 입력을 사용하는 데이터 무관(data-free) 전략을 모두 검토합니다. 이러한 비교를 통해 실험 대상인 시그모이드 네트워크에서 병합 과정 시 군집화에는 가중치 정보가 특히 유용하고, 대표 뉴런 복원에는 활성화 정보가 유용하다는 실증적 증거를 제공합니다.

arXiv:2610.03476v1cs.RO공통 태그 Decision Making, Clustering

MobiAgent: 장기 모바일 조작을 위한 이중 루프 재귀적 정책 자가 개선

MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation

장기(long-horizon) 모바일 조작은 복합적인 실행 오류와 이동(locomotion) 및 로봇 팔 제어 간의 용량 간섭(capacity interference)으로 인해 상당한 어려움을 야기합니다. 최근의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 단기 태스크에는 뛰어나지만 다단계 목표에 필요한 계층적 추론 능력이 부족합니다. 게다가 기존의 계층적 에이전트는 경직된 하위 태스크 매핑, 유연하지 못한 재계획(replanning), 그리고 지속적인 학습의 부재로 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 견고한 배포 실행과 재귀적 정책 자가 개선을 연결하는 이중 루프 에이전트 프레임워크인 MobiAgent를 소개합니다. 배포 중에 내부 루프(Inner Loop)는 구성 가능성이 높은 원자적 기술(atomic skills)을 통해 고차원 추론을 저수준 제어와 분리합니다. 이는 축소 지평 계획(receding-horizon planning)과 시각적 반추(visual reflection)를 위해 비전-언어 모델을 활용하며, 기술을 동적으로 구성하여 견고한 오류 복구를 보장합니다. 이러한 기술들은 통일된 VLM 백본을 공유하는 특화된 플로우 매칭(flow-matching) 전문가에 의해 실행되어 용량 간섭을 완화하는 동시에 재사용성을 극대화합니다. 동시에 외부 루프(Outer Loop)는 배포 롤아웃을 자율적으로 분할 및 검증하고, 이를 클러스터링하여 원자적 기술을 발견하며, 인간의 주석 없이 스킬 라이브러리를 지속적으로 미세조정함으로써 자동화된 평생 학습을 주도합니다. RoboCasa, BEHAVIOR-1K, 그리고 실제 환경 태스크에서의 평가는 MobiAgent의 효과를 입증합니다. 본 모델은 BEHAVIOR-1K에서 $\pi_{0.5}$-TA보다 22.5%p 높은 성능을 보이며 실행 실패로부터의 견고한 복구를 가능하게 합니다. 자율적인 데이터 재활용을 통해 RoboCasa에서는 성공률이 7.50%에서 27.50%로 향상되었고, Astribot S1에서는 32.5%에서 57.5%로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.