arXiv:2104.12647

A Survey Of Regression Algorithms And Connections With Deep Learning

Yunpeng Tai

제출 2021-04-26

원문 초록

Regression has attracted immense interest lately due to its effectiveness in tasks like predicting values. And Regression is of widespread use in multiple fields such as Economics, Finance, Business, Biology and so on. While considerable studies have proposed some impressive models, few of them have provided a whole picture regarding how and to what extent Regression has developed. With the aim of aiding beginners in understanding the relationships among different Regression algorithms, this paper characterizes a broad and thoughtful selection of recent regression algorithms, providing an organized and comprehensive overview of existing work and models utilized frequently. In this paper, the relationship between Regression and Deep Learning is also discussed and a conclusion can be drawn that Deep Learning can be more powerful as an combination with Regression models in the future.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26445v1stat.ML공통 태그 regression, Survey

그래프 기반 모델 검증 실무 가이드

A Practical Guide on Graphical Model Validation

이 논문은 손해보험 계리 모델링에서 가장 널리 사용되는 모델 검증(validation) 도구들을 체계적으로 정리한다. 여기에는 보정 도표(calibration plot), 실제 대 기대(actual-vs-expected) 도표, 리프트 차트(lift chart), 머피 다이어그램(Murphy diagram)과 같은 그래프 도구뿐 아니라, 브레그만 손실(Bregman loss), 편차 손실(deviance loss), 기초 손실(elementary loss), 머피 분해(Murphy's decomposition), 지니 점수(Gini score)와 같은 고전적인 통계 도구가 포함된다. 특히 보정(calibration)과 판별(discrimination)을 계약 건수 가중(policy-weighted) 모집단 측도 하에서 연구하는지, 아니면 노출 가중(exposure-weighted) 모집단 측도 하에서 연구하는지에 중점을 둔다. 이 구분은 보험료 체계가 올바른 척도에서 보정되도록 하는 데 매우 중요하다.

arXiv:2607.15077v1cs.LG공통 태그 regression, Survey

공학 응용을 위한 비선형 동역학 희소 식별 소개

An Introduction to Sparse Identification of Nonlinear Dynamics for Engineering Applications

많은 공학 문제에는 지배 방정식이 불충분하게 특성화되었거나 부분적으로만 알려진 현상이 포함된다. 신경망과 같은 대리 모델링(surrogate modeling) 기법은 이러한 시스템의 거동을 포착할 수 있지만, 일반적으로 공학 환경에서 얻기 어려운 대규모 학습 데이터셋을 요구하며 물리적 해석 가능성이 제한된 모델을 산출한다. 비선형 동역학 희소 식별(SINDy) 방법은 후보 비선형 항들의 라이브러리에 대해 희소 회귀(sparse regression)를 수행함으로써 두 한계를 모두 해결하며, 비교적 작은 데이터셋으로부터 해석 가능한 지배 방정식을 복원한다. SINDy는 표준 벤치마크 시스템에서 광범위하게 시연되었지만, 실용적 공학 문제에 대한 적용은 덜 널리 문서화되어 있다. 본 튜토리얼은 SINDy 방법을 소개하고, 노이즈 견고 약형(weak-form) 및 앙상블 기반 변형부터 제약 및 매개변수화 가능한 formulation까지 주요 확장으로 점진적으로 나아간다. 본 논문과 동반 튜토리얼(https://github.com/paullililili/SINDy4Engineers)은 세 부분으로 구성된다: 첫 번째 부분은 표준 SINDy 알고리즘을 소개하고 점진적으로 확장하며, 사전 지식이 없는 독자도 각 단계를 따라가 자신의 문제에 방법을 적용할 수 있도록 한다; 나머지 두 부분은 (1) 무인 항공기(UAV)의 시스템 식별과 (2) 혼돈 thermosyphon 열교환기에 대한 상세 사례 연구를 제시한다. 이러한 예시를 통해 SINDy가 구현은 간단하면서도 고급 공학 응용을 위한 유용한 식별 도구로서 충분히 유연함을 보여 주는 것을 목표로 한다.

arXiv:2609.22695v2cs.AI공통 태그 Survey

선형 표현 가설에 관한 서베이

A Survey on the Linear Representation Hypothesis

"선형 표현 가설(LRH, Linear Representation Hypothesis)"이라는 용어는 인공지능, 뇌과학, 인지과학의 다양한 하위 분야 전반에 걸쳐 등장해 왔습니다. 그러나 이전 연구들은 LRH를 반증 가능한 과학적 가설로 일관되게 다루지 않았습니다. 본 연구에서는 이러한 불일치를 분석하고, 기존의 이론적·방법론적 결과들이 어떻게 해석되어야 하는지에 미치는 영향을 살펴봅니다. 이러한 분석을 바탕으로, 선형 표현에 관한 주장은 모델, 표현의 위치, 특징(feature) 정의 및 평가 데이터셋에 대한 면밀한 검토를 통해서만 명확하게 정의될 수 있다고 주장합니다. 따라서 우리는 이러한 의존성을 명시화하여 해당 가설을 반증 가능한 과학적 주장으로 평가할 수 있도록 하는, 더욱 엄밀하게 정식화된 LRH를 제안합니다. 마지막으로, 연구 커뮤니티의 추가적인 관심이 필요한 몇 가지 중요한 미해결 과제들을 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.