集成学习 集成学习分为bagging和boosting两类，典型的bagging有随机森林等，典型的boosting有gbdt和adaboost等(xgboost和lightGBM都是基于gbdt的高效实现，在我的另外两篇博文中都有介绍)。 bagging与boosting的区别如下所述： 共同点： ...
分类：
其他好文 时间：
2020-04-21 15:17:19
阅读次数：
90
1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性 线性回归的应用以及它的代码实现： 线性回归的原理： 数组和矩阵的重要特性： 对于权重的求解： 梯度下降算法原理： 2.思考线性回归算法可以用来做什么？（大家尽量不要写重复） 3.自主编写线性回归算法 ，数据可以自己造，或者 ...
分类：
编程语言 时间：
2020-04-21 13:30:33
阅读次数：
75
PYTORCH并行训练。Author: Shen Li DistributedDataParallel (DDP) 分布式训练在模型层面实现数据并行。利用 torch.distributed包来同步梯度、参数和缓存。并行性在进程内和进程间都是可用的。在进程中，DDP将输入模块复制到device_id ...
分类：
其他好文 时间：
2020-04-18 14:18:32
阅读次数：
110
本周任务： 请确保熟悉并理解机器学习数学部分常用相关概念: 1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶 ...
分类：
其他好文 时间：
2020-04-16 00:31:31
阅读次数：
60
很多人不喜欢√2的表达，他们认为它不是一个数。 一、卡塔兰数 Catalan numbers 在数方面上，有个著名的数叫卡塔兰数 Catalan numbers，它是组合数学中一个常在各种计数问题中出现的数列。其中它能解决一个叫求括号化方案数量的问题。如图下： 在卡塔兰数下，设P为平衡的父字符串集。 ...
分类：
其他好文 时间：
2020-04-14 23:01:56
阅读次数：
126
1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶斯定理 5）概率分布 6）期望和方差 7）参数估计 ...
分类：
其他好文 时间：
2020-04-14 20:28:45
阅读次数：
74
1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶斯定理 5）概率分布 6）期望和方差 7）参数估计 2.本周 ...
分类：
其他好文 时间：
2020-04-13 22:43:49
阅读次数：
78
用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”。 梯度 一个向量，表示某一函数在该点处的方向导数沿该方向取得最大值，即函数在该点处沿着该方向变化最快且变化率最大。 梯度下降 一种迭代法，可用于求解最小二乘问题。（让梯度中所有偏导函数都下降到最低点的过程） 贝叶斯定理 关于随机事件A和B的条件概 ...
分类：
其他好文 时间：
2020-04-13 16:57:33
阅读次数：
77
梯度提升树(GBDT)的全称是Gradient Boosting Decision Tree。GBDT还有很多的简称，例如GBT(Gradient Boosting Tree), GTB(Gradient Tree Boosting )，GBRT(Gradient Boosting Regressi ...
分类：
编程语言 时间：
2020-04-13 00:29:22
阅读次数：
47
下面是一个梯度下降法对多元问题的求解： 1 import numpy as np 2 import matplotlib.pyplot as plt 3 plt.rcParams['font.sans-serif'] = ['Simhei'] 4 5 area = np.array([137.97, ...
分类：
其他好文 时间：
2020-04-13 00:28:18
阅读次数：
81
