4. XGBoost的优势XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势： 4.1 正则化标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。实际上，XGBoost以 ...
分类：
其他好文 时间：
2020-02-28 21:08:07
阅读次数：
102
一、神经网络： 1.1非线性假设： 无论是线性回归还是逻辑回归都有这样一个缺点，即： 当特征太多时，计算的负荷会非常大 。 使用非线性的多项式项，能够帮助我们建立更好的分类模型 ，但与此同时他们的特征组合就有很多。普通的线性模型无法处理，就需要神经网络。 1.2模型表示1 每一个神经元都可以被认为是 ...
分类：
其他好文 时间：
2020-02-03 14:10:32
阅读次数：
93
1 from sklearn.model_selection import train_test_split 2 from sklearn.datasets import load_diabetes 3 X,y=load_diabetes().data,load_diabetes().target ...
分类：
其他好文 时间：
2020-02-01 14:29:36
阅读次数：
89
一、牛顿方法： 基本思想是利用迭代点$x_k$处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。 对于f(x)=0,求解x; 初始化$\theta$ ,然后一直迭代：$\theta^{ ...
分类：
其他好文 时间：
2020-01-30 23:00:59
阅读次数：
88
1. 激活函数：激活函数是指在人工神经网络的神经元中，将输入映射到输出端的非线性函数。激活函数通常是非线性的，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，可以应用到非线性模型中。 一般进行线性操作后，就将线性操作的结果放入激活函数中映射。在CNN中，运算顺序通常是卷积 ...
分类：
其他好文 时间：
2020-01-30 19:25:52
阅读次数：
128
training set： 用来训练模型 validation set : 用来做model selection test set : 用来评估所选出来的model的实际性能 我们知道，在做模型训练之前，我们必须选择所训练的模型的形式：线性模型(y = wx+b)或者非线性模型(SVM,decisi ...
分类：
其他好文 时间：
2020-01-18 10:49:16
阅读次数：
97
1.解决回归问题 2.思想简单，实现容易 3.许多强大的非线性模型的基础 4.结果具有很好的可解释性 5.蕴含机器学习中的很多重要思想 注意：分类问题 损失函数：度量出没有拟合出样本的部分 效用函数：度量是拟合的程度 ...
分类：
编程语言 时间：
2020-01-15 23:00:41
阅读次数：
85
常见的开发模型: 一. 瀑布模型(适合前期需求完整的软件开发): 1.需求分析(产品经理) >>概要设计(开发人员) >>详细设计(开发人员) >>编码(开发人员) >>软件测试(测试) >>软件维护(运维) 特点: 1.1 属于线性模型 1.2 每个阶段分工明确 1.3 有对应的文档产出 2.优缺 ...
分类：
其他好文 时间：
2020-01-15 14:04:10
阅读次数：
89
任务4 1、KNN的决策边界以及K的影响 决策边界分成两大类，分别是线性决策边界和非线性决策边界。拥有线性决策边界的模型我们称为线性模型，反之非线性模型. 随着K值的增加，决策边界确实会变得更加平滑。决策边界的平滑也意味着模型的稳定性。但稳定不代表这个模型就会越准确。虽然决策边界平滑会使得模型变得更 ...
分类：
其他好文 时间：
2020-01-07 01:07:25
阅读次数：
163
系统学习机器学习书本知识--每周两章节，列表如下: 1.模式评估与选择 线性模型 2.决策树 神经网络 3.支持向量机 贝叶斯分类器 4.集成学习 聚类 5.降维与度量学习 特征选择与稀疏学习 6.计算学习理论 半监督学习 7.概率图模型 规则学习 8.强化学习 ...
分类：
其他好文 时间：
2019-12-29 18:52:15
阅读次数：
93
