1、过拟合和欠拟合怎么判断，如何解决？ 答：主要可以通过训练误差和测试误差入手判断是否过拟合或欠拟合。一般而言训练误差很低，但是测试误差较高，过拟合的概率较大，如果训练误差和测试误差都很高，一般是欠拟合。过拟合可以从增加样本量，减少特征数，降低模型复杂度等方面入手，实际的例子比如线性回归中，对于几十 ...
分类：
编程语言 时间：
2018-07-18 23:34:22
阅读次数：
235
第三章 使用sklearn 实现机学习的分类算法 分类算法 分类器的性能与计算能力和预测性能很大程度上取决于用于模型训练的数据 训练机器学习算法的五个步骤： 1. 特征的选择 2. 确定评价性能的标准 3. 选择分类器及其优化算法 4. 对模型性能的评估 5. 算法的调优 <! more sklea ...
分类：
其他好文 时间：
2018-07-17 00:47:03
阅读次数：
213
逻辑回归中包含了正向传播和反向传播,用一个计算图来表示其过程 计算图: 举一个简单的例子例: 把j(a,b,c)看作logistic回归成本函数j=3(a+bc),它的计算过程为让u=bc,v=a+u 得j=3v 其中正向传播为从左到右得到成本函数的过程 反向传播为对其进行求导得到dJ/da,dJ/ ...
分类：
其他好文 时间：
2018-07-15 23:21:05
阅读次数：
185
# # 由于逻辑回归解决的是分类问题，而且是二分类，因此定义损失函数时也要有两类 # 1）如果 y = 1（p ≥ 0.5），p 越小，损失函数越大； # 2）如果 y = 0（p ≤ 0.5），p 越大，损失函数越大； # 模型变形： # 最终的损失函数模型： # 该模型不能优化成简单的数学表达式 ...
分类：
其他好文 时间：
2018-07-15 21:28:39
阅读次数：
197
本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT ...
分类：
其他好文 时间：
2018-07-15 21:12:02
阅读次数：
267
逻辑回归（Logistic Regression） 一、行业算法应用率 具统计，2017年，除了军事和安全领域，逻辑回归算法是在其它所有行业使用最多了一种机器学习算法； Logistic Regression（逻辑回归） Decision Trees（决策树） Random Forests（随机森林 ...
分类：
其他好文 时间：
2018-07-15 12:04:52
阅读次数：
231
逻辑回归和线性回归都是广义线性模型中的一种，接下来我们来解释为什么是这样的？ 1、指数族分布 指数族分布和指数分布是不一样的，在概率统计中很对分布都可以用指数族分布来表示，比如高斯分布、伯努利分布、多项式分布、泊松分布等。指数族分布的表达式如下 其中η是natural parameter，T(y)是 ...
分类：
编程语言 时间：
2018-07-09 11:14:09
阅读次数：
144
(1)涉及到的算法 1.监督学习：线性回归，逻辑回归，神经网络，SVM。 线性回归（下面第三行x0(i)其实是1，可以去掉） 逻辑回归 神经网络（写出前向传播即可，反向框架会自动计算） SVM 2.非监督学习：聚类算法(K-mean),降维(PCA) K-mean PCA 3.异常检测 4.推荐系统 ...
分类：
其他好文 时间：
2018-07-07 20:23:41
阅读次数：
177
12.1目标优化 （1）以下是逻辑回归以及单个样本的代价函数 （2）首先将使用上图中紫色的线（称为cost1或者cost0）的代替曲线，然后将样本数m去掉，最后将C代替1/λ（可以这么理解，但不完全是），从而实现逻辑回归的代价函数到SVM的转换。 （3）SVM的输出将不再是逻辑回归的概率，而就是0或 ...
分类：
其他好文 时间：
2018-07-03 22:37:55
阅读次数：
265
