这篇博客主要记录了Andrew Ng课程第二章逻辑回归的笔记，主要介绍了梯度下降法，逻辑回归的损失函数，多类别分类等等 ...
分类：
其他好文 时间：
2017-08-15 14:10:11
阅读次数：
163
转自：http://www.cnblogs.com/Sinte-Beuve/p/6164689.html 本文主要讲了梯度下降法的两种迭代思路，随机梯度下降（Stochastic gradient descent）和批量梯度下降（Batch gradient descent）。以及他们在python ...
分类：
其他好文 时间：
2017-08-14 14:18:21
阅读次数：
128
By Kubi Code 文章目录 1. 朴素贝叶斯 1.1. 工作原理 1.2. 工作流程 1.3. 属性特征 1.4. Laplace校准(拉普拉斯校验) 1.5. 遇到特征之间不独立问题 1.6. 优缺点 2. 逻辑回归和线性回归 2.1. 梯度下降法 2.2. 其他优化方法 2.3. 关于L ...
分类：
编程语言 时间：
2017-08-08 23:08:56
阅读次数：
228
牛顿法、拟牛顿法相关资料： http://www.cnblogs.com/richqian/p/4535550.html https://www.codelast.com/%E5%8E%9F%E5%88%9B%E6%8B%9F%E7%89%9B%E9%A1%BF%E6%B3%95quasi-newt ...
分类：
其他好文 时间：
2017-08-02 13:11:34
阅读次数：
157
词向量：用一个向量的形式表示一个词 词向量的一种表示方式是one-hot的表示形式：首先，统计出语料中的所有词汇，然后对每个词汇编号，针对每个词建立V维的向量，向量的每个维度表示一个词，所以，对应编号位置上的维度数值为1，其他维度全为0。这种方式存在问题并且引发新的质疑：1）无法衡量相关词之间的距离 ...
分类：
其他好文 时间：
2017-07-19 22:02:06
阅读次数：
148
代价函数(cost function)：弄清楚如何用最接近的直线和数据相拟合 线性拟合实际上是一个最小化的问题，使代价函数 （平方误差函数）最小（最小二乘法），采用梯度下降算法可将代价函数J最小化 梯度下降模拟图 在假设函数的参数范围内随机选择一组特定参数，我们以最快下降的方向降低成本函数。每个步骤 ...
分类：
其他好文 时间：
2017-07-18 21:04:00
阅读次数：
155
作者：zhanlijun 针对这个问题参考了wiki的解释： http://en.wikipedia.org/wiki/Feature_scaling。归一化后有两个好处：1）归一化后加快了梯度下降求最优解的速度；2）归一化有可能提高精度”。 1 归一化为什么能提高梯度下降法求解最优解的速度？ 斯坦 ...
分类：
其他好文 时间：
2017-07-16 22:35:39
阅读次数：
460
对于某些线性回归问题，正规方程方法可能更加简单高效。 正规方程推导过程如下： 梯度下降法和正规方程的比较： 总结： 只要特征数量并不是特别大，对于线性回归问题正规方程是一个比梯度下降算法更快的替代算法。但是当特征数量非常多的时候或者模型更复杂的时候（比如logistic regression等），正 ...
分类：
其他好文 时间：
2017-07-14 23:07:02
阅读次数：
357
批量梯度下降：在梯度下降的每一步中都用到了所有的训练样本。 思想：找能使代价函数减小最大的下降方向（梯度方向）。 ΔΘ = - α▽J α：学习速率 梯度下降的线性回归 线性模型的代价函数： 对于更新项，为什么是 - α▽J ： Θ如果在极值点右边，偏导大于0，则Θ要减去偏导的值（Θ偏大，减去一个正 ...
分类：
其他好文 时间：
2017-07-13 22:49:14
阅读次数：
149
梯度下降法 梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为： 可以看出，梯度下降法更新参数的方式为目标函数在当前参数取值下的梯度值，前面再加上一个步长控制参数alpha。梯度下降法通常用一个三维图来展示，迭代过程就好像在不断地下坡，最终到达坡底。为 ...
分类：
编程语言 时间：
2017-07-11 19:23:41
阅读次数：
160
