**************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容...
分类：
其他好文 时间：
2015-08-09 12:35:38
阅读次数：
1496
本文主要讲解分类问题中的逻辑回归。逻辑回归是一个二分类问题。 转载请注明出处：http://www.cnblogs.com/BYRans/ 二分类问题 二分类问题是指预测的y值只有两个取值（0或1），二分类问题可以扩展到多分类问题。例如：我们要做一个垃圾邮件过滤系统，是邮件的特征，预测的y值就是邮件...
分类：
其他好文 时间：
2015-08-08 19:37:35
阅读次数：
597
*******************************************************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习...
分类：
其他好文 时间：
2015-08-08 15:01:04
阅读次数：
469
本文主要分两个部分进行讨论，首先介绍最简单的线性回归模型；接着对逻辑回归进行分析1、线性回归-->最小二乘法对于线性回归问题，我们根据自变量的个数将其分为一元线性回归和多元线性回归，本部分先详细介绍一元线性模型，然后将其推广到多元线性模型1）一元线性模型当输入只有一个自变量时，我们称之为一元线性模型...
分类：
其他好文 时间：
2015-08-06 22:10:59
阅读次数：
226
logistic 回归1.问题：在上面讨论回归问题时，讨论的结果都是连续类型，但如果要求做分类呢？即讨论结果为离散型的值。2.解答：
假设：
其中：
g(z)g(z)的图形如下：
由此可知：当hθ(x)h_\theta(x)<0.5时我们可以认为为0，反之为1，这样就变成离散型的数据了。
推导迭代式：利用概率论进行推导，找出样本服从的分布类型，利用最大似然法求出相应的θ\theta因此：...
分类：
其他好文 时间：
2015-08-05 18:33:10
阅读次数：
288
http://blog.sina.com.cn/s/blog_6084f588010192ug.html在opengles1.1中设置正交矩阵只要一个函数调用就可以了：glOrthof，但是opengles2.0开始，为了增加渲染灵活性摆脱了固定管道渲染，这样就需要手动去实现glOrthof所对应的...
分类：
其他好文 时间：
2015-08-05 12:30:05
阅读次数：
175
数学原理推导：f(X) = X2- n ---公式(1)n为要求平方根的数值 比如 要求100的平方根 n = 100;所以问题就转换成了求f(X)的零点问题了f(Xn)的导数就是Xn+1 的斜率所以就有了公式所以 Xn+1 = Xn - f(Xn)/f'(Xn) 代入 公式1f(Xn)=X2 -....
分类：
编程语言 时间：
2015-08-02 18:09:40
阅读次数：
1036
各大公司广泛使用的在线学习算法FTRL详解现在做在线学习和CTR常常会用到逻辑回归（Logistic Regression），而传统的批量（batch）算法无法有效地处理超大规模的数据集和在线数据流，google先后三年时间（2010年-2013年）从理论研究到实际工程化实现的FTRL（Follow...
分类：
编程语言 时间：
2015-07-29 21:00:51
阅读次数：
206
下面主要总结线性回归与逻辑回归下的过拟合问题。【过拟合问题的定义】【过拟合问题的解决方法】
怎样解决过拟合问题呢？两个方法：
1. 减少feature个数（人工定义留多少个feature、算法选取这些feature）
2. 正则化（留下所有的feature，但对于部分feature定义其parameter非常小）
下面我们将对线性回归与逻辑回归的正则化进行详细的讲解。【一、线性回归的正则化...
分类：
其他好文 时间：
2015-07-26 11:09:25
阅读次数：
191
【一、逻辑回归模型】逻辑回归不同于线性回归，它实际上一种分类方法，用于二分类问题（y=0或者1）。逻辑回归模型如下：
即当>=0.5时，预测输出值y=1；否则预测输出值y=0；且有：
【二、决策边界】所谓Decision Boundary就是能够将所有数据点进行很好地分类的h(x)边界。
【例1】
由图可知：
对应的线性回归模型为：
决策边界为粉色直线：
【例2】...
分类：
其他好文 时间：
2015-07-24 18:28:22
阅读次数：
166
