（一）局部加权回归 通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting）。如下图的左图。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的 过拟合（overfitting），不符合数据真实的模型。如下图的右图。 下面来讲一种非 ...
分类：
编程语言 时间：
2016-04-21 01:09:40
阅读次数：
369
逻辑回归(logistic-regression)之梯度下降法详解
逻辑回归常用于预测疾病发生的概率，例如因变量是是否恶性肿瘤，自变量是肿瘤的大小、位置、硬度、患者性别、年龄、职业等等（很多文章里举了这个例子，但现代医学发达，可以通过病理检查，即获取标本放到显微镜下观察是否恶变来判断）；广告界中也常用于预测点击率或者转化率(cvr/ctr)，例如因变量是是否点击，自变量是物料的长、宽、广告的位置...
分类：
其他好文 时间：
2016-04-19 19:58:03
阅读次数：
1139
机器学习总结之逻辑回归Logistic Regression 逻辑回归logistic regression，虽然名字是回归，但是实际上它是处理分类问题的算法。简单的说回归问题和分类问题如下： 回归问题：预测一个连续的输出。 分类问题：离散输出，比如二分类问题输出0或1. 逻辑回归常用于垃圾邮件分类... ...
分类：
其他好文 时间：
2016-04-14 17:31:14
阅读次数：
513
本文主要记录我在学习逻辑回归时的心得笔记，从假设函数、代价函数、优化方法等方面介绍了逻辑回归。...
分类：
其他好文 时间：
2016-04-10 14:52:08
阅读次数：
214
逻辑回归、决策树和支持向量机 2015-12-03 CSDN大数据 CSDN大数据 分类问题是我们在各个行业的商业业务中遇到的主要问题之一。在本文中，我们将从众多技术中挑选出三种主要技术展开讨论，逻辑回归（Logistic Regression）、决策树（Decision Trees）和支持向量机（ ...
分类：
其他好文 时间：
2016-04-04 16:34:46
阅读次数：
342
关于Andrew Ng的machine learning课程中，有一章专门讲解逻辑回归（Logistic回归），具体课程笔记见另一篇文章。
下面，对Logistic回归做一个简单的小结：
给定一个待分类样本x，利用Logistic回归模型判断该输入样本的类别，需要做的就是如下两步：
① 计算逻辑回归假设函数的取值hθ(x)，其中n是样本的特征维度
② 如果hθ(x)>=0.5，则x输入...
分类：
其他好文 时间：
2016-04-01 18:18:17
阅读次数：
282
六 逻辑回归(Logistic Regression：LR)
逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就是由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。
6.1 分类问题（Classification）
本小节开始介绍分类问题（该问题中要预测的变量y是离散值），同时，还要学习...
分类：
系统相关 时间：
2016-04-01 18:17:07
阅读次数：
374
第6章 逻辑回归与最大熵模型
逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。
6.1 逻辑回归模型
定义6.1(逻辑分布)：设X是连续随机变量，X服从逻辑斯谛分布是指
X具有下列分布函数和密度函...
分类：
其他好文 时间：
2016-03-30 13:13:41
阅读次数：
225
本讲大纲：
1.局部加权线性回归（locally weighted linear regression）
给定一个数据集，根据x预测y.
最左边的函数为，并不能很好的拟合数据；
中间的加了一个额外的特性，函数为，稍微更好地拟合了数据；
似乎我们增加越多的特性，拟合程度越好；但是增加太多的特性是很危险的，最右边的图是一个五阶的多项式，虽然很好的拟合了给定的数据集，但是这个...
分类：
其他好文 时间：
2016-03-29 10:49:25
阅读次数：
191
