这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题。
一、Logistic回归
先说下logistic回归，它是根据现有数据对分类边界建立回归公式，以此进行分类。其计算代价不高，易于实现与理解，但是容易欠拟合、分类精度不太高；
logistic回归可以看成是一种概率估计，使用的的是sigmioid函数，...
分类：
编程语言 时间：
2015-08-26 12:04:29
阅读次数：
286
最近跟完了Andrew Ng的Machine Learning前三周的课，主要讲解了机器学习中的线性回归（Linear Regression）和逻辑回归（Logistic Regression）模型。在这里做一下记录。
另外推荐一本统计学习的书，《统计学习方法》李航，书短小精悍，才200多页，但是内容基本上覆盖了机器学习中的理论基础。笔记 主要了解一下监督学习和无监督学习机器学习：是关于计算...
分类：
其他好文 时间：
2015-08-25 16:42:29
阅读次数：
240
一步了解常见的梯度下降法主要有两种：（1）批量梯度下降法 （2）随机梯度下降法为预测值，要拟合的函数设为，那么误差准则函数为 这是典型的线性回归问题，现在的目的是使得这个误差准则函数的值最小化，可以用如下两种梯度下降法。（1）批量梯度下降法批量梯度下降法需要把个样本全部带入计算，迭代一次计算量为，先...
分类：
编程语言 时间：
2015-08-19 13:01:00
阅读次数：
419
回归分析是一种统计学上分析数据的方法，目的在于了解两个或多个变数间是否相关、相关方向与强度，并建立数学模型以便观察特定变数来预测研究者感兴趣的变数。更具体的来说，回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。
回归分析是建立因变数Y与自变数X之间关系的模型，可以有一个自变量X，也可以超过一个自变量（X1, X2 … Xi）。 回归分析目的在于找出一条最能够代表所有观测资料的函数（...
分类：
其他好文 时间：
2015-08-17 21:48:41
阅读次数：
1269
版权声明： 本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。如果有问题，请联系作者 wheeleast@gmail.com前言： 距离上次发文章，也快有半个月的时间了，这...
分类：
其他好文 时间：
2015-08-17 11:32:22
阅读次数：
119
实例
首先举个例子，假设我们有一个二手房交易记录的数据集，已知房屋面积、卧室数量和房屋的交易价格，如下表：
假如有一个房子要卖，我们希望通过上表中的数据估算这个房子的价格。这个问题就是典型的回归问题，这边文章主要讲回归中的线性回归问题。
线性回归（Linear Regression）
首先要明白什么是回归。回归的目的是通过几...
分类：
其他好文 时间：
2015-08-17 08:49:45
阅读次数：
296
线性回归中提到最小二乘损失函数及其相关知识。对于这一部分知识不清楚的同学可以参考上一篇文章《线性回归、梯度下降》。本篇文章主要讲解使用最小二乘法法构建损失函数和最小化损失函数的方法。
最小二乘法构建损失函数
最小二乘法也一种优化方法，用于求得目标函数的最优值。简单的说就是：让我们的预测值与真实值总的拟合误差（即总残差）达到最小。
在线性回归中使用最小二乘...
分类：
其他好文 时间：
2015-08-17 08:49:42
阅读次数：
690
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。
欠拟合、过拟合
如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些。图中第三个是一个包含5阶多项式的模型，对训练数据几乎完美拟合。
...
分类：
其他好文 时间：
2015-08-17 08:48:14
阅读次数：
183
**************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容...
分类：
其他好文 时间：
2015-08-13 14:24:48
阅读次数：
194
前段时间放假在家的时候，总算是看完了斯坦福的机器学习公开课（Andrew NG）的监督学习，这项计划持续了将近一个学期。无监督学习和强化学习部分暂时还不太想看，目前来说监督学习与我现在的情况更契合一些。看完监督学习部分，对机器学习的了解又深了一些，加上之前帮师兄做实验，从工程角度和理论角度共同推进，...
分类：
其他好文 时间：
2015-08-11 18:31:04
阅读次数：
168
