码迷,mamicode.com
首页 > Web开发 > 详细

机器学习门户网站——单变量线性回归

时间:2015-12-12 16:48:58      阅读:199      评论:0      收藏:0      [点我收藏+]

标签:

线性回归的概念。在高中的数学书出现了。

技术分享给你一些样本点,怎样找出一条直线,使得最逼近这些样本点。



给出一个样例:如果 x 是房子面积,y是房子价格。确定一条直线须要theta0和theta1.

给出x,我们就能够计算出房子的价格 h(x) = theta0+theta1*x

关键是怎样计算出theta0和theta1,也就是怎样找出这么一条直线呢?


在这里,引入一个概念,叫做cost function.m表示样本个数,也就是训练样本数目

技术分享这是一个square error。学过统计的应该常常见到

因此,我们的目的i就变成怎样最小化这个J。意味着这条直线最逼近我们的样本点



先简化一下问题,如果theta0 = 0,那么我们的目标就是最小化J(theta1)

技术分享

如果眼下有3个样本点(1,1)(2,2) (3,3)

J(0) = 1/(2*3)*((1-0)^2+(2-0)^2+(3-0)^2)

当theta1取不同的值时,J(theta1)就形成了一个二次函数。当theta1 = 1是极小值也是最小值。


问题回到2元函数theta0,theta1

easy想像,这肯定是一个平面函数了

技术分享关键问题就是怎样找到这个最低点

以下再举个样例直观的感受下。不再使用3维图了,而是使用例如以下右图。


技术分享

左图的直线明显和样本点一点都不逼近,所以在右图中的红叉就离中间比較远

技术分享

这里比上面略微好点,于是红点离中心更近了

技术分享

这是最优结果,落在了中间


还是那个问题。怎样寻找我们的theta0和theta1呢?我们能够用梯度下降的方法。如图:

技术分享

随机初始化theta0和theta1,一直往梯度下降的方向走,J就会越来越小。

公式例如以下:

技术分享

当中,alpha是我们的learning rate,不能太小。否则算法速度会非常慢,也不能太大,否则非常easy越过最小值导致不能收敛。

技术分享



我们在前面有:

技术分享

于是

技术分享

因此,我们的算法变成

技术分享


当你发现两次循环之间的theta0和theta1的区别非常小非常小就converge了,你能够设置一个阀值比方10e-6。



配套练习http://download.csdn.net/detail/abcd1992719g/7306053

机器学习门户网站——单变量线性回归

标签:

原文地址:http://www.cnblogs.com/lcchuguo/p/5041283.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!