作者余凯，百度技术副总监，千人计划国家特聘专家。贾磊，百度主任架构师，语音技术负责人。陈雨强，百度商务搜索部资深研发工程师，负责搜索广告 CTR 预估
摘要：深度学习带来了机器学习的新浪潮，推动“大数据＋深度模型”时代的来临，以及人工智能和人机交互大踏步前进。如果我们能在理论、建模和工程方面突破深度...
分类：
其他好文 时间：
2014-05-11 07:27:45
阅读次数：
389
线性回归的概念，在高中数学书里就出现过。
给你一些样本点，如何找出一条直线，使得最逼近这些样本点。
给出一个例子：假设 x 是房子面积，y是房子价格，确定一条直线需要theta0和theta1.
给出x,我们就可以计算出房子的价格 h(x) = theta0+theta1*x
关键是如何计算出theta0和theta1,也就是如何找出这么一条直线呢？
在这里，引入一个...
分类：
其他好文 时间：
2014-05-10 04:36:00
阅读次数：
276
SVD分解（奇异值分解），本应是本科生就掌握的方法，然而却经常被忽视。实际上，SVD分解不但很直观，而且极其有用。SVD分解提供了一种方法将一个矩阵拆分成简单的，并且有意义的几块。它的几何解释可以看做将一个空间进行旋转，尺度拉伸，再旋转三步过程。首先来看一个对角矩阵，几何上,
我们将一个矩阵理解为对...
分类：
其他好文 时间：
2014-05-10 00:51:03
阅读次数：
363
用这篇日志记录在做毕业课题的一些思考，按时间分割。2014/02至2014/04：
抽了一些时间，看林轩田老师的《机器学习基石》，大致对机器学习、数据挖掘有了一个认识，数据挖掘更侧重于挖掘大量或潜在的数据，从而对一些问题进行分析，机器学习则是通过大量已知数据的训练，形成机器的思维，从而“学会”对.....
分类：
其他好文 时间：
2014-05-09 10:14:27
阅读次数：
289
SVD原理:
http://blog.csdn.net/wuyanyi/article/details/7964883
分类：
其他好文 时间：
2014-05-08 14:43:13
阅读次数：
317
最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。
梯度下降的性质：
1.求得的解和选取的初始点有关
2.可以保证找到局部最优解，因为梯度最终会减小为0，即步长会自动越来越小。
梯度简介
一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。
问题描述公式求导学习率选择
假...
分类：
其他好文 时间：
2014-05-07 07:05:49
阅读次数：
287
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景
上一节学习支持向量机，感觉公式都太难理解了，弄得我有点头大。不过这一章的Adaboost线比较起来就容易得多。Adaboost是用元算法的思想进行分类的。什么事元算法的思想呢？就是根据数据集的不同的特征在决定结果时所占的比重来划分数据集。就是要对每个特征值都构建决策树，并且赋予他们不同的...
分类：
编程语言 时间：
2014-05-07 06:48:25
阅读次数：
569
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
前面我们提到的数据集都是线性可分的，这样我们可以用SMO等方法找到支持向量的集合。然而当我们遇到线性不可分的数据集时候，是不是svm就不起作用了呢？这里用到了一种方法叫做核函数，它将低维度的数据转换成高纬度的从而实现线性可分。
可能有的人不明白为什么低维度的数据集转换成高...
分类：
编程语言 时间：
2014-05-07 03:39:44
阅读次数：
455
How do you know what machine learning algorithm to
choose for your classification problem? Of course, if you really care about
accuracy, your best bet...
分类：
其他好文 时间：
2014-05-07 00:50:14
阅读次数：
438
简单的以下面曲线拟合例子来讲：直线拟合后，相比原来的点偏差最大，最后一个图完全拟合了数据点偏差最小；但是拿第一个直线模型去预测未知数据，可能会相比最后一个模型更准确，因为最后一个模型过拟合了，即第一个模型的方差比最后一个模型小。一般而言高偏差意味着欠拟合，高方差意味着过拟合。他们之间有如下的关系：
...
分类：
其他好文 时间：
2014-05-07 00:28:40
阅读次数：
946
