最近学习了一种叫做 Factorization Machines（简称 FM）的通用算法，它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本文将对 FM 框架进行简单介绍，并对其训练算法 — 随机梯度下降（SGD）法和交替最小二乘（ALS）法进行详细推导。...
分类：
编程语言 时间：
2014-10-28 12:23:27
阅读次数：
342
最近学习了一种叫做 Factorization Machines（简称 FM）的通用算法，它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本文将对 FM 框架进行简单介绍，并对其训练算法 — 随机梯度下降（SGD）法和交替最小二乘（ALS）法进行详细推导。...
分类：
系统相关 时间：
2014-10-28 12:22:05
阅读次数：
335
最近学习了一种叫做 Factorization Machines（简称 FM）的通用算法，它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本文将对 FM 框架进行简单介绍，并对其训练算法 — 随机梯度下降（SGD） 法和交替最小二乘法（ALS）法进行详细推导。...
分类：
系统相关 时间：
2014-10-28 12:21:35
阅读次数：
333
最近学习了一种叫做 Factorization Machines（简称 FM）的通用算法，它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本文将对 FM 框架进行简单介绍，并对其训练算法 — 随机梯度下降（SGD）法和交替最小二乘（ALS）法进行详细推导。...
分类：
系统相关 时间：
2014-10-28 12:21:25
阅读次数：
371
第二个故事的主角是欧拉(Euler)，拉普拉斯(Lapalace)，勒让德(Legendre)和高斯(Gauss)，故事发生的时间是十八世纪中到十九世纪初。十七、十八世纪是科学发展的黄金年代，微积分的发展和牛顿万有引力定律的建立，直接的推动了天文学和测地学的迅猛发展。当时的大科学家们都在考虑许多天文...
分类：
其他好文 时间：
2014-10-22 21:51:13
阅读次数：
285
昨天学习完了Ng的第二课，总结如下：过拟合；欠拟合；参数学习算法；非参数学习算法局部加权回归KD tree最小二乘中心极限定律感知器算法sigmod函数梯度下降/梯度上升二元分类logistic回归
分类：
其他好文 时间：
2014-10-19 17:03:42
阅读次数：
302
核心代码： 1 // 使用最小二乘算法求多项式 2 void YcLeastSquaresFitSpline::CalculateMultinomialValues(const void* valuesPtr, int stride, int n, int m, float* a) const .....
分类：
编程语言 时间：
2014-10-18 15:12:28
阅读次数：
246
在机器学习或者是模式识别当中有一种重要的分类器叫做：SVM 。这个被广泛的应用于各个领域。但是其计算的复杂度以及训练的速度是制约其在实时的计算机应用的主要原因。因此也很很多的算法被提出来，如SMO，Kernel的方法。
但是这里要提到的 Regularized
least-squares classification 是一个和他有着同样的效果的分类器。比较而言计算却比较的简单（We ...
分类：
其他好文 时间：
2014-10-16 16:55:33
阅读次数：
268
设（x1, y1), (x2,y2), ...(xk,yk)为输入样本，注意这里的xi本身是一个向量。
假设拟合多项式为：
则通过使用下面的最小平方差拟合方法：
可得：
拟合过程变成求上式的最小值，相信学过高数的童鞋应该都知道怎么求，对的以此对系数a0,a1....求偏导数，使其为零，最后可得K+1组方程：
.......................
...
分类：
其他好文 时间：
2014-10-08 18:22:55
阅读次数：
180
在我们研究两个变量(x, y)之间的相互关系时，通常能够得到一系列成对的数据(x1, y1、x2, y2... xm , ym)；将这些数据描绘在x -y直角座标系中(如图1), 若发现这些点在一条直线附近，能够令这条直线方程如(式1-1)。Y计= a0 + a1 X ...
分类：
其他好文 时间：
2014-10-06 12:02:30
阅读次数：
317
