http://baike.baidu.com/view/139822.htmhttp://baike.baidu.com/link?url=AHp30Rl0sWJZ9EhgknesZ595G0fLCR-KM20aRBLgf6kaqnF7MiixcRQrf7Uu8aKoRqkj8mE2nyZ9Y0we...
分类：
其他好文 时间：
2014-12-09 22:49:32
阅读次数：
206
-----------------------------author：midu---------------------------qq：1327706646------------------------datetime：2014-12-08 02:29（1）前言以前看最小二乘，一直很模糊，后面...
分类：
其他好文 时间：
2014-12-08 07:04:44
阅读次数：
804
线性回归算法优缺点：优点：结果易于理解，计算不复杂缺点：对非线性数据拟合不好适用数据类型：数值型和标称型算法思想：这里是采用了最小二乘法计算（证明比较冗长略去）。这种方式的优点是计算简单，但是要求数据矩阵X满秩，并且当数据维数较高时计算很慢；这时候我们应该考虑使用梯度下降法或者是随机梯度下降（同Lo...
分类：
其他好文 时间：
2014-12-06 01:21:06
阅读次数：
892
在统计学上， 广义线性模型 (Generalized linear model) 是一种受到广泛应用的线性回归模式。此模式假设实验者所量测的随机变量的分布函数与实验中系统性效应(即非随机的效应)可经由一链结函数(link function)建立起可资解释其相关性的函数。广义线性模型（generalized linear model, GLM)是简单最小二乘回归（OLS)的扩展,在广义线性模式中，假...
分类：
其他好文 时间：
2014-12-06 00:10:49
阅读次数：
269
前一篇文章《正交投影》中我们讲述了正交投影，现在我们来从正交投影的角度来看看我们熟悉的最小二乘法。我记得最早知道最小二乘法是在大一上高数课的时候，我们首先回顾一下什么是最小二乘法。
1、最小二乘法
最近机器学习比较火，机器学习中的许多算法都是对信息进行分类，比如说支持向量机就是根据已知信息来分类，神经网络可以找到输入输出的关系（当然，不能给出具体的数学表达式），这两种算法都能找...
分类：
其他好文 时间：
2014-12-05 12:42:01
阅读次数：
274
可以使用最小二乘法来进行柜位预测，但是其预测的时间短，不能很好的用于实践当中。在查询了一些资料后，神经网络是解决该问题的最好的方法。神经网络是什么，我们应该如何使用它来完成功能，我会在本篇和后续的文章中逐一介绍自己所学的心得。本篇是翻译文章，对神经网络库——FANN库进行了介绍。本人英语水平有限，有翻译不当的地方望指出。
本篇译文的原文可以从此下载。
简化神经网络
多年前，好莱坞科幻片《...
分类：
其他好文 时间：
2014-11-24 17:17:31
阅读次数：
170
由Otsu(大津展之)于1978年提出的最大类间方差法，是引起较多关注的一种阈值选取方法。它是在判决分析或最小二乘原理的基础上推导出来的。参考文献：[1] Otsu N. A threshold selection method from gray-level histogram. IEEE T.....
分类：
其他好文 时间：
2014-11-20 11:38:51
阅读次数：
346
最近自己接触到的知识有些杂乱。最近涉及到了PLC的自动化控制、煤气柜位预测等方面的内容。PLC的学习目前中断了一阵子，最近接触了柜位预测的相关算法——神经网络、最小二乘法等相关的算法。今天先简单介绍一下，自己做的一个煤气柜位曲线显示的小demo，相关的算法的实现将在以后学习研究介绍吧。
1、界面曲线显示
我选择采用C#来进行实时曲线的显示，C#报表控件有很多，经过比较，在实时显示曲线上C#的开...
分类：
其他好文 时间：
2014-11-18 00:23:19
阅读次数：
246
对于见得多了的东西，我往往就习以为常了，慢慢的就默认了它的存在，而不去思考内在的一些道理。总体最小二乘是一种推广最小二乘方法，本文的主要内容参考张贤达的《矩阵分析与应用》。1. 最小二乘法 最小二乘法，大家都很熟悉，用在解决一超定方程。最小“二”乘的“二”体现在准则上——令误差的平方和最小，等价于 ...
分类：
其他好文 时间：
2014-11-15 21:42:01
阅读次数：
430
matlab可以用-Conjugate gradient-BFGS-L-BFGS等优化后的梯度方法来求解优化问题。当feature过多时，最小二乘计算复杂度过高（O(n**3)），此时这一些列优化版梯度下降算法就成为了解优化问题的更优选择。它们的优点为：不需要像对原始梯度下降那样手动选择学习速率α一...
分类：
其他好文 时间：
2014-11-14 22:45:17
阅读次数：
785
