岭回归的原理： 首先要了解最小二乘法的回归原理 设有多重线性回归模型 y=Xβ+ε ,参数β的最小二乘估计为 当自变量间存在多重共线性,|X'X|≈0时，设想|X'X|给加上一个正常数矩阵(k>0) 那么|X'X|+kI 接近奇异的程度就会比接近奇异的程度小得多。考虑到变量的量纲问题， 先要对数据标 ...
分类：
编程语言 时间：
2017-07-20 15:22:28
阅读次数：
326
1. Alternating Least Square ALS(Alternating Least Square)，交替最小二乘法。在机器学习中，特指使用最小二乘法的一种协同推荐算法。如下图所示，u表示用户，v表示商品，用户给商品打分，但是并不是每一个用户都会给每一种商品打分。比如用户u6就没有给商 ...
分类：
编程语言 时间：
2017-07-20 00:50:24
阅读次数：
272
前记： 全称：pls partial least squares method； 核心算法：NiPALS（Nonlinear Ilerative Partial Least Squares algorithm） 适用领域：经济学、机械控制技术、药物设计、计量化学、生物医学等； 原理：最小二乘法（最小 ...
分类：
其他好文 时间：
2017-07-19 14:11:05
阅读次数：
149
代价函数(cost function)：弄清楚如何用最接近的直线和数据相拟合 线性拟合实际上是一个最小化的问题，使代价函数 （平方误差函数）最小（最小二乘法），采用梯度下降算法可将代价函数J最小化 梯度下降模拟图 在假设函数的参数范围内随机选择一组特定参数，我们以最快下降的方向降低成本函数。每个步骤 ...
分类：
其他好文 时间：
2017-07-18 21:04:00
阅读次数：
155
对于想深入了解线性回归的童鞋，这里给出一个完整的例子，详细学完这个例子，对用scikit-learn来运行线性回归，评估模型不会有什么问题了。 1. 获取数据，定义问题 没有数据，当然没法研究机器学习啦。:) 这里我们用UCI大学公开的机器学习数据来跑线性回归。 数据的介绍在这： http://ar ...
分类：
其他好文 时间：
2017-07-18 15:35:27
阅读次数：
241
前言 这里是用python解决数学建模的一些问题，用到的是python3.x，scipy，numpy和matplotlib。 先补充一些基本的数据知识。 1、numpy.array() 在基础操作里，array和list是不区分的（在索引和删除一些操作还有运行时间上会有区别），python也没有ar ...
分类：
编程语言 时间：
2017-07-04 21:38:58
阅读次数：
758
可以从百度文库下载原文：https://wenku.baidu.com/view/1faa10867cd184254a353540.html 仿射变换的定义 仿射变换（Affine Transformation或 Affine Map），是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换 ...
分类：
其他好文 时间：
2017-06-13 21:45:34
阅读次数：
584
之前对事件模型还是比较清楚的，许多概念都清晰映射在脑海中。工作之后，一方面使用的 局限性，二是习惯于用框架中的各种事件监听方式，简单即方便，久而久之，事件的一些概念开 始淡出记忆中，就像我现在已经开始淡忘C语言的指针、麦克斯韦方程组、矩阵的变换、最小二乘 法等。知识就像五彩缤纷的鹅卵石铺垫在你前行的 ...
分类：
Web程序 时间：
2017-06-11 10:13:20
阅读次数：
237
最小二乘法是机器学习中的基础知识点，一致对最小二乘法的理解不够深入，今天就花点时间来深入理解和探讨一下最小二乘法 最小二乘法，又称最小平方法，基本公式通俗来讲，二者先取个差值，在来个平方，最后搞一个和号上去，这就是最小二乘问题的思想，下面介绍下 最小二乘法 我们以最简单的一元线性模型来解释最小二乘法 ...
分类：
其他好文 时间：
2017-06-06 22:07:09
阅读次数：
172
最近做了一个最小二乘法的代码编写并用 matplotlib 绘制了一张图，但是碰到了中文乱码问题。简单搜索之后，发现有人总结出了比较好的方案，亲测可行。推荐给大家。 本文前提条件是 已经 安装好 matplotlib , 至于 matplotlib 是什么， 怎么安装， 本文不予介绍。 首先在 Wi ...
分类：
系统相关 时间：
2017-06-06 12:58:37
阅读次数：
295
