本文采用 正规方程 、 梯度下降 、 带有正则化的岭回归 三种方法对BOSTON房价数据集进行分析预测，比较三种方法之间的差异 正规方程求解方式回归系数 [[ 0.10843933 0.13470414 0.00828142 0.08736748 0.2274728 0.25791114 0.018 ...
分类：
其他好文 时间：
2019-11-27 23:11:20
阅读次数：
155
相关问题： 1.弄清除为什么有这个东西，线性回归有什么不足，延申出了逻辑回归，线性回归为什么会不足以解决问题。 2.逻辑回归能怎么解决问题。自己能说出什么一般的例子，解决这些问题的推导过程是什么？ 3.用到什么数学工具来构造逻辑回归的损失函数，为什么要选择这样的损失函数形式？ 4.怎么样最终解决这个 ...
分类：
其他好文 时间：
2019-11-27 16:07:35
阅读次数：
112
我们从上一篇博客中知道了关于单变量线性回归的相关问题，例如：什么是回归，什么是代价函数，什么是梯度下降法。 本节我们讲一下多变量线性回归。依然拿房价来举例，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x0 ,x1 ,...,xn )。 增添更多特征 ...
分类：
系统相关 时间：
2019-11-26 22:43:03
阅读次数：
154
单变量线性回归(Linear Regression with One Variable) 什么是线性回归？线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法(取自 百度百科)。 例如：现在有一堆散乱的点，想找出一个一元一次方程来让这些点的分布误差最小(就 ...
分类：
系统相关 时间：
2019-11-25 15:34:48
阅读次数：
93
凸优化问题 以逻辑回归为例，$Y={1, 1}$,假设模型参数为$\theta$，则逻辑回归问题的优化目标为 $$\begin{aligned} \mathop{\min}_{\theta}L(\theta) = \sum \limits_{i=1}^n \log (1 + \exp( y_i \t ...
分类：
其他好文 时间：
2019-11-24 16:04:17
阅读次数：
66
k NN是一种基本分类回归方法。k近邻法输出为实例类别，可以取多类 k NN假定给定一个训练集，其中的实例类别已定。分类时，对于新实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式预测。因此，k NN不具有显式的学习过程 $k$的选择、距离度量及分类决策规则(如多数表决)是k NN的三个基本 ...
分类：
其他好文 时间：
2019-11-24 15:59:39
阅读次数：
53
逻辑回归 sigmoid函数=$\sigma(x)=\frac{1}{1+e^{ x}}=\frac{e^{x}}{1+e^{x}}$ 二项逻辑回归模型 有如下条件概率分布，$w$内已经包含了偏置$b$： $$P(Y=1|x)=\frac{\exp(w\cdot x)}{1+\exp(w\cdot ...
分类：
其他好文 时间：
2019-11-24 15:30:55
阅读次数：
75
回归分析好久都没有了解了。下面再复习下。 **1.波士顿房产数据（完整）**通过如下代码即可获取所有数据 ``` from sklearn.datasets import load_boston boston = load_boston() print (boston.DESCR) ``` 波士顿房 ...
分类：
其他好文 时间：
2019-11-24 12:17:41
阅读次数：
80
