代码及数据：https://github.com/zle1992/MachineLearningInAction logistic regression 优点:计算代价不高，易于理解实现，线性模型的一种。 缺点:容易欠拟合，分类精度不高。但是可以用于预测概率。 适用数据范围:数值型和标称型。 准备数 ...
分类：
编程语言 时间：
2017-05-25 17:17:39
阅读次数：
378
一个典型的logistic regression模型是: 这里明明用了非线性函数，那为什么logistic regression还是线性模型呢？ 首先，这个函数不是f(y,x)=0的函数，判断一个模型是否是线性，是通过分界面是否是线性来判断的。 这个P函数是y关于x的后验概率，它的非线性性不影响分界 ...
分类：
其他好文 时间：
2017-05-20 21:14:27
阅读次数：
354
所需解决的问题是，训练一个Logistic Regression系统，使之能够识别手写体数字1-10，每张图片为20px*20px的灰度图。训练样例的输入X是5000行400列的一个矩阵，每一行存储一张图片(20^2=400)，共5000个训练样例，而y则为手写体所表示的数字1-10。 利用Logi ...
分类：
其他好文 时间：
2017-05-18 11:35:21
阅读次数：
251
本次Octave仿真解决的问题是，根据两门入学考试的成绩来决定学生是否被录取，我们学习的训练集是包含100名学生成绩及其录取结果的数据，需要设计算法来学习该数据集，并且对新给出的学生成绩进行录取结果预测。 首先，我们读取并绘制training set数据集： 然后，我们来学习训练集，直接使用我们逻辑 ...
分类：
编程语言 时间：
2017-05-14 21:46:34
阅读次数：
232
回归与梯度下降： 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。 用一个很简单的例子来说明回归，这 ...
分类：
其他好文 时间：
2017-05-08 22:03:08
阅读次数：
204
softmax和sigmoid实际上都是属于logistic regression，sigmoid是二分类的lr，拟合Bernoulli distribution(二项分布)；0softmax是多分类的lr，拟合Multinomial distribution(多项分布)。 sigmoid函数可以很 ...
分类：
其他好文 时间：
2017-05-01 18:18:00
阅读次数：
267
http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/ softmax 在 Logistic Regression 里起到的作用是将线性预测值转化为类别概率 ...
分类：
其他好文 时间：
2017-05-01 17:02:56
阅读次数：
209
维基上corss entropy的一部分 知乎上也有一个类似问题：https://www.zhihu.com/question/36307214 cross entropy有二分类和多分类的形式，分别对应sigmoid和softmax ...
分类：
其他好文 时间：
2017-05-01 13:36:04
阅读次数：
168
Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，（译者注： MNIST 是一个手写数 ...
分类：
其他好文 时间：
2017-04-28 00:16:49
阅读次数：
1336
在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ，从而确定f(θ)。本篇将介绍还有一种求解最大似然概率?(θ)的方法，即牛顿迭代法。 在牛顿迭代法中。如果一个函数是，求解θ值使得f(θ)=0。在图1中可知， 图1 选择一个点，相应函数值为,并将相应的切线与x轴相交的点 ...
分类：
其他好文 时间：
2017-04-25 22:21:11
阅读次数：
253
