区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
本篇是根據+Roman Nurik在 2014/11/24 發佈的一篇G+而來。看到他發文後，起了好奇心，就根據他提出的方法嘗試著實作，並將之排列呈現，直接從視覺上做個比較。他在 G+ 的發文中提出一個做法，改良原本看起來有點單調的漸層，改變線性到三次項的梯度呈現，使之看起來更加順眼，而將之定名為「...
分类：
移动开发 时间：
2015-03-03 11:21:53
阅读次数：
517
上篇文章中，我们获得了人脸的各种表情模式，也就是一堆标注点的形变参数。这次我们需要训练一个人脸特征描述结构，它能够对人脸的不同部位(即“标注点”)分别进行描述，作为后面人脸跟踪、表情识别的区分依据。本次博文的主要内容：
a. 介绍下人脸特征检测器大概有哪些类别
b. 详细介绍随机梯度法，并介绍在人脸团块特征提取时的应用
c. 为了提高训练/跟踪的健壮性，利用上一...
分类：
其他好文 时间：
2015-02-28 23:06:17
阅读次数：
605
在一幅图像中，边缘往往包含着重要的视觉信息，因为它们描绘出图像元素的轮廓。这里主要讨论使用Canny算子检测图像轮廓，并与sobel算子和拉普拉斯变换进行边缘检测结果进行比较。其中主要使用了了对梯度大小进行阈值化以得到二值的边缘图像的方法。...
分类：
其他好文 时间：
2015-02-28 16:35:17
阅读次数：
724
1.题目描述：点击打开链接
2.解题思路：本题是经典的解码问题，根据题意，可以事先找出每一列的公共元素，计算出每一列的“梯度”，即从某一列的第一个公共字母跳到下一个要经历多少种排列数。由梯度即可推出密码。本题需要注意的是：1.判断公共元素时事先放到set中，防止重复添加元素。2.计算梯度时为了方便后续处理，可以令i处的梯度等于从第i列到最后一列所有的排列数。详细过程见代码注释地方。（凡是“注意”...
分类：
其他好文 时间：
2015-02-26 10:00:32
阅读次数：
108
结合这周看的论文,我对这周研究的Histogram of oriented gradients(HOG)谈谈自己的理解：HOG descriptors 是应用在计算机视觉和图像处理领域，用于目标检測的特征描写叙述器。这项技术是用来计算局部图像梯度的方向信息的统计值。这样的方法跟边缘方向直方图（edg...
分类：
其他好文 时间：
2015-02-22 13:24:04
阅读次数：
165
本章节主要讲解Logistic回归的原理及其数学推导，Logistic有3种不同的表达形式，现在我就一一展开这几种不同的形式，以及它在分类中的效果。并比较这三种形式。
下面分别写出这三种形式的损失函数：
下面分别写出这三种损失函数的梯度形式：
其中第一种形式和第三种形式是等价的,推导如下:
Steepest descent
前面章节已经讲过最速...
分类：
系统相关 时间：
2015-02-17 14:10:19
阅读次数：
344
发现一个问题，一旦牛顿法的一维搜索失败，函数不降反升。需要修改代码，从避免被吸引到Hessian非正定的局部极值点。同时发现昨天做的模型模拟的时候有限差商导数步长设太小了，提高导数步长之后（设成0.05），牛顿法收敛速度明显加快（往往第一次迭代把梯度长度从几十万降到1k左右，第二次迭代进一步降到几十...
分类：
其他好文 时间：
2015-02-15 10:42:09
阅读次数：
146
logistic regression ， 梯度下降法
分类：
其他好文 时间：
2015-02-14 18:48:35
阅读次数：
216
