标签：
注：由于自己画图实在太难画，本文中基本所有插图来源于算法团子机器学习班，请勿转载
1.普通的机器学习模型：
其实，基本上所有的基本机器学习模型都可以概括为以下的特征：根据某个函数，将输入计算并输出。图形化表示为下图：
当我们的g(h)为sigmoid函数时候，它就是一个逻辑回归的分类器。当g(h)是一个只能取0或1值的函数时，它就是一个感知机。那么问题来了，这一类模型有明显缺陷：当模型线性不可分的时候，或者所选取得特征不完备（或者不够准确）的时候，上述分类器效果并不是特别喜人。如下例：
我们可以很轻易的用一个感知机模型（感知器算法）来实现一个逻辑与（and），逻辑或（or）和逻辑或取反的感知器模型，（感知器模型算法链接），因为上述三种模型是线性可分的。但是，如果我们用感知器模型取实现一个逻辑非异或（相同为1，不同为0），我们的训练模型的所有输出都会是错误的，该模型线性不可分！
2.神经网络引入：
我们可以构造以下模型：
上述模型就是一个简单的神经网络，我们通过构造了三个感知器，并将两个感知器的输出作为了另一个感知其的输入，实现了我们想要的逻辑非异或模型，解决了上述的线性不可分问题。那么问题是怎么解决的呢？其实神经网络的实质就是每一层隐藏层（除输入和输出的节点，后面介绍）的生成，都生成了新的特征，新的特征在此生成新的特征，知道最新的特征能很好的表示该模型为止。这样就解决了线性不可分或特征选取不足或不精确等问题的产生。（以前曾介绍过线性不可分的实质就是特征不够）
神经网络的模型结构如下：
在此我们介绍的神经网络中的每一个训练模型用的都是逻辑回归模型即g(h)是sigmoid函数。
我们可以将神经网络表示如下：
3.神经网络的预测结果（hypothesis函数）的计算和CostFunction的计算
预测结果的计算其实与普通的逻辑回归计算没有多大区别。只是有时候需要将某几个逻辑回归的输出作为其他逻辑回归模型的输入罢了，比如上例的输出结果为：
那么CostFunction的计算又和逻辑回归的CostFunction计算有什么区别呢？
逻辑回归的CostFunction如下：
上述式子的本质是将预测结果和实际标注的误差用某一种函数估算，但是我们的神经网络模型有时候输出不止一个，所以，神经网络的误差估算需要将输出层所有的CostFunction相加：
k：代表第几个输出。
补充：神经网络可以解决几分类问题？
理论上，当输出单元只有一个时，可以解决2分类问题，当输出单元为2时可以解决4分类问题，以此类推...
实质上，我们三个输出单元时，可以解决三分类问题（[1,0,0],[0,1,0],[0,0,1]）,为什么如此设计？暂时留白，以后解决
ps：面试题：一个output机器，15%可能输出1，85%输出0，构造一个新的机器，使0,1输出可能性相同？ 答：让output两次输出01代表0，10代表1，其余丢弃
4.神经网络的训练
这儿也同于logistic回归，所谓的训练也就是调整w的权值，让我们再一次把神经网络的CostFunction写出来！
W代表所有层的特征权值，Wij(l)代表第l层的第i个元素与第j个特征的特征权值
m代表样本个数，k代表输出单元个数
hw(x(i))k代表第i个样本在输出层的第k个样本的输出 y(i)k代表第i个样本的第k个输出
然后同于logistic回归，将所有的W更新即可。难处在于此处的偏导数怎么求？首先得说说链式求导法则：
所以我们可以有：
接下来的问题就是有theta了，当我们要求的错误变化率是最后一层（最后一层既是输出层的前一层）且只看一个输出神经元时则：
多个相加即可
那么中间层次的神经元变化率如何求得呢？我们需要研究l层和了+1层之间的关系，如下图：
第l层的第i个Z与第l层的第i个a的关系就是取了一个sigmod函数，然而第l层的第i个a与和其对应的w相乘后在加上其他的节点与其权值的乘积构成了第l+1层的Z，好拗口，好难理解啊，看下式：
大体也就是这么个情况，具体的步骤为：
1.利用前向传播算法，计算出每个神经元的输出
2.对于输出层的每一个输出，计算出其所对应的误差
3.计算出每个神经元的错误变化率即：
4.计算CostFunction的微分，即：
5.代码：
还未写好，写好附另一篇博文
标签：
原文地址：http://blog.csdn.net/u014403897/article/details/46347351
