本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+...
分类：
其他好文 时间：
2015-03-13 14:27:18
阅读次数：
293
最近阅读了《Neural networks and deep learning》这本书（online book，还没出版），算是读得比较仔细，前面几章涉及的内容比较简单，我着重看了第三章《Improving the way neural networks learn》，涉及深度神经网络优化和训练的各种技术，对第三章做了详细的笔记（同时参考了其他资料，以后读到其他相关的论文资料也会补充或更改），欢迎有...
分类：
Web程序 时间：
2015-03-12 13:21:17
阅读次数：
189
under review as a conference paper at ICLR 2015.Motivation：本文提出来一种regularization的方法，叫做FaMe (Factored Mean training). The proposed FaMe model aims to a...
分类：
Web程序 时间：
2015-03-10 18:58:58
阅读次数：
186
机器学习Machine Learning - Andrew NG
courses学习笔记
Cost Function代价函数
Backpropagation Algorithm BP反向传播算法
Backpropagation Intuition反向传播直觉知识
Implementation Note_ Unrolling Parameters执行节点展开参...
分类：
Web程序 时间：
2015-03-07 21:22:47
阅读次数：
376
http://nikhilbuduma.com/2015/01/11/a-deep-dive-into-recurrent-neural-networks/按照这里的介绍，目前比较火的cnn是feed-forward的网络，而rnn是back projections。lstm则是rnn的一种特例。r...
分类：
其他好文 时间：
2015-03-03 09:51:32
阅读次数：
167
机器学习Machine Learning - Andrew NG
courses学习笔记
Neural Networks Representation神经网络表示
Non-linear Hypotheses非线性假设
Neurons and the Brain神经元和大脑
Model Representation模型表示
Examples and Intu...
分类：
Web程序 时间：
2015-02-27 22:58:55
阅读次数：
195
How to build and run your first deep learning network Step-by-step instruction on training your own neural network.
分类：
Web程序 时间：
2015-02-26 20:00:25
阅读次数：
195
（原文地址：维基百科）简单介绍：脉冲神经网络Spiking neuralnetworks(SNNs)是第三代神经网络模型，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑当中。思路是这种，动态神经网络中的神经元不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的膜电...
分类：
Web程序 时间：
2015-02-13 22:24:50
阅读次数：
210
第二次作业基本部分包含三部分，Q1: Two-layer Neural Network，Q2: Modular Neural Network，Q3: ConvNet on CIFAR-10。Q1: Two-layer Neural Network这部分将要实现一个两层的神经网络，包括前向传播与BP后...
分类：
其他好文 时间：
2015-02-12 12:08:01
阅读次数：
3624
这一篇是整个第五章的精华了，会重点介绍一下Neural Networks的训练方法——反向传播算法（backpropagation，BP），这个算法提出到现在近30年时间都没什么变化，可谓极其经典。也是deep learning的基石之一。还是老样子，下文基本是阅读笔记（句子翻译+自己理解），把书里的内容梳理一遍，也不为什么目的，记下来以后自己可以翻阅用。...
分类：
编程语言 时间：
2015-02-07 23:03:19
阅读次数：
313
