本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上...
分类：
其他好文 时间：
2015-03-14 18:32:59
阅读次数：
63684
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+...
分类：
其他好文 时间：
2015-03-13 14:27:18
阅读次数：
293
广义线性模型
广义线性模型应满足三个假设：
第一个假设为给定X和参数theta,Y的分布服从某一指数函数族的分布。
第二个假设为给定了X，目标是输出 X条件下T(y)的均值，这个T(y)一般等于y，也有不等的情况，
第三个假设是对假设一种的变量eta做出定义。
指数函数族
前面提到了指数函数族，这里给出定义，满足以下形式的函数构成了指数函数族：...
分类：
其他好文 时间：
2015-03-12 22:33:16
阅读次数：
216
最近阅读了《Neural networks and deep learning》这本书（online book，还没出版），算是读得比较仔细，前面几章涉及的内容比较简单，我着重看了第三章《Improving the way neural networks learn》，涉及深度神经网络优化和训练的各种技术，对第三章做了详细的笔记（同时参考了其他资料，以后读到其他相关的论文资料也会补充或更改），欢迎有...
分类：
Web程序 时间：
2015-03-12 13:21:17
阅读次数：
189
SVM是机器学习中神一般的存在，虽然自深度学习以来有被拉下神坛的趋势，但不得不说SVM在这个领域有着举足轻重的地位。本文从Hard SVM 到 Dual Hard SVM再引进Kernel Trick，然后推广到常用的Soft Kernel SVM。 一、Hard SVM SVM本身是从感知...
分类：
其他好文 时间：
2015-03-11 00:29:17
阅读次数：
120
目前最热门的互联网应用和科学成果几乎都与互联网神经生理学有关，包括物联网，云计算，大数据，工业4.0，移动互联网等与互联网的关系，社交网络与物联网的结合，深度学习算法与互联网人工智能的提升等， 2012年以来，谷歌，百度，科大讯飞，爱奇艺都推出了自己的互联大脑计划，刚刚召开的两会上，李彦宏提出了中国大脑计划，推动建立基于互联网的人工智能基础设施。...
分类：
其他好文 时间：
2015-03-08 23:00:59
阅读次数：
287
SSP或者说是空间金字塔匹配（spatial pyramid matching or SPM）是BoW的一个扩展，它把一张图片划分为从不同的分辨率级别然后聚合这些不同分辨率的图像，在深度学习之前SPM取得了很大的成功，然是在深度学习CNN出现之后却很少被用到，SSP有一些很好的特征：1.它可以不论输...
分类：
Web程序 时间：
2015-03-08 18:44:29
阅读次数：
207
希望了解的各位讨论一下。
前几天手贱+强迫症，趁在家网速好，update和upgrade了ubuntu，结果导致无法进入系统，登陆界面输入密码后一直卡主，在内网外网找了N多解决办法，折腾了一天多还是无解，只能重新装。无奈，caffe的环境又得重新配置一遍。
但是在重装NVIDIA驱动的时候发现了一条注意事项：
每次升级内核后需要重新编译一次显卡...
分类：
系统相关 时间：
2015-03-08 17:19:37
阅读次数：
287
宏定义在C系开发中可以说占有举足轻重的作用。底层框架自不必说，为了编译 优化和方便，以及跨平台能力，宏被大量使用，可以说底层开发离开define将寸步难行。而在更高层级进行开发时，我们会将更多的重心放在业务逻辑上，似 乎对宏的使用和依赖并不多。但是使用宏定义的好处是不言自明的，在节省工作量的同时，代...
分类：
移动开发 时间：
2015-03-02 16:42:24
阅读次数：
584
