1、向量、矩阵求导 当然了，这里补充一下求解过程中的关于向量、矩阵求导的几个公式： 这里其实只需要明白第一个，后边的三个都可以由第一个简单的推导而来。 注意这里对列向量AX的每一项的求导写为行，不然就会得到一个超越矩阵，我们不采用这种方式。 ...
分类：
编程语言 时间：
2016-11-26 23:52:43
阅读次数：
397
理论上讲任何一个连续的非多项式、常数函数都可以做为BP的激活函数，而且这都是已经在数学上证明过的问题。 但sigmoid函数相对其他函数有它自身的优点，比如说光滑性，鲁棒性，以及在求导的时候可以用它自身的某种形式来表示 。 这一点在做数值试验的时候很重要，因为权值的反向传播，要求激活函数的导数 。 ...
分类：
其他好文 时间：
2016-11-24 14:05:02
阅读次数：
156
拉格朗日乘子法：应用在求有约束条件的函数的极值问题上。 a. 对于没有约束的函数求极值，只要求导，令导函数等于零即可。 b. 对于约束条件是等式的函数。 目标函数：f(x), 约束条件：g(x)=0 求解f(x)在此约束条件下的极值。 定义拉格朗日函数 ： L(x,λ)=f(x)+ λg(x) 分别 ...
分类：
其他好文 时间：
2016-11-23 23:46:28
阅读次数：
194
几个有助于加深对反向传播算法直观理解的网页，包括普通前向神经网络，卷积神经网络以及利用BP对一般性函数求导（UFLDL） A Visual Explanation of the Back Propagation Algorithm for Neural Networks By Sebastian R ...
分类：
其他好文 时间：
2016-11-19 12:24:44
阅读次数：
493
PCA目的：这里举个例子，如果假设我有m个点，{x(1),...,x(m)}，那么我要将它们存在我的内存中，或者要对着m个点进行一次机器学习，但是这m个点的维度太大了，如果要进行机器学习的话参数太多，或者说我要存在内存中会占用我的较大内存，那么我就需要对这些个点想一个办法来降低它们的维度，或者说，如 ...
分类：
其他好文 时间：
2016-11-18 22:49:40
阅读次数：
529
对java中的数据结构做一个小小的个人总结，虽然还没有到研究透彻jdk源码的地步。首先、java中为何需要集合的出现？什么需求导致。我想对于面向对象来说，对象适用于描述任何事物，所以为了方便对于对象的操作、存储就出现了集合，集合应该是存储对象最常用的一种方式了，相对于数组更灵活，可变长度。同时集合也 ...
分类：
编程语言 时间：
2016-11-15 20:10:40
阅读次数：
159
P0问题求解相关算法 1.OMP 搜寻最小误差即求<>的最大值 对误差求导， 即, A中对应SS的列与残差正交。 算法步骤： 输入稀疏向量x(m*1)，列归一化矩阵A(n*m)，理想输出b，稀疏度K，误差精度 初始化残差r1为b 找到A'*r1的最大值所在索引posZ（列索引，有相对应的x的元素） ...
分类：
编程语言 时间：
2016-11-14 12:10:02
阅读次数：
373
在模式识别与机器学习中，高斯函数，特别是多维的高斯函数占着非常重要的地位。而其中高斯函数对均值和协方差矩阵的求导尤为重要，因为在用ML、MAP 或者其他方法计算最优值的时候，都会用到高斯函数的求导。虽然对均值求导的过程以及形式在很多博客中都有，但是对协方差矩阵求导的推导甚至是形式都寥寥无几。所以这里... ...
分类：
其他好文 时间：
2016-11-10 02:22:29
阅读次数：
944
fpm用的php.ini下 （/etc/php5/fpm/php.ini），很重要，不改会有安全漏洞。 cgi.fix_pathinfo=0 去掉防syn flood攻击 (高并发下会主动堵塞apache请求 导致ab测试下 apr_socket_recv: Connection reset by ...
分类：
Web程序 时间：
2016-10-29 16:36:17
阅读次数：
294
转自http://www.cnblogs.com/huashiyiqike/p/3568922.html在学习算法的过程中，常常需要用到向量的求导。下边是向量的求导法则。 ...
分类：
其他好文 时间：
2016-10-18 22:15:48
阅读次数：
129
