转自:here 注意下面说的全局最优是特殊的情况，一般还是梯度下降的方法还是很容易变成局部最优。 梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式的角度对两者进行分析。 下面的h(x)是要拟合的函数，J(theta)损失函数，thet ...
分类：
其他好文 时间：
2017-03-28 19:35:47
阅读次数：
204
我的理解：在限制的条件下，根据已知情况求解未知情况，最优解的选择就是使得未知的熵最大的那个概率 我们在投资时常常讲不要把所有的鸡蛋放在一个篮子里，这样可以降低风险。在信息处理中，这个原理同样适用。在数学上，这个原理称为最大熵原理(the maximum entropy principle)。 让我们 ...
分类：
其他好文 时间：
2017-03-27 23:05:58
阅读次数：
289
遍历二叉树： 先序遍历 根节点 先序左子树 先序右子树 中序遍历 中序遍历左子树 根节点 中序遍历右子树 后序遍历 后序遍历左子树 后序遍历右子树 根节点 根节点 先序左子树 先序右子树 中序遍历左子树 根节点 中序遍历右子树 后序遍历左子树 后序遍历右子树 根节点 最优二叉树 赫夫曼树 未完。明天 ...
分类：
其他好文 时间：
2017-03-26 01:03:42
阅读次数：
141
1、ext2文件系统整体布局 一个磁盘可以划分成多个分区，每个分区必须先用格式化工具（例如某种mkfs命令）格式化成某种格式的文件系统，然后才能存储文件，格式化的过程会在磁盘上写一些管理存储布局的信息。下图是一个磁盘分区格式化成ext2文件系统后的存储布局。 文件系统中存储的最小单位是块（Block ...
分类：
系统相关 时间：
2017-03-25 19:47:33
阅读次数：
201
作者：桂。 时间：2017-03-24 06:52:36 链接：http://www.cnblogs.com/xingshansi/p/6609317.html 声明：欢迎被转载，不过记得注明出处哦~ 【读书笔记03】 前言 西蒙.赫金的《自适应滤波器原理》第四版，上一篇看到维纳滤波基本形式：最优化 ...
分类：
其他好文 时间：
2017-03-25 11:43:40
阅读次数：
234
一、音乐，音乐是我生活中必不可少的，从原来的一昧追求流行歌曲中旋律最优美的，到现在可能一个故事，一句歌词，一个写出了你的成长经历，一份你心中的想法或现状，都会使你喜欢一首歌。快乐，人的快乐就很单纯，不像欲望，不断更新，追求无止境。伤痛，脸皮厚，死不要脸，这些词，看上去是贬义实质是褒义，应该感谢那些伤 ...
分类：
其他好文 时间：
2017-03-25 10:59:54
阅读次数：
115
在数学中，海塞矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，一元函数就是二阶导，多元函数就是二阶偏导组成的矩阵。求向量函数最小值时可以使用，矩阵正定是最小值存在的充分条件。经济学中常常遇到求最优的问题，目标函数是多元非线性函数的极值问题，尚无一般的求解方法，但判定局部极小值的方法就是用 ...
分类：
其他好文 时间：
2017-03-24 21:52:19
阅读次数：
158
参考：http://www.cnblogs.com/Creator/archive/2011/06/07/2074227.html 贪心算法在几个基本算法里面算是相对简单的算法了，思路也是非常简单的，每一步总是做出在当前看来最好的选择。也就是说贪心算法并不从整体最优考虑，它所作出的选择只是在某种意义 ...
分类：
编程语言 时间：
2017-03-24 19:19:16
阅读次数：
190
DNN,CNN,RNN:1.DNN:深度神经网络，或称多层感知机。解决早期单层感知机对于复杂函数不能模拟的情况。其形式为层之间全连接。实用sig等连续性函数模拟神经对机理的响应，训练算法使用 BP。 2.问题：只是名义上的深层。 a：随着层数的加深，优化函数更加容易陷入局部最优解。并且会越来越偏离 ...
分类：
其他好文 时间：
2017-03-24 15:45:13
阅读次数：
128
