文章《EM算法学习笔记1：简介》中介绍了EM算法的主要思路和流程，我们知道EM算法通过迭代的方法，最后得到最大似然问题的一个局部最优解。本文介绍标准EM算法背后的原理。我们有样本集X，隐变量Z，模型参数θ\theta，注意他们3个都是向量，要求解的log似然函数是lnp(X|θ)lnp(X|\theta)，而这个log似然函数难以求解，我们假设隐变量Z已知，发现lnp(X,Z|θ)lnp(X,Z|\...
分类：
编程语言 时间：
2015-06-18 22:14:56
阅读次数：
209
集群之后，我们经常要用到EM算法（i.e. Estimation - Maximization）预计参数, 函数的凹/凸性，在estimation和maximization两步中迭代地进行參数预计。并保证能够算法收敛。达到局部最优解。PS：为了不在11.11这个吉祥的日子发blog，还是打算今天发了...
分类：
编程语言 时间：
2015-06-11 18:41:55
阅读次数：
160
正式应用动态规划。
适用于动态规划解决的问题应拥有以下两个要素：
1. 最优子结构（最佳选择）
2.子问题重叠（最终的最优解的每个分部步骤，都是当前最优的子解。与贪心算法试图通过局部最优解来组合成最优解的思想相似）
下面第一版代码中，依旧存在与上一篇第一版代码相同的问题——只能求解p数组中给出的最大限度。N>=10，代码就不能够求解出正确答案。（代码中你们都懂的...
分类：
编程语言 时间：
2015-06-08 09:47:46
阅读次数：
361
优化算法入门系列文章目录（更新中）： 1.模拟退火算法 2.遗传算法一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。 爬山算法实现很简单，其主要.....
分类：
编程语言 时间：
2015-05-26 20:55:04
阅读次数：
181
在扯模拟退火前要先扯扯爬山算法：一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。 爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到...
分类：
编程语言 时间：
2015-05-14 20:18:28
阅读次数：
145
神经网络的挑战和关键技术：1.神经网络结构决定（层，神经元，连接） 加入特定领域的知识（CNN 图片处理）2.模型复杂度高 大的数据量； regularization: dropout；denoising3.最优化困难 好的初始化以避免局部最优：pre-training4.计算复杂度高 好的硬件方....
分类：
Web程序 时间：
2015-05-13 21:11:23
阅读次数：
291
http://www.cnblogs.com/steven_oyj/archive/2010/05/22/1741375.html贪心算法一、基本概念：所谓贪心算法是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。贪心算法...
分类：
编程语言 时间：
2015-05-13 19:27:48
阅读次数：
128
一、贪心算法的特点顾名思义，贪心算法总是做出在当前看来是最好的选择。虽然贪心算法并不从整体最优上加以考虑，它所做出的选择只是在某种意义上的局部最优选择。贪心算法的优点是更简单，更直接且解题效率更高，即使贪心算法不能得到整体最优解，但其最终结果却是最优解的很好的近似解。二、贪心算法的理解由于涉及到在做...
分类：
编程语言 时间：
2015-05-04 23:38:15
阅读次数：
305
看了刘汝佳大牛的黑书果然很有体会，虽然很难，但是真的题题经典，一定要坚持坐下去，下面我们来说说贪心法贪心算法即是每次选择局部最优策略进行实施，而不去考虑对今后的影响。贪心算法不是对所有问题都能得到整体最优解，关键是贪心策略的选择，选择的贪心策略必须具备无后效性，即某个状态以前的过程不会影响以后的状态...
分类：
编程语言 时间：
2015-05-03 15:49:55
阅读次数：
236
一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。 爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如图1所示：假设C点...
分类：
编程语言 时间：
2015-04-12 20:38:44
阅读次数：
189
