在强化学习（四）用蒙特卡罗法（MC）求解中，我们讲到了使用蒙特卡罗法来求解强化学习问题的方法，虽然蒙特卡罗法很灵活，不需要环境的状态转化概率模型，但是它需要所有的采样序列都是经历完整的状态序列。如果我们没有完整的状态序列，那么就无法使用蒙特卡罗法求解了。本文我们就来讨论可以不使用完整状态序列求解强化 ...
分类：
其他好文 时间：
2018-08-24 19:26:00
阅读次数：
187
在强化学习（三）用动态规划（DP）求解中，我们讨论了用动态规划来求解强化学习预测问题和控制问题的方法。但是由于动态规划法需要在每一次回溯更新某一个状态的价值时，回溯到该状态的所有可能的后续状态。导致对于复杂问题计算量很大。同时很多时候，我们连环境的状态转化模型$P$都无法知道，这时动态规划法根本没法 ...
分类：
其他好文 时间：
2018-08-17 18:22:23
阅读次数：
212
前面我们讲到了M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。因此需要一个好的方法来改进M-H采样， ...
分类：
其他好文 时间：
2018-08-16 00:57:09
阅读次数：
146
在采样之马尔科夫链中我们讲到给定一个概率平稳分布π, 很难直接找到对应的马尔科夫链状态转移矩阵P。而只要解决这个问题，我们就可以找到一种通用的概率分布采样方法，进而用于蒙特卡罗模拟。本篇我们就讨论解决这个问题的办法：MCMC采样和它的易用版M-H采样 1.马尔科夫链的细致平稳条件 2. MCMC采样 ...
分类：
其他好文 时间：
2018-08-15 20:30:10
阅读次数：
392
我们学习编程的最终目的就是解决问题：那我们试试看能不能用我们已学的知识解决圆周率的计算问题 方案一：公式法 方案二：蒙特卡罗方法（撒点法） 首先我们用方案一的方法进行尝试解决，代码如下： 运行结果如下图所示： 下面我们使用蒙特卡罗方法计算圆周率大小 中心思想就是我们在一块如图的区域撒点，由面积比很容 ...
分类：
其他好文 时间：
2018-08-10 13:12:30
阅读次数：
200
蒙特·卡罗分子模拟计算 蒙特·卡罗分子模拟计算 使用蒙特·卡罗方法进行分子模拟计算是按照以下步骤进行的： 1． 使用随机数发生器产生一个随机的分子构型。 2． 对此分子构型的其中粒子坐标做无规则的改变，产生一个新的分子构型。 3． 计算新的分子构型的能量。 4． 比较新的分子构型于改变前的分子构型的 ...
分类：
其他好文 时间：
2018-08-07 21:58:12
阅读次数：
172
1、MCMC概述 从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。之前已经介绍过蒙特卡洛方法，接下来介绍马尔科夫链，以及结合两者的采样算法。 2、马尔科夫链 马尔科夫链的概念在 ...
分类：
编程语言 时间：
2018-07-24 13:16:04
阅读次数：
208
“肥皂泡”问题大致的描述如下： 用一个铁丝首尾相连组成闭合曲线，浸入肥皂泡液，拿起后，可以发现肥皂泡液以这个闭合曲线为边界形成了一个曲面。如何将这个曲面描述出来，便是肥皂泡问题的核心。 若想使得肥皂泡液形成一个稳固的曲面，肥皂泡上的每一个点所受到的合力均为0，所以这意味着该点所处的位置是周边所有点位 ...
分类：
其他好文 时间：
2018-07-21 14:26:28
阅读次数：
132
执行第一个spark程序 普通模式提交任务： 该算法是利用蒙特·卡罗算法求圆周率PI，通过计算机模拟大量的随机数，最终会计算出比较精确的π。 高可用模式提交任务： 在高可用模式下，因为涉及到多个Master，所以对于应用程序的提交就有了一点变化，因为应用程序需要知道当前的Master的IP地址和端口 ...
分类：
其他好文 时间：
2018-07-19 16:22:08
阅读次数：
190
公式计算圆周率： 蒙特卡罗方法计算圆周率： 举一反三： ...
分类：
其他好文 时间：
2018-07-01 16:55:27
阅读次数：
169
