码迷,mamicode.com
首页 > 其他好文 > 详细

增量式强化学习

时间:2017-08-26 13:43:49      阅读:221      评论:0      收藏:0      [点我收藏+]

标签:eps   greedy   log   es2017   时间差   全局   化学   复杂   learn   

线性逼近:

相比较于非线性逼近,线性逼近的好处是只有一个最优值,因此可以收敛到全局最优。其中技术分享为状态s处的特征函数,或者称为基函数。

常用的基函数的类型为:

技术分享

增量式方法参数更新过程随机性比较大,尽管计算简单,但样本数据的利用效率并不高。而批的方法,尽管计算复杂,但计算效率高。

 

批处理方法:

技术分享

 

 

深度强化学习:

Q-learning方法是异策略时序差分方法。其伪代码为:

技术分享

 

离策略:是指行动策略(产生数据的策略)和要评估的策略不是一个策略。在图Q-learning 伪代码中,行动策略(产生数据的策略)是第5行的\varepsilon -greedy策略,而要评估和改进的策略是第6行的贪婪策略(每个状态取值函数最大的那个动作)。

所谓时间差分方法,是指利用时间差分目标来更新当前行为值函数。在图1.1 Q-learning伪代码中,时间差分目标为技术分享

 

增量式强化学习

标签:eps   greedy   log   es2017   时间差   全局   化学   复杂   learn   

原文地址:http://www.cnblogs.com/imagef/p/7434995.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!