码迷,mamicode.com
首页 > Web开发 > 详细

【元学习】Meta-learning与MAML

时间:2020-10-22 23:02:55      阅读:36      评论:0      收藏:0      [点我收藏+]

标签:而不是   cio   模型   概念   预测   learn   不同   数据   机器学习   

关于元学习,网上的很多教程不太说人话,大多是根据李宏毅教授的课进行的一个拓展,并没有去详细的讲解一些步骤性的问题;

关于原理或者说概要比较好的博客:

https://zhuanlan.zhihu.com/p/108503451

https://zhuanlan.zhihu.com/p/55643191

 

上面两篇可以说是大致很好的讲解了元学习的基本概念,自己本篇进行一个大致的整理;

 

Meta-Learning:

元学习的大致思想:寻求一种方法使得可以从过去的任务中学习到如何去学习。

 

从本质的上来说,和传统机器学习相比较:

传统机器学习:DL包括在内,都是寻求一个boundary来进行定界操作,主要关心得到一个输入和标签的映射网络;

元学习:执着于网络参数的确定,使得每一次训练后,都可以让模型自己去尝试制定参数,而不是人为去设定参数;

所以,某种程度上训练过程可能类似,但是侧重思想是不一样的;

 

技术图片

 

如上所示,可以基本的看出元学习的目的并不是生成预测值,而是通过feed数据集,来世的learning algorithm收敛,得到一个新的函数,为下一个任务做准备,所以,本质就是通过一个任务生成一个特定的网络,由训练过程自发的使网络来达到最佳,其实和传统学习还是有点像的;

但是比较不同的一点是,生成的网络可以在不同的task有不同的结果,而后续的MAML则是固定一类模型,算是meta-learning中的特殊情况;

 

所以元学习的基本步骤有以下几步:

1.进行一群F函数的选择,对于同样的一系列task来进行训练;

2.根据一定的方法评价task的好坏;

3.最后选择最好的F;

 

对于上述,完整的流程可以如下所示:

技术图片

 

所以,对于不同的F,寻找出生成f效率最好的函数,总体通过loss funcion l来进行评估;

技术图片

 

MAML是Meta-learning中的一种,但是其核心思想是初始化参数的设定;

即通过task的学习,得到一个使得每个task都最优的初始参数;

对于各个网络中的参数,直接利用初始参数进行更新;

而对于目标函数,我们要求L函数有最小值,所以可以直接借此更新初始化参数,从而达到寻找最优初始化参数的目的;

 

其中需要注意的是以下几点:

1.局部网络和整体初始参数更新的速率不同;

2.局部网络中往往是一次训练,但是也可以根据数据量进行更改,使得收敛更好;

 

【元学习】Meta-learning与MAML

标签:而不是   cio   模型   概念   预测   learn   不同   数据   机器学习   

原文地址:https://www.cnblogs.com/songlinxuan/p/13859490.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!