在搭建一个AI模型或者是机器学习模型的时候怎么去评估模型,比如我们前期讲的利用朴素贝叶斯算法做的垃圾邮件分类算法,我们如何取评估它。我们需要一套完整的评估方法对我们的模型进行正确的评估,如果模型效果比较理想的话则可以放到线上使用,如果不理想的话则需要反复的去调整相关参数进行训练直到达到目的。 ...
分类:
其他好文 时间:
2020-07-23 23:20:40
阅读次数:
84
云计算和AI时代,运维应该如何做好转型? 今天我们来聊一聊,在云计算和AI时代,运维应该如何做好转型?今天的内容可以说是我们前面运维组织架构和协作模式转型的姊妹篇。针对运维转型这个话题,谈谈我的思考和建议。 总结运维转型案例 我们先来看业界的三个典型案例,一个来自国外,一个来自国内,最后一个是我自己 ...
分类:
其他好文 时间:
2020-07-23 19:01:44
阅读次数:
73
1. sklearn中的Pipeline机制 管道机制在机器学习算法中的应用:参数集在新数据集(比如测试集)上的重复使用。 管道机制实现流式化封装和管理。 主要有两点好处: 可直接调用fit和predict方法对pipeline中的所有算法模型进行训练和预测 可结合grid search对参数进行选 ...
分类:
其他好文 时间:
2020-07-23 16:15:38
阅读次数:
78
一、频率派 vs 贝叶斯派 机器学习主要解决从数据中获取其概率分布的问题,通过一些机器学习的算法可以从大量数据中找到一定的规律,从而建立模型来解决实际问题,因此机器学习中主要使用数据来求解其参数: data:\(X\) $X= \left[ \begin x_1 & x_2 & \cdots & x ...
分类:
其他好文 时间:
2020-07-22 21:00:17
阅读次数:
102
一、概述 假设有以下数据: $$X=(x_{1},x_{1},\cdots ,x_)=\begin x_{1}\ x_{2}\ \vdots \ x_ \end{N \times p}\ 其中x\in \mathbb^且x_\overset{\sim }N(\mu ,\Sigma )\ 则参数\th ...
分类:
其他好文 时间:
2020-07-22 20:58:47
阅读次数:
72
一、概述 假设有以下数据: $$D=\left {(x_{1},y_{1}),(x_{2},y_{2}),\cdots ,(x_,y_)\right }\ x_\in \mathbb,y_\in \mathbb,i=1,2,\cdots ,N\ X=(x_{1},x_{1},\cdots ,x_)= ...
分类:
其他好文 时间:
2020-07-22 20:54:34
阅读次数:
82
概述传统的控制:将任务分解成多个任务的串并联,设计(子)控制器机器学习:将控制器压缩成黑盒Black box强化学习不同于 监督、非监督学习(与静态数据交互),与环境产生交互,产生最优结果的动作序列。强化学习架构Agent: 由Policy 和 RL_Alg构成Enviroment:关键定义Rewa... ...
分类:
其他好文 时间:
2020-07-22 16:27:19
阅读次数:
132
在机器学习中,我们通过一些已标记的数据(已知的数据,带有标签,确定了其种类和一些属性数值的数据记录)记录成图表等,比如在进行分类问题的训练过程中, 如果特性只有两个,那么可以列平面图表来表示对应的labeled data, 即类似 的图像(来自百度图片), 其中的曲线既是决策边界,如果我们用一个表格 ...
分类:
其他好文 时间:
2020-07-22 15:38:58
阅读次数:
68
一、基本术语 1.18泛化:学得模型是否适用于新样本的能力 注:假设样本空间的全体样本服从于一个未知的分布D,我们得到的样本都是独立从D上采样得到的,即“独立同分布”。训练样本越多,地道道关于D的信息越多,也就也可能通过学习得到强泛化能力的模型 1.19归纳:从特殊到一般的“泛化”过程 1.20演绎 ...
分类:
其他好文 时间:
2020-07-21 01:21:58
阅读次数:
82
sklearn的数据集 数据集划分 数据集接口介绍 数据集划分 前提:机器学习就是从数据中自动分析获得规律,并利用规律对未知数据进行预测。换句话说,我们的模型一定是要经过样本数据对其进行训练,才可以对未知数据进行预测的。 问题:我们得到数据后,是否将数据全部用来训练模型呢? 当然不是!因为我们如果模 ...
分类:
其他好文 时间:
2020-07-21 01:08:37
阅读次数:
86