1. 在保留交叉验证（hand-out cross validation）中，随机将训练样本集分成训练集（training set）和交叉验证集（cross validation set）,比如分别占70%，30%。然后使用模型在训练集上学习得到假设。最后使用交叉验证集对假设进行验证，看预测的是否准 ...
分类：
其他好文 时间：
2017-10-27 19:53:40
阅读次数：
163
caffe虽然已经安装了快一个月了，但是caffe使用进展比较缓慢，果然如刘老师说的那样，搭建起来caffe框架环境比较简单，但是完整的从数据准备->模型训练->调参数->合理结果需要一个比较长的过程，这个过程中你需要对caffe中很多东西，细节进行深入的理解，这样才可以知道为什么能有这样的结果，在 ...
分类：
其他好文 时间：
2017-10-26 20:02:33
阅读次数：
256
通过PAI中的流程，学习到本实例中的流程。数据预处理——特征扩充——数据切分——类型转换——归一化——缺失值填充——模型训练——预测（可视化） 通过不同特征之间的组合产生新的特征 用户购买就是一个二分类，即：买、不买 上面的error是一个梯度——生成值与目标的差值。这个差值其实就是下图中的代价函数 ...
分类：
其他好文 时间：
2017-10-08 14:47:06
阅读次数：
163
通过PAI中的流程，学习到本实例中的流程。数据预处理——特征扩充——数据切分——类型转换——归一化——缺失值填充——模型训练——预测（可视化） 通过不同特征之间的组合产生新的特征 用户购买就是一个二分类，即：买、不买 上面的error是一个梯度——生成值与目标的差值。这个差值其实就是下图中的代价函数 ...
分类：
其他好文 时间：
2017-10-08 14:08:56
阅读次数：
145
分为三个文件：mnist_inference.py：定义前向传播的过程以及神经网络中的参数，抽象成为一个独立的库函数；mnist_train.py：定义神经网络的训练过程，在此过程中，每个一段时间保存一次模型训练的中间结果；mnist_eval.py：定义测试过程。 #coding=utf8impo ...
分类：
其他好文 时间：
2017-10-07 19:44:10
阅读次数：
312
建立神经网络模型，下面要建立的模型如下： （上图来源：训练网络时，打开tensorboard即可观察网络结构，在下一节模型训练的时候会讲到） 下面为具体步骤： Step 0：导入相关库 Step 1：定义网络结构 函数介绍： 1）tf.variable_scope 通过 tf.get_variabl ...
分类：
其他好文 时间：
2017-09-30 10:11:59
阅读次数：
312
上一步建立好模型之后，现在就可以训练模型了。 主要代码如下： 一些函数说明如下： 1）tf.summary.merge_all 作用：Merges all summaries collected in the default graph. 2）tf.summary.FileWriter 作用：Wri ...
分类：
其他好文 时间：
2017-09-30 10:10:34
阅读次数：
338
经验误差 泛化误差 过拟合 评估方法 留出法 采用分层采样的方式留出验证集 交叉验证法 将数据集均分k份，留出一份作为交叉验证集，重复k次取均值 自助法 随机可重复采样m次，所得集合作为训练集，余下数据作为验证集 在数据集较小时，自助法比较可靠 在数据集较大时，留出法和交叉验证法更常用一些 调参与最 ...
分类：
其他好文 时间：
2017-09-19 11:01:12
阅读次数：
134
人工智能应用案例在实践中搭建最先进的神经网络模型，训练处属于自己的AI人工智能时代学习进度安排 神经网络和深度学习 学习神经网路和深度学习的基础与案例改善深层神经网络的 理解最前沿的深度学习方法学会搭建自己的神经网络结构化机器学习项目 学会诊断机器学习项目训练属于自己的AI卷积神经网络 学习搭建卷积... ...
分类：
其他好文 时间：
2017-09-08 22:56:23
阅读次数：
142
3.3 Spark在预测核心层的应用 我们使用Spark SQL和Spark RDD相结合的方式来编写程序，对于一般的数据处理，我们使用Spark的方式与其他无异，但是对于模型训练、预测这些需要调用算法接口的逻辑就需要考虑一下并行化的问题了。我们平均一个训练任务在一天处理的数据量大约在500G左右， ...
分类：
其他好文 时间：
2017-08-12 12:37:33
阅读次数：
144
