要知道，与机器学习模型不同，深度学习模型里面充满了各种超参数。而且，并非所有参数变量都能对模型的学习过程产生同样的贡献。 考虑到这种额外的复杂性，在一个多维空间中找到这些参数变量的最佳配置并不是件容易的事情。 每一位科学家和研究人员，都希望在现有的资源条件下（计算、金钱和时间），找到最佳的模型。 通 ...
分类：
其他好文 时间：
2018-10-03 00:42:14
阅读次数：
187
特征工程是机器学习当中很重要的部分，可以帮助我们设计、创建新特征，以便模型从中提取重要相关性。本文将记录并持续更新相关特征工程的工具包介绍，包括自动模型选择和超参数调优等各方面。 · Featuretools Featuretools 是一个开源的Python 库，用于自动化特征工程。自动特征工程能 ...
分类：
其他好文 时间：
2018-09-27 22:17:06
阅读次数：
431
Skopt https://scikit-optimize.github.io/是一个超参数优化库，包括随机搜索、贝叶斯搜索、决策森林和梯度提升树。这个库包含一些理论成熟且可靠的优化方法，但是这些模型在小型搜索空间和良好的初始估计下效果最好。 Hyperopt https://github.com/ ...
分类：
其他好文 时间：
2018-09-15 15:17:50
阅读次数：
272
调参数是一件很头疼的事情，今天学习到一个较为简便的跑循环交叉验证的方法，虽然不是最好的，如今网上有很多调参的技巧，目前觉得实现简单的，以后了解更多了再更新。 输出： 1011121314151617181920212223242526272829[0.97412964956075354, 0.972 ...
分类：
其他好文 时间：
2018-09-15 01:16:31
阅读次数：
181
如何选择超参数： 交叉验证： 如图， 大训练集分块，使用不同的分块方法分成N对小训练集和验证集。 使用小训练集进行训练，使用验证集进行验证，得到准确率，求N个验证集上的平均正确率； 使用平均正确率最高的超参数，对整个大训练集进行训练，训练出参数。 在训练集上训练。 十折交叉验证 网格搜索 诸如你有多 ...
分类：
其他好文 时间：
2018-09-15 00:43:30
阅读次数：
533
六、网格搜索与 K 邻近算法中更多的超参数 七、数据归一化 Feature Scaling 解决方案：将所有的数据映射到同一尺度 八、scikit-learn 中的 Scaler preprocessing.py 九、更多有关 K 近邻算法的思考 优点： 解决分类问题 天然可以解决多分类问题 思想简 ...
分类：
编程语言 时间：
2018-08-25 20:07:22
阅读次数：
141
使用 TensorFlow 的基本步骤 学习目标： 学习基本的 TensorFlow 概念 在 TensorFlow 中使用 LinearRegressor 类并基于单个输入特征预测各城市街区的房屋价值中位数 使用均方根误差 (RMSE) 评估模型预测的准确率 通过调整模型的超参数提高模型准确率 数 ...
分类：
其他好文 时间：
2018-08-23 21:04:21
阅读次数：
286
权重衰减是应对过拟合问题的常用方法。 $L_2$范数正则化 在深度学习中，我们常使用L2范数正则化，也就是在模型原先损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。 L2范数惩罚项指的是模型权重参数每个元素的平方和与一个超参数的乘积。如：$w_1$,$w_2$是权重参数，b是偏差参 ...
分类：
Web程序 时间：
2018-08-23 00:38:44
阅读次数：
380
构建数据集 数据迭代器 训练并展示结果 gb.semilogy函数：绘制训练和测试数据的loss 使用 Gluon 的 wd 超参数可以使用权重衰减来应对过拟合问题。 我们可以定义多个 Trainer 实例对不同的模型参数使用不同的迭代方法。 ...
分类：
Web程序 时间：
2018-08-23 00:35:41
阅读次数：
280
之前介绍的StringIndexer是针对单个类别型特征进行转换，倘若所有特征都已经被组织在一个向量中 ，又想对其中某些单个分量进行处理时，Spark ML提供了VectorIndexer类来解决向量数据集中的类别 性特征转换。通过为其提供maxCategories超参数，它可以自动识别哪些特征是类 ...
分类：
其他好文 时间：
2018-08-17 12:51:44
阅读次数：
525
