过拟合和欠拟合 过拟合:在训练集上的准确率较高,而在测试集上的准确率较低 欠拟合:在训练集和测试集上的准确率均较低 1)概念概述 学习曲线就是通过画出不同训练集大小时训练集和交叉验证的准确率,可以看到模型在新数据上的表现,进而来判断模型是否方差偏高或偏差过高,以及增大训练集是否可以减小过拟合。 先明 ...
分类:
其他好文 时间:
2018-12-10 14:22:23
阅读次数:
320
机器学习 定义:机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。 专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。 分类:根据训练集是否标注,9可以 ...
分类:
其他好文 时间:
2018-12-09 16:22:47
阅读次数:
180
过度拟合(overfitting)是指数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣;换成学术化语言描述,就是模型对样本数据拟合非常好,但是对于样本数据外的应用数据,拟合效果非常差。在我们数据分析挖掘业务实践中,就是“模型搭建时表现看上去非常好,但是应用到具体业务实践时, ...
分类:
其他好文 时间:
2018-12-08 19:16:46
阅读次数:
211
simpleRNN 训练集为《爱丽丝梦境》英文版txt文档,目标:根据随机给出的10个字符,生成可能的后100个字符 词向量空间生产 模型训练与预测 python (base) C:\Users\杨景\Desktop\keras深度学习实战\DeepLearningwithKeras_Code\Ch ...
分类:
其他好文 时间:
2018-12-08 15:41:11
阅读次数:
180
第2章 模型评估与选择 2.1 经验误差与过拟合 先引出几个基本概念: 误差(error):学习器的实际预测输出与样本的真实输出之间的差异。 训练误差(training error):学习器在训练集上的误差,也称“经验误差”。 测试误差(testing error):学习器在测试集上的误差。 泛化误 ...
分类:
其他好文 时间:
2018-12-07 22:33:17
阅读次数:
338
1. 数据准备:收集数据与读取 2. 数据预处理:处理数据 3. 训练集与测试集:将先验数据按一定比例进行拆分。 4. 提取数据特征,将文本解析为词向量 。 5. 训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出现的概率P(xi|y),后得到各类下词汇出现概率的向量 。 6. 测 ...
分类:
其他好文 时间:
2018-12-06 22:25:26
阅读次数:
257
1. 数据准备:收集数据与读取 2. 数据预处理:处理数据 3. 训练集与测试集:将先验数据按一定比例进行拆分。 4. 提取数据特征,将文本解析为词向量 。 5. 训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出现的概率P(xi|y),后得到各类下词汇出现概率的向量 。 6. 测 ...
分类:
其他好文 时间:
2018-12-06 22:18:18
阅读次数:
177
1. 数据准备:收集数据与读取 2. 数据预处理:处理数据 3. 训练集与测试集:将先验数据按一定比例进行拆分。 4. 提取数据特征,将文本解析为词向量 。 5. 训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出现的概率P(xi|y),后得到各类下词汇出现概率的向量 。 6. 测 ...
分类:
其他好文 时间:
2018-12-06 21:23:36
阅读次数:
247
1. 数据准备:收集数据与读取 2. 数据预处理:处理数据 3. 训练集与测试集:将先验数据按一定比例进行拆分。 4. 提取数据特征,将文本解析为词向量 。 5. 训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出现的概率P(xi|y),后得到各类下词汇出现概率的向量 。 6. 测 ...
分类:
其他好文 时间:
2018-12-06 20:35:31
阅读次数:
106
朴素贝叶斯应用:垃圾邮件分类 1. 数据准备:收集数据与读取 2. 数据预处理:处理数据 3. 训练集与测试集:将先验数据按一定比例进行拆分。 4. 提取数据特征,将文本解析为词向量 。 5. 训练模型:建立模型,用训练数据训练模型。即根据训练样本集,计算词项出现的概率P(xi|y),后得到各类下词 ...
分类:
其他好文 时间:
2018-12-06 11:05:10
阅读次数:
253