结果画出的图如上面所示。 主要步骤为: 第一:从原始数据中随机性的抽取数据,然后进行数据探索分析数据,数据探索分析包括: 1.数据清洗 2.缺失值处理 3.数据变换 第二:建模样本数据 1.模型训练 2.模型评价 第三:预处理后诊断数据 第四:自动诊断 第五:根据诊断结果进行模型的优化与重构 最后, ...
分类:
其他好文 时间:
2016-09-08 12:46:50
阅读次数:
261
加州理工学院公开课:机器学习与数据挖掘:http://open.163.com/special/opencourse/learningfromdata.html 机器学习:那些具体的算法,得到精确模型,统行学家又称为统计学习 数据挖掘:数据库,数据清洗,数据可视化 深度学习:在图像,语音,富媒体取得 ...
分类:
其他好文 时间:
2016-09-06 01:04:00
阅读次数:
233
在某大型公司做大数据四年多,一直在大数据门口转悠,感觉自己从未迈进去过这个大门。 数据清洗,降低二次开发成本,将传输的速度达到极致,同时做到不丢数据。说起来简单,但是放在四年前,从0做到1还是很不简单的。java、javascipt,tomcat,SSH,Hadoop,Mapreduce,spark ...
分类:
其他好文 时间:
2016-08-30 01:50:56
阅读次数:
226
http://tech.meituan.com/machinelearning-data-feature-process.html (转) 背景 随着美团交易规模的逐步增大,积累下来的业务数据和交易数据越来越多,这些数据是美团做为一个团购平台最宝贵的财富。通过对这些数据的分析和挖掘,不仅能给美团业务 ...
分类:
其他好文 时间:
2016-08-27 21:59:43
阅读次数:
212
1.简介 在我们数据分析的实际应用中,我们可能会花费大量的时间在数据清洗上,而如果使用 R 里面自带的一些函数(base 包的 transform 等),可能会觉得力不从心,或者不是很人性化。好在我们有其他选择。这里我们介绍 dplyr 包。 首先加载包: 单表操作函数(one table verb ...
分类:
其他好文 时间:
2016-08-18 00:42:49
阅读次数:
239
按照我做项目的经验,来了项目,首先是分析项目的目的和需求,了解这个项目属于什么问题,要达到什么效果。然后提取数据,做基本的数据清洗。第三步是特征工程,这个属于脏活累活,需要耗费很大的精力,如果特征工程做的好,那么,后面选择什么算法其实差异不大,反之,不管选择什么算法,效果都不会有突破性的提高。第四步... ...
分类:
其他好文 时间:
2016-08-02 19:11:45
阅读次数:
211
1、数据分析步骤 2 常用指标:平均数,绝对数与相对数,百分比与百分点,频数与频率,比例与比率,倍数与番数,同比与环比 3 常用数据分析方法论 (1)PEST分析法 (2)5W2H (3) 逻辑树分析法(要素化、框架化 、关联化) (4)4p营销理论 (5)用户行为理论 4、数据处理的内容:数据清洗 ...
分类:
其他好文 时间:
2016-07-29 20:58:59
阅读次数:
259