使用pandas进行数据清洗 本文转载自：蓝鲸的网站分析笔记 原文链接：使用python进行数据清洗 数据清洗是一项复杂且繁琐(kubi)的工作，同时也是整个数据分析过程中最为重要的环节。有人说一个分析项目80%的时间都是在清洗数据，这听起来有些匪夷所思，但在实际的工作中确实如此。数据清洗的目的有两 ...
分类：
其他好文 时间：
2016-11-02 10:23:26
阅读次数：
752
作者：Datartisan链接：https://zhuanlan.zhihu.com/p/22833471来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。每个数据科学家每天都要处理成吨的数据，而他们60%~70%的时间都在进行数据清洗和数据格式调整，将原始数据转变为可以 ...
分类：
其他好文 时间：
2016-10-16 16:18:44
阅读次数：
179
最近有网友提到收缩Oracle数据文件的问题，这是DBA经常碰到的一个常见问题。通常我们需要收缩相应的数据文件以减少来自磁盘空间的压力以及提高数据库的整体性能。但这并非对于所有情形都是适用的，尤其是生产环境。因为生产环境数据清洗相当较少，因此空间浪费也比较小，而且一旦收缩之后又要重新自动扩展数据文件 ...
分类：
数据库 时间：
2016-09-17 00:35:50
阅读次数：
250
ETL构建企业级数据仓库五步法 在数据仓库构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线，包括了从数据清洗，整合，到转换，加载等的各个过程，如果说数据仓库是一座大 厦，那 么ETL就是大厦的根基，ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作 ...
分类：
其他好文 时间：
2016-09-10 10:13:11
阅读次数：
173
结果画出的图如上面所示。 主要步骤为： 第一：从原始数据中随机性的抽取数据，然后进行数据探索分析数据，数据探索分析包括： 1.数据清洗 2.缺失值处理 3.数据变换 第二：建模样本数据 1.模型训练 2.模型评价 第三：预处理后诊断数据 第四：自动诊断 第五：根据诊断结果进行模型的优化与重构 最后， ...
分类：
其他好文 时间：
2016-09-08 12:46:50
阅读次数：
261
加州理工学院公开课：机器学习与数据挖掘：http://open.163.com/special/opencourse/learningfromdata.html 机器学习：那些具体的算法，得到精确模型，统行学家又称为统计学习 数据挖掘：数据库，数据清洗，数据可视化 深度学习：在图像，语音，富媒体取得 ...
分类：
其他好文 时间：
2016-09-06 01:04:00
阅读次数：
233
在某大型公司做大数据四年多，一直在大数据门口转悠，感觉自己从未迈进去过这个大门。 数据清洗，降低二次开发成本，将传输的速度达到极致，同时做到不丢数据。说起来简单，但是放在四年前，从0做到1还是很不简单的。java、javascipt，tomcat，SSH，Hadoop，Mapreduce，spark ...
分类：
其他好文 时间：
2016-08-30 01:50:56
阅读次数：
226
http://tech.meituan.com/machinelearning-data-feature-process.html （转） 背景 随着美团交易规模的逐步增大，积累下来的业务数据和交易数据越来越多，这些数据是美团做为一个团购平台最宝贵的财富。通过对这些数据的分析和挖掘，不仅能给美团业务 ...
分类：
其他好文 时间：
2016-08-27 21:59:43
阅读次数：
212
1.简介 在我们数据分析的实际应用中，我们可能会花费大量的时间在数据清洗上，而如果使用 R 里面自带的一些函数（base 包的 transform 等），可能会觉得力不从心，或者不是很人性化。好在我们有其他选择。这里我们介绍 dplyr 包。 首先加载包： 单表操作函数（one table verb ...
分类：
其他好文 时间：
2016-08-18 00:42:49
阅读次数：
239
