写代码写习惯了，在做数据预处理时也总是习惯性地用python、pandas来做处理，但其实有时候根本不需要写代码，用excel也能达到目的，甚至比写代码快很多，写代码要半天，excel只要几秒钟。下面是几个最近发现的实用技能和场景： 1.去掉某一个列的重复项：例如，删除address列中的重复项。 ...
分类：
其他好文 时间：
2018-07-12 13:17:50
阅读次数：
149
数据读取与索引 选取列 选择行 选择行和列 数据预处理 缺失值 新增列 字符串操作 数据转换 数据可视化 ...
分类：
编程语言 时间：
2018-07-11 01:07:36
阅读次数：
211
#数据预处理方法，主要是处理数据的量纲和同趋势化问题。 import numpy as np from sklearn import preprocessing #零均值规范 data=np.random.rand(3,4)#随机生成3行4列的数据 data_standardized=preproc ...
分类：
编程语言 时间：
2018-07-08 19:00:00
阅读次数：
311
案例简介 网站用户行为分析本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。 案例目的 硬件要求 本案例可以在单机上完成，也可以在集群环境下完成 ...
分类：
Web程序 时间：
2018-07-05 17:16:53
阅读次数：
346
Python读写excel的工具库很多，比如最耳熟能详的xlrd、xlwt，xlutils，openpyxl等。其中xlrd和xlwt库通常配合使用，一个用于读，一个用于写excel。xlutils结合xlrd可以达到修改excel文件目的。openpyxl可以对excel文件同时进行读写操作。 而 ...
分类：
其他好文 时间：
2018-06-30 21:21:08
阅读次数：
259
Python 3 功能简介 Python 是机器学习和其他科学领域中的主流语言，我们通常需要使用它处理大量的数据。Python 兼容多种深度学习框架，且具备很多优秀的工具来执行数据预处理和可视化。 使用 pathlib 更好地处理路径 pathlib 是 Python 3 的默认模块，帮助避免使用大 ...
分类：
编程语言 时间：
2018-06-26 19:37:13
阅读次数：
192
本文主要讲述了关于人民日报标注语料的预处理，利用CRF++工具包对模型进行训练以及测试 ...
分类：
其他好文 时间：
2018-06-16 01:06:30
阅读次数：
236
在机器学习算法中，我们经常会遇到分类特征，例如：人的性别有男女，祖国有中国，美国，法国等。这些特征值并不是连续的，而是离散的，无序的。通常我们需要对其进行特征数字化。 那什么是特征数字化呢？例子如下： 性别特征：["男"，"女"] 祖国特征：["中国"，"美国，"法国"] 运动特征：["足球"，"篮 ...
分类：
其他好文 时间：
2018-06-14 11:38:19
阅读次数：
209
决策树的一些优点： 易于理解和解释。数可以可视化。 几乎不需要数据预处理。其他方法经常需要数据标准化，创建虚拟变量和删除缺失值。决策树还不支持缺失值。 使用树的花费（例如预测数据）是训练数据点(data points)数量的对数。 可以同时处理数值变量和分类变量。其他方法大都适用于分析一种变量的集合 ...
分类：
其他好文 时间：
2018-06-11 14:46:23
阅读次数：
190
数据清洗 数值缺失 1.略去该组数据 2.数值填充：1)随机数;2)统一的全局常量，如:UNKNOWN;3)均值、中值;4）按类别的中值、均值;5）回归、决策树等得到的预测值; 噪声数据的平滑：随机噪声或偏差引起噪声 1.装箱法：按邻值实现 2.拟合回归函数以平滑数据 3.异常数据分析：在聚合后簇外 ...
分类：
其他好文 时间：
2018-06-06 12:24:21
阅读次数：
154
