Pandas 是在NumPy 基础上建立的新程序库， 提供了一种高效的 DataFrame 数据结构。 DataFrame 本质上是一种带行标签和列标签、 支持相同类型数据和缺失值的多维数组。 Pandas 不仅为带各种标签的数据提供了便利的存储界面， 还实现了许多强大的操作， 这些操作对数据库框架 ...
分类：
其他好文 时间：
2020-01-03 23:01:08
阅读次数：
103
1 import numpy as np 2 3 # 文本文件——>二进制文件 4 # 创建一个数组 5 arr = np.arange(16).reshape((4, 4)) 6 7 # 保存单个数组到二进制文件中 8 # 参数1 文件路径+名称，名称后缀名可以省略，保存的是以.npy为结尾的文件 ...
分类：
其他好文 时间：
2019-12-29 18:43:39
阅读次数：
75
联表查询的关键字为 join...on...，常见的join类型为以下几种 inner join 从多个表中返回满足join条件的所有行。如果表中有至少一个匹配，则返回行。 语法：select column_names from t1 inner join t2 on t1.column_name ...
分类：
其他好文 时间：
2019-12-27 00:19:22
阅读次数：
154
pandas 强大的数据处理工具学习目标：无需记忆确切的api名称，需要知识pandas能做什么，并根据实际需要使用的功能可以快速索引查询。 速查手册： (1) pandas中文给出的教学文档 https://www.pypandas.cn/docs/getting_started/10min.ht ...
分类：
其他好文 时间：
2019-12-21 20:16:04
阅读次数：
123
1.函数：缺失值判断 1)判断数值是否为空用 pd.isna,pd.isnull,np.isnan2)判断字符串是否为空用 pd.isna,pd.isnull；3)判断时间是否为空用 pd.isna,pd.isnull,np.isnat 参数：obj：标量或数组 返回：布尔或布尔数组 说明： 1.N ...
分类：
其他好文 时间：
2019-12-13 00:02:40
阅读次数：
615
标准化和缺失值的处理 标准化 : 特点 : 通过对原始数据进行变换把数据变换到均值为0, 标准差为1的范围内. ## 对于归一化来说：如果出现异常点，影响了大值和小值，那么结果显然会发生改变 对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从 而方差改变较小。 ...
分类：
其他好文 时间：
2019-12-01 00:18:36
阅读次数：
296
一 缺失值处理 1 删除 dropna 2 填充 / 替换 1）用中位数，众数，平均数 2）用临近值替换 fillna / replace 3）lagrange插值法 from scipy.interpolate import lagrange 可以写个函数，实现用lagrange差值 ...
分类：
其他好文 时间：
2019-11-23 12:46:11
阅读次数：
87
文本分析概念 停用词 语料中大量出现, 无用数据, 如下类似的这种词语 Tf - 词频统计 TF 的计算方式有很多, 最常见的用 某词文章中出现次数 / 文章总词数 idf - 逆文档频率 TF - idf 关键词提取 相似度 分词 语料库 词频 词频向量 整体流程 语料清洗 (去掉停用词, 去掉大 ...
分类：
其他好文 时间：
2019-11-18 16:56:51
阅读次数：
240
# Pandas对缺失值的处理(判断是否为空、删除or丢弃、填充空值) # pandas使用这些函数处理缺失值： # isnull 和 notnull ：检验是否是空值，可用于series和df # dropna：丢弃、删除缺失值 # axis：删除行还是列，{0 or “index”，1 or “ ...
分类：
其他好文 时间：
2019-11-13 22:21:49
阅读次数：
309
在日常的处理数据的时候，会遇到数据中某些地方没有值，也就是缺失了。 对于这种情况，一半有两种情况：删除和插补。 一般步建议删除。 API：sklearn.preprocessing.Imputer 参数介绍:missing_value 表示缺失值是什么；strategy 表示填补的策略，是用均值还是 ...
分类：
其他好文 时间：
2019-11-12 12:50:49
阅读次数：
109
