码迷,mamicode.com
首页 > 编程语言 > 详细

Python之Pandas知识点

时间:2018-07-22 12:59:14      阅读:201      评论:0      收藏:0      [点我收藏+]

标签:iter   自动识别   字段名   href   ilo   效率   replace   exce   date   

很多人都分不清Numpy,Scipy,pandas三个库的区别。

在这里简单分别一下:

    • NumPy:数学计算库,以矩阵为基础的数学计算模块,包括基本的四则运行,方程式以及其他方面的计算什么的,纯数学;
    • SciPy :科学计算库,有一些高阶抽象和物理模型,在NumPy基础上,封装了一层,没有那么纯数学,提供方法直接计算结果;
    • 比如:
    • 做个傅立叶变换,这是纯数学的,用Numpy;
    • 做个滤波器,这属于信号处理模型了,用Scipy。
  • Pandas:提供名为DataFrame的数据结构,比较契合统计分析中的表结构,做数据分析用的,主要是做表格数据呈现。

目前来说,随着Pandas更新,Numpy大部分功能已经直接和Pandas融合了。

如果想了解Numpy的话,可点击阅读Python之Numpy的基础及进阶函数(图文)

 

但如果你不是纯数学专业,而且想做数据分析的话,尝试着从 Pandas 入手比较好。

接下来讲Pandas。

 

1数据结构

  • Series:一维数组,与Numpy中的一维array类似。
  • Time- Series:以时间为索引的Series。
  • DataFrame:二维的表格型数据结构。可以将DataFrame理解为Series的容器。
  • Panel :三维的数组,可以理解为DataFrame的容器。
# 导入别名
import pandas as pd
pd.Series([1,2,3,4])

 

2数据读取

2.1 csv文件读取

read_csv(filepath_or_buffer, sep=‘,‘, delimiter=None, header=‘infer‘, names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, iterator=False, chunksize=None, compression=‘infer‘, thousands=None, decimal=b‘.‘, lineterminator=None, quotechar=‘"‘, quoting=0, escapechar=None, comment=None, encoding=None, dialect=None, tupleize_cols=False, error_bad_lines=True, warn_bad_lines=True, skipfooter=0, skip_footer=0, doublequote=True, delim_whitespace=False, as_recarray=False, compact_ints=False, use_unsigned=False, low_memory=True, buffer_lines=None, memory_map=False, float_precision=None)

  • filepath_or_buffer:文件路径,建议使用相对路径
  • header: 默认自动识别首行为列名(特征名),在数据没有列名的情况下 header = none, 还可以设置为其他行,例如 header = 5 表示索引位置为5的行作为起始列名
  • sep: 表示csv文件的分隔符,默认为‘,‘
  • names: 表示设置的字段名,默认为‘infer‘
  • index_col:表示作为索引的列,默认为0-行数的等差数列。
  • engine:表示解析引擎,可以为‘c‘或者‘python‘
  • encoding:表示文件的编码,默认为‘utf-8‘。
  • nrows:表示读取的行数,默认为全部读取
# 读取csv,参数可删
data = pd.read_csv(./data/test.csv,sep = ,,header = infer,names = range(5,18),index_col = [0,2],engine = python,encoding = gbk,nrows = 100)
# 读取csv,参数可删
data = pd.read_table(./data/test.csv,sep = ,,header = infer,names = range(5,18),index_col = [0,2],engine = python,encoding = gbk,nrows = 100)

 

2.2Excel 数据读取

read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None, names=None, parse_cols=None, parse_dates=False, date_parser=None, na_values=None, thousands=None, convert_float=True, has_index_names=None, converters=None, dtype=None, true_values=None, false_values=None, engine=None, squeeze=False, **kwds)

  • io:文件路径+全称,无默认
  • sheetname:工作簿的名字,默认为0
  • header: 默认自动识别首行为列名(特征名),在数据没有列名的情况下 header = none, 还可以设置为其他行,例如 header = 5 表示索引位置为5的行作为起始列名
  • names: 表示设置的字段名,默认为‘infer‘
  • index_col:表示作为索引的列,默认为0-行数的等差数列
  • engine:表示解析引擎,可以为‘c‘或者‘python‘
data = pd.read_excel(./data/test.xls,sheetname=原始数据,header = 0,index_col = [5,6])

 

2.3数据库数据读取

  1. read_sql_query(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, chunksize=None)
    • sql:表示抽取数据的SQL语句,例如‘select * from 表名‘
    • con:表示数据库连接的名称
    • index_col:表示作为索引的列,默认为0-行数的等差数列
  2. read_sql_table(table_name, con, schema=None, index_col=None, coerce_float=True, parse_dates=None, columns=None, chunksize=None)
    • table_name:表示抽取数据的表名
    • con:表示数据库连接的名称
    • index_col:表示作为索引的列,默认为0-行数的等差数列
    • columns:数据库数据读取后的列名。
  3. read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)
    • sql:表示抽取数据的表名或者抽取数据的SQL语句,例如‘select * from 表名‘
    • con:表示数据库连接的名称
    • index_col:表示作为索引的列,默认为0-行数的等差数列
    • columns:数据库数据读取后的列名。

  建议:用前两个

# 读取数据库
from sqlalchemy import create_engine
conn = create_engine(mysql+pymysql://root:root@127.0.0.1/test?charset=utf8, encoding=utf-8, echo=True)
# data1 = pd.read_sql_query(‘select * from data‘, con=conn)
# print(data1.head())

data2 = pd.read_sql_table(data, con=conn)
print(data2.tail())
print(data2[X][1])

  数据库连接字符串各参数说明

  ‘mysql+pymysql://root:root@127.0.0.1/test?charset=utf8‘

  连接器://用户名:密码@数据库所在IP/访问的数据库名称?字符集

 

3数据写出

3.1将数据写出为csv

DataFrame.to_csv(path_or_buf=None, sep=‘,‘, na_rep=‘‘, float_format=None, columns=None, header=True, index=True, index_label=None, mode=‘w‘, encoding=None, compression=None, quoting=None, quotechar=‘"‘, line_terminator=‘\n‘, chunksize=None, tupleize_cols=False, date_format=None, doublequote=True, escapechar=None, decimal=‘.‘)

  • path_or_buf:数据存储路径,含文件全名例如‘./data.csv‘
  • sep:表示数据存储时使用的分隔符
  • header:是否导出列名,True导出,False不导出
  • index: 是否导出索引,True导出,False不导出
  • mode:数据导出模式,‘w‘为写
  • encoding:数据导出的编码
import pandas as pd
data.to_csv(data.csv,index = False)

 

3.2将数据写出为excel

DataFrame.to_excel(excel_writer, sheet_name=‘Sheet1‘, na_rep=‘‘, float_format=None, columns=None, header=True, index=True, index_label=None, startrow=0, startcol=0, engine=None, merge_cells=True, encoding=None, inf_rep=‘inf‘, verbose=True, freeze_panes=None)

  • excel_writer:数据存储路径,含文件全名例如‘./data.xlsx‘
  • sheet_name:表示数据存储的工作簿名称
  • header:是否导出列名,True导出,False不导出
  • index: 是否导出索引,True导出,False不导出
  • encoding:数据导出的编码
data.to_excel(data.xlsx,index=False)

 

3.3将数据写入数据库

DataFrame.to_sql(name, con, flavor=None, schema=None, if_exists=‘fail‘, index=True, index_label=None, chunksize=None, dtype=None)

  • name:数据存储表名
  • con:表示数据连接
  • if_exists:判断是否已经存在该表,‘fail‘表示存在就报错;‘replace‘表示存在就覆盖;‘append‘表示在尾部追加
  • index: 是否导出索引,True导出,False不导出
from sqlalchemy import create_engine
conn =create_engine(mysql+pymysql://root:root@127.0.0.1/data?charset=utf8, encoding=utf-8, echo=True)
data.to_sql(data,con = conn)

 

4数据处理

4.1数据查看

# 查看前5行,5为数目,不是索引,默认为5
data.head()
# 查看最后6行,6为数目,不是索引,默认为5
data.tail(6)
# 查看数据的形状
data.shape
# 查看数据的列数,0为行1位列
data.shape[1]
# 查看所有的列名
data.columns
# 查看索引
data.index
# 查看每一列数据的类型
data.dtypes
# 查看数据的维度
data.ndim
## 查看数据基本情况
data.describe()
‘‘‘
count:非空值的数目
mean:数值型数据的均值
std:数值型数据的标准差
min:数值型数据的最小值
25%:数值型数据的下四分位数
50%:数值型数据的中位数
75%:数值型数据的上四分位数
max:数值型数据的最大值
‘‘‘

 

4.2数据索引

# 取出单独某一列
X = data[X]
# 取出多列
XY = data[[X,Y]]
# 取出某列的某一行
data[X][1]
# 取出某列的某几行
data[X][:10]
# 取出某几列的某几行
data[[X,Y]][:10]

# loc方法索引 ‘‘‘ DataFrame.loc[行名,列名] ‘‘‘ # 取出某几列的某一行 data.loc[1,[X,月份]] # 取出某几列的某几行(连续) data.loc[1:5,[X,月份]] # 取出某几列的某几行(连续) data.loc[[1,3,5],[X,月份]] # 取出 x ,FFMC ,DC的0-20行所有索引名称为偶数的数据 data.loc[range(0,21,2),[X,FFMC,DC]]
# iloc方法索引 ‘‘‘ DataFrame.iloc[行位置,列位置] ‘‘‘ # 取出某几列的某一行 data.iloc[1,[1,4]] # 取出列位置为偶数,行位置为0-20的偶数的数据 data.iloc[0:21:2,0:data.shape[1]:2]
# ix方法索引 ‘‘‘ DataFrame.ix[行位置/行名,列位置/列名] ‘‘‘ ## 取出某几列的某一行 data.ix[1:4,[1,4]] data.ix[1:4,1:4]

loc,iloc,ix的区别

  1. loc使用名称索引,闭区间
  2. iloc使用位置索引,前闭后开区间
  3. ix使用名称或位置索引,且优先识别名称,其区间根据名称/位置来改变

  综合上述所言,不建议使用ix,容易发生混淆的情况,并且运行效率低于loc和iloc,pandas考虑在后期会移除这一索引方法

 

4.3数据修改

# 修改列名
list1 = list(data.columns)
list1[0] = 第一列
data.columns = list1

data[新增列] = True

data.loc[新增一行,:] = True

data.drop(新增列,axis=1,inplace=True)

data.drop(新增一行,axis=0,inplace=True)

 

  技术分享图片

import pandas as pd
data = pd.read_excel(./data/test.xls)

# 时间类型数据转换
data[发生时间] = pd.to_datetime(data[发生时间],format=%Y%m%d%H%M%S)

# 提取day
data.loc[1,发生时间].day
# 提取日期信息新建一列
data[日期] = [i.day for i in data[发生时间]]

year_data = [i.is_leap_year for i in data[发生时间]]

 

4.4分组聚合

4.4.1分组

  技术分享图片

# 分组
group1 = data.groupby(性别)
group2 = data.groupby([入职时间,性别])

# 查看有多少组
group1.size()

笔记:

  用groupby方法分组后的结果并不能直接查看,而是被存在内存中,输出的是内存地址。实际上分组后的数据对 象GroupBy类似Series与DataFrame,是pandas提供的一种对象。 

 

4.4.2Groupby对象常见方法

技术分享图片

 

4.4.3Grouped对象的agg方法

  Grouped.agg(函数或包含了字段名和函数的字典)

# 第一种情况
group[[年龄,工资]].agg(min)

# 对不同的列进行不同的聚合操作
group.agg({‘年龄:max,工资:sum})

# 上述过程中使用的函数均为系统math库所带的函数,若需要使用pandas的函数则需要做如下操作
group.agg({年龄:lambda x:x.max(),工资:lambda x:x.sum()})

 

4.4.4Grouped对象的apply聚合方法

  Grouped.apply(函数操作)

  只能对所有列执行同一种操作

group.apply(lambda x:x.max())

 

4.4.5Grouped对象的transform方法

  grouped.transform(函数操作)

  transform操作时的对象不再是每一组,而是每一个元素

# 每一空添加字符
group[年龄].transform(lambda x: x.astype(str)+).head()

# 组内标准化
group1[工资].transform(lambda x:(x.mean()-x.min())/(x.max()-x.min())).head()

 

Python之Pandas知识点

标签:iter   自动识别   字段名   href   ilo   效率   replace   exce   date   

原文地址:https://www.cnblogs.com/WoLykos/p/9349581.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!