标签：font   gpl   prope   程序员   dal   分组   形式   taf   括号   

pandas模块

pandas基于Numpy，可以看成是处理文本或者表格数据。pandas中有两个主要的数据结构，其中Series数据结构类似于Numpy中的一维数组，DataFrame类似于多维表格数据结构。

pandas是python数据分析的核心模块。它主要提供了五大功能:

1.支持文件存取操作，支持数据库(sql)、html、json、pickle、csv(txt、excel)、sas、stata、hdf等。

2.支持增删改查、切片、高阶函数、分组聚合等单表操作，以及和dict、list的互相转换。

3.支持多表拼接合并操作。

4.支持简单的绘图操作。

5.支持简单的统计分析操作。

Series

import numpy as np
import pandas as pd

arr = np.array([1, 2, 3, 4, np.nan, ])
print(arr)

[ 1.  2.  3.  4. nan]

s = pd.Series(arr)
print(s)

0    1.0
1    2.0
2    3.0
3    4.0
4    NaN
dtype: float64

DataFrame

dates = pd.date_range('20190101', periods=6)
print(dates)

DatetimeIndex(['2019-01-01', '2019-01-02', '2019-01-03', '2019-01-04',
               '2019-01-05', '2019-01-06'],
              dtype='datetime64[ns]', freq='D')

import random
np.random.seed(1)
arr = 10*np.random.randn(6, 4)
print(arr)

[[ 16.24345364  -6.11756414  -5.28171752 -10.72968622]
 [  8.65407629 -23.01538697  17.44811764  -7.61206901]
 [  3.19039096  -2.49370375  14.62107937 -20.60140709]
 [ -3.22417204  -3.84054355  11.33769442 -10.99891267]
 [ -1.72428208  -8.77858418   0.42213747   5.82815214]
 [-11.00619177  11.4472371    9.01590721   5.02494339]]

df = pd.DataFrame(arr, index=dates, columns=['c1', 'c2', 'c3', 'c4'])
df

# 使用pandas读取字典形式的数据
df2 = pd.DataFrame({'a': 1, 'b': [2, 3], 'c': np.arange(2), 'd': 'hello'})
df2

DataFrame属性

# 查看数据类型
print(df2.dtypes)

a     int64
b     int64
c     int32
d    object
dtype: object

df

print(df.index)

DatetimeIndex(['2019-01-01', '2019-01-02', '2019-01-03', '2019-01-04',
               '2019-01-05', '2019-01-06'],
              dtype='datetime64[ns]', freq='D')

print(df.columns)

Index(['c1', 'c2', 'c3', 'c4'], dtype='object')

print(df.values)

[[ 16.24345364  -6.11756414  -5.28171752 -10.72968622]
 [  8.65407629 -23.01538697  17.44811764  -7.61206901]
 [  3.19039096  -2.49370375  14.62107937 -20.60140709]
 [ -3.22417204  -3.84054355  11.33769442 -10.99891267]
 [ -1.72428208  -8.77858418   0.42213747   5.82815214]
 [-11.00619177  11.4472371    9.01590721   5.02494339]]

df.describe()

df.T

# 按索引从小到大排序
df.sort_index(axis=0)

# 按索引从大到小排序
df2.sort_index(axis=1)

# 按b列的值从大到小排序
df2.sort_values(by='b', ascending=False)  # ascending 默认为True

处理缺失值

from io import StringIO
test_data = '''
5.1,,1.4,0.2
4.9,3.0,1.4,0.2
4.7,3.2,,0.2
7.0,3.2,4.7,1.4
6.4,3.2,4.5,1.5
6.9,3.1,4.9,
,,,
'''

test_data = StringIO(test_data)   # 把字符串读入内存
df = pd.read_csv(test_data)
df  # 第一行数据成为了columns

from io import StringIO
test_data = '''
c1,c2,'c3','c4'
5.1,,1.4,0.2
4.9,3.0,1.4,0.2
4.7,3.2,,0.2
7.0,3.2,4.7,1.4
6.4,3.2,4.5,1.5
6.9,3.1,4.9,
,,,
'''

test_data = StringIO(test_data)  # 把这个读入内存


df = pd.read_csv(test_data)
df

# 0是行，1是列  （与numpy相反）
df.dropna(axis=0)   # 把含有NaN的行去掉

df.dropna(axis=1)  # 把含有NaN的列去掉

df

df.dropna(thresh=3, axis=0)  # 行里最少要有3个数字才留下来

df.dropna(thresh=4, axis=0)  # 行里最少要有4个数字才留下来

df.dropna(thresh=6, axis=1)  # 列里最少要有6个数字才留下来

df

df.columns

Index(['c1', 'c2', ''c3'', ''c4''], dtype='object')

df.dropna(subset=['c2'])  # 把c2列里的含有NaN的行去掉

df.dropna(subset=["'c3'"])  # 把c3列里的含有NaN的行去掉

df.fillna(value=0)  # 用0填充

合并数据

df1 = pd.DataFrame(np.zeros((3, 4)))
df1

df2 = pd.DataFrame(np.ones((3, 4)))
df2

pd.concat((df1, df2), axis=0)

pd.concat((df1, df2), axis=1)

取值

df

dates = pd.date_range('20190101', periods=6)
np.random.seed(1)
arr = 10*np.random.randn(6, 4)
df = pd.DataFrame(arr, index=dates, columns=['c1', 'c2', 'c3', 'c4'])
df

# 按照索引取值
df.loc['2019-01-01']

c1    16.243454
c2    -6.117564
c3    -5.281718
c4   -10.729686
Name: 2019-01-01 00:00:00, dtype: float64

# 类似于numpy取值
df.iloc[0, 0]

16.243453636632417

df.iloc[0, :] = 0
df

matplotlib模块

matplotlib是一个绘图库，它可以创建常用的统计图，包括条形图、箱型图、折线图、散点图和直方图。

条形图

import matplotlib.pyplot as plt
# 只识别英语,所以通过以下两行增加中文字体
from matplotlib.font_manager import FontProperties
# jupyter默认不显示图片,通过这一行告诉他显示图片
%matplotlib inline
font = FontProperties(fname=r'E:\msyh.ttc')  # 中文字体

# 修改背景为条纹
plt.style.use('ggplot')

classes = ['3班', '4班', '5班', '6班']

classes_index = range(len(classes))
print(list(classes_index))

[0, 1, 2, 3]

student_amounts = [42, 53, 60, 66]

plt.bar(classes_index, student_amounts)
plt.xticks(classes_index, classes, FontProperties=font)

for ind, student_amount in enumerate(student_amounts):
    plt.text(ind, student_amount+1, student_amount)

plt.xlabel('班级', fontproperties=font, fontsize=15)
plt.ylabel('学生人数', fontproperties=font, fontsize=15)
plt.title('班级-学生人数', fontproperties=font, fontsize=20)
# 保存图片，bbox_inches='tight'去掉图形四周的空白
# plt.savefig('classes_students.png', dpi=400, bbox_inches='tight')
plt.show()

直方图

import random
import numpy as np
import matplotlib.pyplot as plt
# 只识别英语,所以通过以下两行增加中文字体
from matplotlib.font_manager import FontProperties
# jupyter默认不显示图片,通过这一行告诉他显示图片
%matplotlib inline
font = FontProperties(fname=r'E:\msyh.ttc')  # 中文字体

mu1, mu2, sigma = 50, 100, 10
x1 = mu1+sigma*np.random.randn(10000)
print(x1)

[59.00855949 43.16272141 48.77109774 ... 57.94645859 54.70312714
 58.94125528]

x2 = mu2+sigma*np.random.randn(10000)
print(x2)

[115.19915511  82.09208214 110.88092454 ...  95.0872103  104.21549068
 133.36025251]

plt.style.use('ggplot')

fig = plt.figure()

# 1行2列
# 1,1,1表示一张画布切割成1行1列共一张图的第1个；2,2,1表示一张画布切割成2行2列共4张图的第一个（左上角）
ax1 = fig.add_subplot(121)
ax1.hist(x1, bins=100, color='red')
ax1.set_title('红色', fontproperties=font)

ax2 = fig.add_subplot(122)
ax2.hist(x2, bins=100, color='blue')
ax2.set_title('蓝色', fontproperties=font)

fig.suptitle('大标题', fontproperties=font, fontsize=15, weight='bold')

plt.show()

折线图

import random
import numpy as np
import matplotlib.pyplot as plt
# 只识别英语,所以通过以下两行增加中文字体
from matplotlib.font_manager import FontProperties
# jupyter默认不显示图片,通过这一行告诉他显示图片
%matplotlib inline
font = FontProperties(fname=r'E:\msyh.ttc')  # 中文字体

plt.style.use('ggplot')

np.random.seed(1)
data1 = np.random.rand(40).cumsum()
data2 = np.random.rand(40).cumsum()
data3 = np.random.rand(40).cumsum()
data4 = np.random.rand(40).cumsum()

plt.plot(data1, color='r', linestyle='-', alpha=0.5, label='红色')
plt.plot(data2, color='green', linestyle='--', label='绿色')
plt.plot(data3, color='pink', linestyle=':', label='粉色')
plt.plot(data4, color='orange', linestyle='-.', label='橙色')

plt.legend(prop=font)

plt.show()

散点图

import random
import numpy as np
import matplotlib.pyplot as plt
# 只识别英语,所以通过以下两行增加中文字体
from matplotlib.font_manager import FontProperties
# jupyter默认不显示图片,通过这一行告诉他显示图片
%matplotlib inline
font = FontProperties(fname=r'E:\msyh.ttc')  # 中文字体

x = np.arange(1, 20)
x

array([ 1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16, 17,
       18, 19])

y_linear = x**2
y_linear

array([  1,   4,   9,  16,  25,  36,  49,  64,  81, 100, 121, 144, 169,
       196, 225, 256, 289, 324, 361], dtype=int32)

y_log = np.log(x)
y_log

array([0.        , 0.69314718, 1.09861229, 1.38629436, 1.60943791,
       1.79175947, 1.94591015, 2.07944154, 2.19722458, 2.30258509,
       2.39789527, 2.48490665, 2.56494936, 2.63905733, 2.7080502 ,
       2.77258872, 2.83321334, 2.89037176, 2.94443898])

fig = plt.figure()

ax1 = fig.add_subplot(121)
ax1.scatter(x, y_linear, color='red', marker='o', s=50)
ax1.scatter(x, y_log, color='blue', marker='*', s=30)
ax1.set_title('scatter')

ax2 = fig.add_subplot(122)
ax2.plot(x, y_linear)
ax2.plot(x, y_log)
ax2.set_title('plot')


plt.plot

plt.show()

re模块

正则表达式本身是一种小型的、高度专业化的编程语言，它并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语言里使用过正则表达式，只需要简单看一看就可以上手了。而在python中，通过内嵌集成re模块，程序员们可以直接调用来实现正则匹配。正则表达式模式被编译成一系列的字节码，然后由用C编写的匹配引擎执行。

import re
s = '孙悟空找猪八戒找媳妇高翠兰,然后吃西瓜'

print(s[10:13])

print(s[s.index('媳妇') + 2:s.index('媳妇') + 5])

# re模块,从字符串(文本)里面找特定的东西

res = re.findall('媳妇(.{3})', s)
print(res)
print(res[0])

高翠兰
高翠兰
['高翠兰']
高翠兰

基础的re使用

import re

s = '孙悟空#$__%#124aba4找猪八戒    找找找找媳妇西高翠兰,找西瓜,再吃西瓜'

res = re.findall('西瓜', s)
print(res)

['西瓜', '西瓜']

1. ^叫作元字符，元字符会有特殊意义，^匹配开头，也就是说从头找

res = re.findall('^孙悟空', s)
print(res)

['孙悟空']

res = re.findall('^猪八戒', s)
print(res)

[]

1. $从尾部匹配,放在字符串最后

res = re.findall('吃西瓜$', s)
print(res)

['吃西瓜']

res = re.findall('吃西$', s)
print(res)

[]

1. |相当于 or

res = re.findall('孙悟空|西瓜', s)
print(res)

['孙悟空', '西瓜', '西瓜']

1. []找到 [ ] 内所有元素

res = re.findall("['孙悟空','西瓜','吃']", s)
print(res)
print('*'*20)
res = re.findall("[孙悟空'西瓜'吃]", s)
print(res)

['孙', '悟', '空', '西', ',', '西', '瓜', ',', '吃', '西', '瓜']
********************
['孙', '悟', '空', '西', '西', '瓜', '吃', '西', '瓜']

1. .代表任意一个字符

res = re.findall('媳妇..', s)
print(res)
print('*'*20)
res = re.findall('媳妇....', s)
print(res)

['媳妇西高']
********************
['媳妇西高翠兰']

1. {n},大括号前的字符匹配n次,没有这么多就找不到

res = re.findall('找{3}', s)
print(res)
print('*'*20)
res = re.findall('找{8}', s)
print(res)

['找找找']
********************
[]

1. *前面字符匹配0-∞个

res = re.findall('找*媳妇', s)
print(res)
print('*'*20)
res = re.findall('西瓜瓜*', s)
print(res)

['找找找找媳妇']
********************
['西瓜', '西瓜']

1. +前面的字符匹配1-∞个

res = re.findall('找+媳妇', s)
print(res)
print('*'*20)
res = re.findall('西瓜瓜+', s)
print(res)

['找找找找媳妇']
********************
[]

1. \d匹配数字

res = re.findall('\d', s)
print(res)

['1', '2', '4', '4']

res = re.findall('\d+', s)
print(res)

['124', '4']

1. \D,除了数字都匹配

res = re.findall('\D', s)
print(res)
print('*'*20)
res = re.findall('\D+', s)
print(res)

['孙', '悟', '空', '#', '$', '_', '_', '%', '#', 'a', 'b', 'a', '找', '猪', '八', '戒', ' ', ' ', ' ', ' ', '找', '找', '找', '找', '媳', '妇', '西', '高', '翠', '兰', ',', '找', '西', '瓜', ',', '再', '吃', '西', '瓜']
********************
['孙悟空#$__%#', 'aba', '找猪八戒    找找找找媳妇西高翠兰,找西瓜,再吃西瓜']

1. \s,匹配空

res = re.findall('\s+', s)
print(res)

['    ']

1. \S,匹配非空

res = re.findall('\S+', s)
print(res)

['孙悟空#$__%#124aba4找猪八戒', '找找找找媳妇西高翠兰,找西瓜,再吃西瓜']

1. \w,匹配字母、数字、下划线

res = re.findall('\w+', s)
print(res)

['孙悟空', '__', '124aba4找猪八戒', '找找找找媳妇西高翠兰', '找西瓜', '再吃西瓜']

1. \W,非字母、非数字、非下划线

res = re.findall('\W+', s)
print(res)

['#$', '%#', '    ', ',', ',']

贪婪模式

res = re.findall('猪.*兰', s)
print(res)
res = re.findall('猪.*瓜', s)
print(res)

['猪八戒    找找找找媳妇西高翠兰']
['猪八戒    找找找找媳妇西高翠兰,找西瓜,再吃西瓜']

非贪婪模式

？就是停止符，找到一个就停止

res = re.findall('猪.*?瓜', s)
print(res)

['猪八戒    找找找找媳妇西高翠兰,找西瓜']

re模块高级

compile

写一个通用的规则模板

import re

s = '孙悟空#$__%#124aba4找猪八戒    找找找找媳妇西高翠兰,找西瓜,再吃西瓜'
res1 = re.compile('\d+')
res2 = re.compile('\w+')
res3 = re.compile('\s+')

result1 = res1.findall(s)
result2 = res2.findall(s)
result3 = res3.findall(s)
print(result1)
print(result2)
print(result3)


phone_compile = re.compile('1\d{10}')

email_compile = re.compile('\w+@\w+.\w+')

test_s = '12345678900  nickchen121@163.com  2287273393@qq.com'
res = phone_compile.findall(test_s)
print(res)

res = email_compile.findall(test_s)
print(res)

['124', '4']
['孙悟空', '__', '124aba4找猪八戒', '找找找找媳妇西高翠兰', '找西瓜', '再吃西瓜']
['    ']
['12345678900']
['nickchen121@163.com', '2287273393@qq.com']

match和search

match和search的区别，match从开头开始匹配找一个，search搜索所有找第一个

import re
s = '猪八戒找媳妇猪八戒'
match_res = re.match('猪八戒', s)
print(match_res.group())

search_res = re.search('猪八戒', s)
print(search_res.group())

猪八戒
猪八戒

分组

需要的东西括号就行了，括号外的就不打印了

import re

s = '猪八戒的媳妇是高翠兰，孙悟空的媳妇是白骨精，唐僧的媳妇是女儿国王，沙悟净没有媳妇（py9的学生们）'

res = re.findall('(.*?)的媳妇是(.*?)，', s)
print(res)

[('猪八戒', '高翠兰'), ('孙悟空', '白骨精'), ('唐僧', '女儿国王')]

re.split()

字符串的split方法相似，区别是可以用正则表达式去替换

import re

s = '猪八戒的媳妇是1高翠兰，孙悟空的媳妇是2白骨精，唐僧的媳妇是3女儿国王，沙悟净没有媳妇（py9的学生们）'

print(s.split('，'))

res = re.split('\d+', s)
print(res)

['猪八戒的媳妇是1高翠兰', '孙悟空的媳妇是2白骨精', '唐僧的媳妇是3女儿国王', '沙悟净没有媳妇（py9的学生们）']
['猪八戒的媳妇是', '高翠兰，孙悟空的媳妇是', '白骨精，唐僧的媳妇是', '女儿国王，沙悟净没有媳妇（py', '的学生们）']

s = '猪八戒的媳妇是a高翠兰，孙悟空的媳A妇是b白骨精，唐僧的B媳妇是z女儿国王，沙悟净没有媳妇（py9的学生们）'

print(s.split('，'))

res = re.split('[a-zA-Z]', s)  # a,b,c,
print(res)

['猪八戒的媳妇是a高翠兰', '孙悟空的媳A妇是b白骨精', '唐僧的B媳妇是z女儿国王', '沙悟净没有媳妇（py9的学生们）']
['猪八戒的媳妇是', '高翠兰，孙悟空的媳', '妇是', '白骨精，唐僧的', '媳妇是', '女儿国王，沙悟净没有媳妇（', '', '9的学生们）']

sub和subn

他们都是替换内容，但是subn会计算替换了多少次，和字符串的replace内置方法类似。

import re

s = '猪八戒的媳妇是1高翠兰，孙悟空的媳妇是2白骨精，唐僧的媳妇是3女儿国王，沙悟净6没有媳妇（py9的学生们）'

print(re.sub('\d', '', s))

print(re.subn('\d', '', s))  # 除了会修改内容，还会返回修改了多少次

猪八戒的媳妇是高翠兰，孙悟空的媳妇是白骨精，唐僧的媳妇是女儿国王，沙悟净没有媳妇（py的学生们）
('猪八戒的媳妇是高翠兰，孙悟空的媳妇是白骨精，唐僧的媳妇是女儿国王，沙悟净没有媳妇（py的学生们）', 5)

python常用模块（二）

标签：font   gpl   prope   程序员   dal   分组   形式   taf   括号   

原文地址：https://www.cnblogs.com/WilliamKong94/p/11047816.html