码迷,mamicode.com
首页 > 编程语言 > 详细

python如何编译py文件生成pyc、pyo、pyd以及如何和C语言结合使用

时间:2020-07-30 14:30:17      阅读:71      评论:0      收藏:0      [点我收藏+]

标签:python解释器   异常   c语言   代码   细节   medium   space   foo   sub   


喜欢这篇文章的话,就去bilibili看看我吧,虽然啥也没有。:https://space.bilibili.com/12921175


python执行py文件的流程

当我们执行一个py文件的时候,直接python xx.py即可,那么这个流程是怎么样的呢。先说明一下,python执行代码实际上是先打开文件然后执行里面的代码,所以文件的扩展名不一定是py的形式,txt形式也是依旧可以成功执行,只要文件里面的代码是符合python规范的。下面我们来看看python是怎么执行py文件的。

  • 先将文件里面的内容读取出来,scanner对其进行扫描,切分成一个个的token
  • parser对token进行解析,建立抽象语法树(AST,abstract syntax tree)
  • compiler对ast进行编译,得到python字节码
  • code evaluator执行字节码

我们注意到第三个过程,是一个编译的过程。说明python即便是解释性语言,也依旧存在着编译的过程,这一点和java是一样的。之所以要存在编译的过程,主要是为了优化执行的速度,比如元组,或者函数里面出现了yield,这一点在编译的时候就已经确定了,编译的时候就已经知道这是一个什么样的数据结构,那么在执行的时候可以很快速的分配相应的内存。我们在打开python文件所在的目录的时候,总会看到一个__pycache__的文件夹,这里面存放的就是python编译之后的字节码。当执行python文件的时候,会检测当前的__pycache__目录中是否有对应的字节码,没有就创建,有的话比较字节码的创建时间和当前py文件的修改时间,如果字节码的创建时间要晚一些,说明用户没有修改文件,于是执行字节码,如果字节码的创建时间要早一些,说明用户修改了python源代码,那么就会从新编译得到一个新的字节码。此外编译还有一个重要的特点,就是语法检测。错误分为两种:一种是语法错误,另一种是逻辑错误。

  • 语法错误就是源代码没有遵循python的规范,比如if判断使用了一个=,或者for循环后面没有:等等,这些都是属于语法错误,这是一种低级的错误,在编译的时候就会失败。

     
    try:
        >
    except Exception:
        pass
    """
    这个代码是编译不过去的,即便你使用了try···except。
    语法错误就是不遵循python规范,编译的时候都编译不过。
    """
    
  • 那么另一种错误就是逻辑错误,这是语法没问题,但是执行的时候出错了,比如索引越界、和0相除、变量没有定义等等,这些错误是在运行的时候才会出现的,这是可以被捕获的。

     
    try:
        a
    except Exception:
        pass
    # 这段代码是不会报错的。
    

python如何编译py文件生成字节码

python中的字节码有两种,pyc和pyo,两者本质上没啥区别,只不过pyo的优化程度更高一些。

编译可以通过py_compile模块进行编译

 
# test.py
deffoo(name):
    print("hello " + name)

我们来对test.py进行编译

 
import py_compile

"""
参数如下:
file:要编译的py文件
cfile:编译之后的字节码文件,不指定的话默认为源文件目录下的__pycache__目录的下的‘源文件名.解释器类型-python版本.字节码类型‘文件
dfile:错误消息文件,默认和cfile一样,一般不用管
doraise:是否开启异常处理,默认和False
optimize:优化字节码级别。如果是pyc:可以选-1或0。pyo的话,可以选1或2。都是值越小优化程度越高
"""
py_compile.compile(file="test.py", cfile=r"./test.pyc", optimize=-1)
py_compile.compile(file="test.py", cfile=r"./test.pyo", optimize=1)

技术图片

可以看到,已经编译成功了,pyc是可以直接当做普通py文件导入的,但是pyo貌似不可以,所以一般我们只编译成pyc形式的字节码。但是如果不导入只是执行的话,那么是可以编译成pyo的。

 
import test
test.foo("mashiro")  # hello mashiro

编译的另一种方式,我们也可以直接使用命令行。

 
编译成pyc
python -m py_compile 源代码

编译成pyo
python -O -m py_compile 源代码

如果需要编译整个目录内的所有源代码
python compileall

编译成pyd文件

这个pyd实际上就是Windows上的dll文件,但是pyd是由py文件生成的,是可以直接当成python模块导入的。而dll的话一般是c或者c++编写的扩展模块,这个时候我们会使用ctypes进行加载,后面会说。而Windows的pyd在linux上面则是so文件,dll在linux上面也是so文件,这个时候是使用ctypes还是使用普通加载模块的方式,就看具体情况了。

我们下面测试一段python代码,看看会用多长时间,然后将其编译成pyd之后再测试一下。

 
# test_v.py
deffunc():
    for _ in range(10000):
        sum = 0
        for i in range(100000):
            sum += i

可以看到我们将sum依次从0加到100000-1,然后重复这个过程10000次,我们来测试一下用了多长时间。

 
import time
from test_v import func

start = time.perf_counter()
func()
end = time.perf_counter()

print("总耗时:", end - start)  # 总耗时: 45.554086

直接导入py文件,调用函数执行,总共花了45秒钟,下面我们来编译成pyd。

那么如何编译成pyd呢?

首先确保电脑上安装了64位的MinGW,然后安装cython,pip install cython,新建一个py文件to_pyd.py

 
# to_pyd.py
# 导入模块
import Cython.Build

# 传入要编译成pyd的py文件
ext = Cython.Build.cythonize("test_v.py")

# 下面还要导入另一个模块
import distutils.core

# 调用setup方法
distutils.core.setup(
    ext_modules=ext,  # 将Cython.Build.cythonize返回的结果传进去
)

然后在命令行输入python to_pyd.py build,即可把py文件test_v.py编译成pyd。执行之后,会得到一个对应的test_v.c文件,以及一个build目录。这个生成的c文件我们不需要管,我们看看build目录。

技术图片

我们看到此时就得到了对应的pyd文件,也叫test_v,后面的则是python的版本号以及操作系统类型、位数等等,我们来测试一下性能吧。只把那个pyd文件拿出来,其他没用的都删掉,

 
import time
import test_v

# 我们看到导入之后,显示的是pyd
print(test_v)  # <module ‘test_v‘ from ‘C:\\Users\\satori\\Desktop\\love_minami\\test_v.cp38-win_amd64.pyd‘>

start = time.perf_counter()
test_v.func()
end = time.perf_counter()

print("总耗时:", end - start)  # 总耗时: 12.3021872

此时我们惊奇地看到,用了12秒,确实快了不少。主要是cython将python代码进行了优化,另外编译成pyd之后,是很难再反编译成py文件的,如果你的模块必须开源但是又不想被人看到某些细节的话,那么就可以编译成pyd。对于字节码pyc文件的反编译已经有人实现了,可以将pyc转成py文件,但是pyd目前还没有被反编译过。

那为什么编译成pyd的时候速度会提升呢?主要是cython将代码进行了优化,转化成了c一级的代码。另外我们说,test_v.cp38-win_amd64.pyd里面的38就是解释器的版本,我们这里是python3.8。这样的话,也就意味着只有当你的版本是python3.8的时候,才会去导入这个模块,于是我们把中间那一串给删掉只保留test_v.pyd可不可以呢?我们可以试一下

 
import test_v

print(test_v)  # <module ‘test_v‘ from ‘C:\\Users\\satori\\Desktop\\love_minami\\test_v.pyd‘>

事实证明确实是可以的,另外这样的话不光是python3.8,其他版本的python也是可以导入的,只要编译成pyd所使用的py文件,符合执行的python解释器的语法规范即可。

python结合c语言

我们说使用cython确实能够加速代码,但肯定还是没有原生的c语言执行的快。我们将上面的代码转换成c的代码来测试一下,进而引入如何将python和c进行结合。

 
//1.c
longlongfunc(){
    int _;
    long long sum;
    long i;

    for (_ = 0;_ < 10000; _ ++)
    {
        sum = 0;
        for (i = 0;i < 100000; i++)
        {
            sum += i;
        }
    }
    return sum;
}

然后我们将这个1.c编译成dll,在linux中就是so,通过命令gcc -o 编译之后的dll或者so文件名 -shared c源文件编译。

我们这里就编译成mmp.dll吧:所以是gcc -o mmp.dll -shared 1.c

技术图片

可以看到mmp.dll已经出现了, 下面就来调用它

 
import time
import ctypes

# 调用ctypes.cdll.LoadLibrary,传入dll的路径
# 这个方法就等价于dll = ctypes.CDLL("xxx.dll"),用哪种都行,但是要求dll或者so的路径是绝对路径
# 另外这两种方式在Windows上加载dll和linux上加载so都是可以的。
dll = ctypes.cdll.LoadLibrary(r"C:\Users\satori\Desktop\love_minami\mmp.dll")

start = time.perf_counter()
# 此时把dll看成一个模块即可,里面定义了很多函数,比如func
dll.func()
end = time.perf_counter()
print("总耗时:", end - start)  # 总耗时: 2.3377831

可以看到用时不到3秒,而我使用原生的python执行需要45秒,使用cython加速也需要12秒。首先我必须指出,当sum依次从0加到100000-1时,long long存不下。但是相同功能的程序,c的速度肯定会比cython编译的pyd快,这一点可以自己测试一下,我这里就不再试了。

ctypes类型和c语言类型

我们直接调用一个函数显然是没有问题的,但如果函数里面需要参数呢?我们还能直接传递python的原生类型吗?

 
//计算两个数之和
intadd(int a, long b){
    int sum;
    sum = a + b;
    return sum;
}

//查找指定字符在字符串中出现的位置
intfind_pos(char *string, char subchar){
    char *p;
    int pos = 0;
    for (p = string; *p != ‘\0‘; p++, pos++){
        if (*p == subchar)
        {
            return pos;
        }
    }
    return -1;
}
 
import ctypes

dll = ctypes.cdll.LoadLibrary(r"C:\Users\satori\Desktop\love_minami\mmp.dll")

print(dll.add(100, 200))  # 300
print(dll.find_pos("satori", "a"))  # -1

我们看到对于整型来说是没有问题的,但是对于字符串就有问题了,因为c中没有字符串的概念,这时候应该怎么做呢?

 
import ctypes
from ctypes import c_char_p, c_char

dll = ctypes.cdll.LoadLibrary(r"C:\Users\satori\Desktop\love_minami\mmp.dll")

# c语言中没有字符串这个概念,c语言中的字符串实际上是字符数组,c的这些概念不再介绍
# 传递一个指向字符数组的指针,同理字符a不能直接传递,需要使用c_char包装一下,并且里面需要传递字节。
print(dll.find_pos(c_char_p(b"satori"), c_char(b"a")))  # 1

所以我们来看看ctypes给我们提供了哪些类型,这些类型又对应c中的哪些类型呢?

技术图片

 
from ctypes import *

print(c_int(1))  # c_long(1)
print(c_uint(1))  # c_ulong(1)
print(c_short(1))  # c_short(1)
print(c_ushort(1))  # c_ushort(1)
print(c_long(1))  # c_long(1)
print(c_ulong(1))  # c_ulong(1)
print(c_longlong(1))  # c_longlong(1)
print(c_ulonglong(1))  # c_ulonglong(1)
print(c_float(1.1))  # c_float(1.100000023841858)
print(c_double(1.1))  # c_double(1.1)

# 在64位机器上,c_longdouble等于c_double
print(c_longdouble(1.1))  # c_double(1.1)

print(c_bool(True))  # c_bool(True)

# 必须传递一个字节或者只有一个元素的字符数组,或者一个int
# 代表c里面的字符
print(c_char(b"a"), c_char(bytearray(b"x")))  # c_char(b‘a‘) c_char(b‘x‘)

# 传递一个unicode字符
print(c_wchar("憨"))  # c_wchar(‘憨‘)

# 和c_char类似,但是要求传递一个整型
print(c_byte(97))  # c_byte(97)
print(c_ubyte(97))  # c_ubyte(97)

# c_char_p就是c里面字符数组指针了
# char *s = "hello world";
# 那么这里面也要传递一个字符数组,字符是bytes类型,返回一个地址
print(c_char_p(b"hello world"))  # c_char_p(2082736374464)

# 直接传递一个unicode,同样返回一个地址
print(c_wchar_p("憨八嘎~"))  # c_wchar_p(2884583039392)

# 并且还有一个c_size_t和c_ssize_t
# 相当于c_ulonglong和c_longlong,这个和机器有关
print(c_size_t(10))  # c_ulonglong(10)
print(c_ssize_t(10))  # c_longlong(10)

当然c中各种类型,在ctypes都有对应。比如我们没有介绍的结构体等等,更复杂的用法可以参考官网。

python如何编译py文件生成pyc、pyo、pyd以及如何和C语言结合使用

标签:python解释器   异常   c语言   代码   细节   medium   space   foo   sub   

原文地址:https://www.cnblogs.com/xiondun/p/13403176.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!