python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Numba与Cython结合提升python运行效率

利用Numba与Cython结合提升python运行效率详解

作者:Python文泽老师

近些年来, Numba和Cython在数学科学界得到了广泛的关注。它们都提供了一种加速CPU密集型任务的方法,但以不同的方式。本文描述了它们之间体系结构的差异

Numba

Numba是一个即时(JIT)编译器,它将Python代码转换为用于CPU和GPU的本地机器指令。代码可以在导入时、运行时或提前编译。

通过使用jit装饰器,使用Numba非常容易:

Numba和Cython如何加速Python代码

image.png

正如你所知道的,在Python中,所有代码块都被编译成字节码:

image.png

代码优化

为了优化Python代码,Numba从提供的函数中提取一个字节码,并在其上运行一组分析器。Python字节码包含一系列小而简单的指令,因此不必从Python实现中使用源代码就可以从字节码中重构函数的逻辑。转换的过程涉及多个阶段,但Numba将Python字节码转换为LLVM中间表示 (IR)。

请注意,LLVM IR是一种低级编程语言,它类似于汇编语法,与Python无关。

Numba 模式

Numba中有两种模式:nopython 和 object。前者不使用Python运行时并且在没有Python依赖项的情况下生成本机代码。 本机代码是静态类型的,运行非常快。而对象模式使用Python对象和Python C API,这通常不会带来显著的速度改进。在这两种情况下,Python代码都是使用LLVM编译的。

什么是LLVM?

LLVM是一种编译器,它采用代码的特殊中间表示(IR),并将其编译成本机代码。编译过程涉及许多额外的传递,其中编译器优化IR。LLVM工具链很好地优化了IR,不仅为Numba编译代码,而且优化Numba。整个系统大致如下:

Numba和Cython如何加速Python代码

Python numba 体系结构

Numba的优势:

Numba的劣势:

多层的抽象使得调试和优化变得非常困难

在nopython模式下无法与Python及其模块进行交互

有限的类支持

Cython

取代分析字节码和生成IR,Cython使用Python语法的超集,它后来转换成C代码。在使用Cython时,基本上是用高级Python语法编写C代码。

在Cython中,通常不必担心Python包装器和低级API调用,因为所有交互都会自动扩展到合适的C代码。

与Numba不同,所有的Cython代码应该在专门文件中与常规Python代码分开。Cython将这些文件解析并转换成C代码,然后使用提供的C编译器 (例如, gcc)编译它。

Python代码已经是有效的Cython代码。

Numba和Cython如何加速Python代码

但是,类型版本工作得更快。

Numba和Cython如何加速Python代码

Numba和Cython如何加速Python代码

编写快速Cython代码需要理解C和Python内部结构。如果你熟悉C,你的Cython代码可以运行得和C代码一样快。

Cython的优势:

Cython的劣势:

Numba 对 Cython

就个人而言,我更喜欢小项目和ETL实验用Numba。你可以将其插入现有项目中。如果我需要启动一个大项目或为C库编写包装器,我将使用Cython,因为它提供更多的控制和更容易调试。

此外,Cython是许多库的标准,如pandas、scikit-learn、scipy、Spacy、gensim和lxml。

以上就是利用Numba与Cython结合提升python运行效率详解的详细内容,更多关于提升python运行效率的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:
阅读全文