利用Numba与Cython结合提升python运行效率详解
作者：Python文泽老师
Numba
Numba是一个即时（JIT）编译器，它将Python代码转换为用于CPU和GPU的本地机器指令。代码可以在导入时、运行时或提前编译。
通过使用jit装饰器，使用Numba非常容易：
正如你所知道的，在Python中，所有代码块都被编译成字节码：
代码优化
为了优化Python代码，Numba从提供的函数中提取一个字节码，并在其上运行一组分析器。Python字节码包含一系列小而简单的指令，因此不必从Python实现中使用源代码就可以从字节码中重构函数的逻辑。转换的过程涉及多个阶段，但Numba将Python字节码转换为LLVM中间表示 (IR)。
请注意，LLVM IR是一种低级编程语言，它类似于汇编语法，与Python无关。
Numba 模式
Numba中有两种模式：nopython 和 object。前者不使用Python运行时并且在没有Python依赖项的情况下生成本机代码。 本机代码是静态类型的，运行非常快。而对象模式使用Python对象和Python C API，这通常不会带来显著的速度改进。在这两种情况下，Python代码都是使用LLVM编译的。
什么是LLVM？
LLVM是一种编译器，它采用代码的特殊中间表示（IR），并将其编译成本机代码。编译过程涉及许多额外的传递，其中编译器优化IR。LLVM工具链很好地优化了IR，不仅为Numba编译代码，而且优化Numba。整个系统大致如下：
Python numba 体系结构
Numba的优势：
- 易用性
- 自动并行化
- 支持numpy操作和对象
- GPU支持
Numba的劣势：
多层的抽象使得调试和优化变得非常困难
在nopython模式下无法与Python及其模块进行交互
有限的类支持
Cython
取代分析字节码和生成IR，Cython使用Python语法的超集，它后来转换成C代码。在使用Cython时，基本上是用高级Python语法编写C代码。
在Cython中，通常不必担心Python包装器和低级API调用，因为所有交互都会自动扩展到合适的C代码。
与Numba不同，所有的Cython代码应该在专门文件中与常规Python代码分开。Cython将这些文件解析并转换成C代码，然后使用提供的C编译器 (例如， gcc)编译它。
Python代码已经是有效的Cython代码。
但是，类型版本工作得更快。
编写快速Cython代码需要理解C和Python内部结构。如果你熟悉C，你的Cython代码可以运行得和C代码一样快。
Cython的优势：
- 通过Python API的使用控制
- 与C/C++库和C/C++代码的简单接口
- 并行执行支持
- 支持Python类，在C中提供面向对象的特性
Cython的劣势：
- 学习曲线
- 需要C和Python内部专业技术
- 模块的组织不方便
Numba 对 Cython
就个人而言，我更喜欢小项目和ETL实验用Numba。你可以将其插入现有项目中。如果我需要启动一个大项目或为C库编写包装器，我将使用Cython，因为它提供更多的控制和更容易调试。
此外，Cython是许多库的标准，如pandas、scikit-learn、scipy、Spacy、gensim和lxml。
以上就是利用Numba与Cython结合提升python运行效率详解的详细内容，更多关于提升python运行效率的资料请关注脚本之家其它相关文章！