Python执行时间计算方法以及优化总结
作者：用余生去守护
一、时间不一致的猜想
python脚本运行时间远远大于python脚本中统计的计算时间
猜想：
1.python中用到的是py2neo的写数据异步，阻塞进程运行；
2.python脚本使用统计时间的方式是time.clock(),而这种方式统计的是CPU的执行时间，不是程序的执行时间。
程序执行时间 = CPU运行时间 + IO时间 + 休眠或等待时间
二、原因探索
1.方法一
import asyncio
import datetime
starttime = datetime.datetime.now()
# long running
# do something other
async def sayhi():
print("你好，若竹")
await asyncio.sleep(10)
print("用余生去守护")
asyncio.run(sayhi())
endtime = datetime.datetime.now()
print(("程序运行时间为：")+ str((endtime-starttime).seconds)+"秒")
输出：
你好，若竹
用余生去守护
程序运行时间为：10秒
datetime.datetime.now()获取的是当前日期，在程序执行结束之后，这个方式获得的时间值为程序执行的时间。
2.方法二
import asyncio
import datetime
import time
starttime = time.time()
# long running
# do something other
async def sayhi():
print("你好，若竹")
await asyncio.sleep(10)
print("用余生去守护")
asyncio.run(sayhi())
endtime = time.time()
print("程序运行时间为："+ str(float(endtime-starttime))+"秒")
输出：
你好，若竹
用余生去守护
程序运行时间为：10.002257108688354秒
time.time()获取自纪元以来的当前时间（以秒为单位）。如果系统时钟提供它们，则可能存在秒的分数，所以这个地方返回的是一个浮点型类型。这里获取的也是程序的执行时间。
3.方法三
import asyncio
import datetime
import time
starttime = time.clock()
# long running
# do something other
async def sayhi():
print("你好，若竹")
await asyncio.sleep(10)
print("用余生去守护")
asyncio.run(sayhi())
endtime = time.clock()
print("程序运行时间为："+ str(float(endtime-starttime))+"秒")
输出：
.\py_study.py:807: DeprecationWarning: time.clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time.perf_counter or time.process_time instead
starttime = time.clock()
你好，若竹
用余生去守护
.\py_study.py:818: DeprecationWarning: time.clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time.perf_counter or time.process_time instead
endtime = time.clock()
程序运行时间为：10.0219916秒
Deprecation Warning: time. clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time. perf_counter or time. process_time instead
弃用警告:时间。clock在Python 3.3中已弃用，并将从Python 3.8中移除:使用time。perf_counter或时间。process_time代替。
代码如下：
import asyncio
import datetime
import time
starttime = time.perf_counter()
# long running
# do something other
async def sayhi():
print("你好，若竹")
await asyncio.sleep(10)
print("用余生去守护")
asyncio.run(sayhi())
endtime = time.perf_counter()
print("程序运行时间为："+ str(float(endtime-starttime))+"秒")
输出：
你好，若竹
用余生去守护
程序运行时间为：10.060287599999999秒
三、python 运行效率慢的原因
1.简介
编程语言的效率一方面指开发效率，即程序员完成编码所需的时间，另一方面是运行效率，即计算任务所需的时间。编码效率和运行效率往往很难兼顾。
2.运行效率慢的原因
1.python 是动态语言，造成运行时的不确定性影响运行效率；
动态语言是一类在运行时可以改变其结构的语言，如新的函数、对象、代码可以被引入，已有的函数可以被删除或其他结构上的变化等，该类语言更具有活性，但是不可避免的因为运行时的不确定性也影响运行效率。数据的比较和转换类型的开销很大，每次读取、写入或引用一个变量，都要检查类型。很难优化一种极具动态性的语言。Python的许多替代语言之所以快得多，原因在于它们为了性能在灵活性方面作出了牺牲。
2.python 是解释执行，不支持JIT（just in time compiler）;
相比于C语言编译性语言编写的程序，Python是解释执行语言，其运行过程是Python运行文件程序时，Python解释器将源代码转换为字节码，然后再由Python解释器来执行这些字节码。其每次运行都要进行转换成字节码，然后再由虚拟机把字节码转换成机器语言，最后才能在硬件上运行，与编译性语言相比，其过程更复杂，性能肯定会受影响。
3.python 中一切皆对象，每个对象都需要维护引用计数，增加额外工作；
Python是一门面向对象的编程语言，其设计理念是一切皆是对象，如数字、字符串、元组、列表、字典、函数、方法、类、模块等都是对象，包括代码，每个对象都需要维护引用计数，因此，增加了额外工作，影响了性能。
4.python GIL，全局解释器锁导致无法实现真正的并发；
GIL是Python最为诟病的一点，因为GIL，Python中的多线程并不能真正的并发，即使在单线程，GIL也会带来很大的性能影响，因为python每执行100个opcode就会尝试线程的切换，因此，影响Python运行效率。
5.垃圾回收机制，会中断正在执行的程序，造成所谓的卡顿；
Python采用标记和分代的垃圾回收策略，每次垃圾回收的时候都会中断正在执行的程序，造成所谓的顿卡，影响运行效率。
四、python 优化
1.优化算法：时间复杂度
算法的时间复杂度对程序的执行效率影响最大，在python 中可以通过选择合适的数据结构来优化时间复杂度，如list和set查找某一个元素的时间复杂度分别是O(n)和O(1).不同的场景有不同的优化方式，总的来说，一般有分治，分支界限，贪心，动态规划等。
20减少冗余数据
如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。
3.合理使用copy与deepcopy
对于dict和list等数据结构的对象，直接赋值使用的是引用的方式。而有些情况下需要复制整个对象，这时可以使用copy包里的copy和deepcopy，这两个函数的不同之处在于后者是递归复制的。效率也不一样：(以下程序在ipython中运行)
4.使用dict或set查找元素
5.合理使用生成器(generator)和yield
6.优化循环
7.优化包含多个判断表达式的顺序
8.使用join合并迭代器中的字符串
9.选择合适的格式化字符方式
10.不借助中间变量交换两个变量的值
11.使用if is
12.使用级联比较x < y < z
13.while 1 比 while True 更快
14.使用**而不是pow
15.使用 cProfile, cStringIO 和 cPickle等用c实现相同功能(分别对应profile, StringIO, pickle)的包
16.使用最佳的反序列化方式
17.使用C扩展(Extension)
18.并行编程
19.终级大杀器：PyPy
20.使用性能分析工具
到此这篇关于Python执行时间计算方法以及优化总结的文章就介绍到这了,更多相关Python执行时间内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！