Django bulk_create()、update()与数据库事务的效率对比分析
作者：蓝绿色~菠菜
下面以创建10000个对象为例进行测试：
# 用for循环挨个创建，共花费37秒
for i in range(10000):
name="String number %s"%i
Record.objects.create(name=name)
# 用django事务只提交一次，共花费2.65秒
@transaction.commit_manually
def manual_transaction():
for i in range(10000):
name="String number %s"%i
Record.objects.create(name=name)
transaction.commit()
# 用bulk_create创建,共花费0.47秒
def builtin():
insert_list =[]
for i in range(10000):
name="String number %s"%i
insert_list.append(Record(name=name))
Record.objects.bulk_create(insert_list)
# 用for循环挨个更新，共花费72秒:
def auto_transaction():
for record inRecord.objects.all():
record.name ="String without number"
record.save()
# 用django事务只提交一次，共花费17秒
@transaction.commit_manually
def manual_transaction():
for record inRecord.objects.all():
record.name ="String without number"
record.save()
transaction.commit()
# 用update更新,共花费0.33秒
def builtin():
Record.objects.all().update(name="String without number")
补充知识：django的model使用上容易遇到的坑，default=datetime.now和auto_now、null和blank、save和update、bulk_create
一、django设置字段动态默认时间的四种方式：
from django.db import models
from datetime import datetime
class User(models.Model):
id = models.BigAutoField('主键', primary_key=True)
name = models.CharField('名字', max_length=20, db_index=True, default='')
create_time_one = models.DateTimeField('创建时间', default=datetime.now())
update_time_one = models.DateTimeField('更新时间', default=datetime.now)
create_time_tow = models.DateTimeField('创建时间', auto_now_add=True)
update_time_tow = models.DateTimeField('更新时间', auto_now=True)
1. default=datetime.now()
model每次初始化，都会自动设置该字段的默认值为初始化时间。
2. default=datetime.now
model每次进行新增或修改操作，都会自动设置该字段的值为操作时间。设置后仍可以使用ORM手动修改该字段。
3. auto_now_add=True
默认值为False，若设置为True，model每次进行新增操作，都会自动设置该字段的值为操作时间。设置为True后无法使用ORM手动修改该字段，哪怕填充了字段的值也会被覆盖。
4. auto_now=True
默认值为False，若设置为True，model每次进行新增或修改操作，都会自动设置该字段的值为操作时间。设置为True后无法使用ORM手动修改该字段，哪怕填充了字段的值也会被覆盖。
5. 要注意的点
除非想设置动态默认时间为项目的启动时间，否则default=datetime.now()这种用法是错误的，会得到期望之外的结果。
使用User.objects.update方法时，设置的default=datetime.now和auto_now=True都不会生效，由于设置了auto_now=True的字段不能手动修改，此时只能使用save方法修改数据，这对于多个数据的更新是不友好的。
因此如果设置动态默认时间的字段，应该使用default=datetime.now和auto_now_add=True来实现。
二、null=True和blank=True的区别
1. null针对数据库，如果null=True，表示数据库的该字段可以为空。
2. blank针对表单的，如果blank=True，表示表单填写该字段时可以不填。
mysql中空值不占用空间，NULL占用空间，而且使用NULL会使索引的效率下降。因此从性能上来说，不建议使用null=True，最好使用default=''。
三、save和build_create的区别
1. 使用save方法：
names = ['张三', '李四'] for name in names: user = User(name=name) user.save() print(user.id) # 此时user对象有id的值
2. 使用bulk_create方法：
names = ['张三', '李四'] users = [User(name=name) for name in names] users = User.objects.bulk_create(users) print([user.id for user in users]) # 此时user对象没有id的值
bulk_create的优点：
批量操作时只与数据库进行一次交互，效率高。
bulk_create的缺点：
对于设置了自增的字段，返回值中不会有该字段的值，如上例2中的user对象。
对于设置了动态默认时间的字段，如设置了auto_now=True，同一批处理的记录中该字段的时间将会相同。
四、上面的知识点使用的例子
1. 定义模型
from django.db import models
from datetime import datetime
class User(models.Model):
id = models.BigAutoField('主键', primary_key=True)
name = models.CharField('名字', max_length=20, db_index=True, blank=False, default='')
create_time = models.DateTimeField('创建时间', auto_now_add=True)
update_time = models.DateTimeField('更新时间', default=datetime.now)
2. 插入数据
# 方法一 names = ['张三', '李四'] users = [User(name=name) for name in names] users = User.objects.bulk_create(users) # 方法二 names = ['张三', '李四'] users = [User(name=name) for name in names] [user.save() for user in users]
3. 修改数据
# 方法一 names = ['张三', '李四'] User.objects.filter(name__in=names).update(name='changed', update_time=datetime.now()) # 这里必须显式对update_time赋值 # 方法二 names = ['张三', '李四'] users = User.objects.filter(name__in=names) for use in users: user.name = 'changed' user.save() # 这里会自动更新update_time，但是多次save效率低
以上这篇Django bulk_create()、update()与数据库事务的效率对比分析就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。