python之如何进行去重问题
作者：晚风吹儿
这篇文章主要介绍了python之如何进行去重问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
python如何进行去重
自定义函数去重
解析思路：
- 1、确定去重目标
- 2、给一个空列表去接收去重后的元素
- 3、遍历需要去重的序列，将重复数据过滤
- 4、打印去重后的数据
l = [1,1,3,2,2,3,4,2,5] new = [] for i in l: if i not in new: new.append(i) print(new)
输出结果：
[1, 3, 2, 4, 5]
内置函数去重
l = [1,1,3,2,2,3,4,2,5] b = list(set(l)) print(b)
输出结果：
[1, 2, 3, 4, 5]
可以看出去重后改变了序列的顺序，所以去重后需要按元素索引进行排序，才会保持序列的原有顺序
代码如下：
l = [1,1,3,2,2,3,4,2,5] a = list(set(l)) a.sort(key=l.index) print(a)
输出结果：
[1, 3, 2, 4, 5]
python列表常见的5种去重方式
列表去重在python实际运用中，十分常见，也是最基础的重点知识。
以下总结了5种常见的列表去重方法
一、使用for循环实现列表去重
- 此方法去重后，原顺序保持不变。
# for循环实现列表去重 list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = [] for l1 in list1: if l1 not in list2: list2.append(l1) print(list2)
结果：[‘a’, ‘b’, 1, 3, 9]
二、使用列表推导式去重
- 此方法去重后，原顺序保持不变。
# 使用列表推导式去重 list1 = ['a', 'b', 1, 3, 9, 9, 'a'] res = [] [res.append(i) for i in list1 if i not in res] print(res)
结果：[‘a’, ‘b’, 1, 3, 9]
三、使用集合转换函数set()实现列表去重
- 原理：同一个集合的元素之间是不允许重复的
# set()列表去重 list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = list(set(list1)) print(list2)
结果：[1, 3, 9, ‘b’, ‘a’]
问题：使用set()函数去重后，会自动排序，则原列表的顺序会发生改变
解决办法有2种：
- 第一种方法，使用sort()方法
# # 第一种方法，sort() list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = list(set(list1)) list2.sort(key=list1.index) print(list2)
结果：[‘a’, ‘b’, 1, 3, 9]
注：sort()方法没有返回值，对列表元素进行原地排序
- 第二种方法，使用sorted()函数
# 第二种方法，sored() list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = sorted(list(set(list1)), key=list1.index) print(list2)
结果：[‘a’, ‘b’, 1, 3, 9]
注：python内置函数sorted()函数返回新的列表，并不对原列表做任何修改
四、使用新建字典方式实现列表去重
- 原理：字典的"键"是不允许重复的
- 此方法去重后，原来顺序保持不变。
# 使用新建字典实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
dic = {}
dic = dic.fromkeys(list1).keys()
print(list(dic))结果：[‘a’, ‘b’, 1, 3, 9]
五、删除列表中存在重复的数据
- 上面的4种去重方法，都是保留一个，删除其他
- 下面这种方法则是，只要存在重复，一个都不保留
# 删除存在重复的值，不保留 list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = [i for i in list1 if list1.count(i) == 1] print(list2)
结果：[‘b’, 1, 3]
好了，这就是关于列表去重的5种方法，可以根据需求选择对应的方法。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。