使用Pandas实现清洗客户编码异常数据
作者：黄昏中起飞的猫头鹰
前言
在不同行业中，我们经常会遇到一个麻烦的问题：数据清洗。尤其是当我们需要处理客户编码异常数据时，这个问题变得尤为重要。想象一下，许多银行都是以客户为单位管理数据的，因此每个客户都有一个独特的编码。在处理这些数据时，我们常常会面临以下问题：
1.客户编码有一个为空，另一个不为空的情况。
2.客户编码存在多个不同的值。
3.客户编码为空。
针对这些令人头疼的问题，接下来我将详细介绍如何使用pandas清洗客户编码异常数据。
创建一个新的数据集
首先我们要创建一个新的数据集，这个数据集的目的是用来对客户的编码进行清洗。
import pandas as pd
import numpy as np
data = {
'主键': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
'MDG编码': [np.nan, np.nan, 'A001', 'A002', np.nan, 'B001', 'B002', np.nan, 'C001', 'C002'],
'客户名称': ['客户1', '客户1', '客户1', '客户2', '客户2', '客户3', '客户3', '客户4', '客户4', '客户4'],
'证件号': ['111111', '111111', '111111', '222222', '222222', '333333', '333333', '444444', '444444', '444444'],
'客户类型': ['类型1', '类型1', '类型1', '类型2', '类型2', '类型3', '类型3', '类型4', '类型4', '类型4']
}
yb = pd.DataFrame(data)
yb输出
字符串空值转换
pandas识别空字符串为非空值，所以我们需要将编码为空的数据转换为pandas能识别的NaN。
yb.MDG编码.replace(to_replace=r'^\s*$', value=np.nan, regex=True, inplace=True) cf = yb[(yb.duplicated(['客户名称'], keep=False)) & (yb.客户类型 != '类型1')] #只获取有重复的客户，减少需要处理的数据量 cf
输出：同上
构造分组函数、不同异常数据进行分组
cf['count'] = np.nan
cf.sort_values(by=['客户名称','MDG编码'],inplace=True)
def abc(x):
df = set(x[x.notnull()])
if len(df)==1:
if len(set(x))>1:
return 2
else:
return 1
elif len(df)>=2:
return 3
cf['count'] = cf.groupby(['客户名称'])['MDG编码'].transform(abc)
cf输出
这段代码的作用是在DataFrame（cf）中创建一个新的列count，然后根据'客户名称'和'MDG编码'对DataFrame进行排序。接下来，定义了一个函数abc(x)。
该函数首先将非空值存储在一个集合df中。如果集合df中的元素个数为1，且字段x中的不同值个数多于1个，则返回2。如果集合df中的元素个数为1，且字段x中的不同值个数只有1个，则返回1。如果集合df中的元素个数大于等于2，则返回3。
最后，使用cf.groupby(['客户名称'])['MDG编码'].transform(abc)将函数abc应用到分组后的cf DataFrame的'MDG编码'列中，并将结果赋值给cf的'count'列。
查询正确的客户编码
#查询mdg编码正确的数据
cf2 = cf[cf['count']==2]
cf1 = cf2.loc[cf2.MDG编码.notnull()]
cf1 = cf1.drop_duplicates('客户名称') #mdg编码不为空，且mdg编码正确的数据
cf1输出
获取需要修改的异常客户的id
将mdg编码为空的客户 与 正确MDG编码的客户进行匹配，获取需要修改的客户数据
cf3 = cf2[cf2.MDG编码.isnull()].merge(cf1[['客户名称','MDG编码']],how='left',on='客户名称') cf3 = cf3[['主键','MDG编码_y','客户名称','证件号','客户类型','MDG编码_x']] cf3 #MDG编码_y为正确编码，主键为需要修改的id
输出
上述情况是相同客户有一个正确编码和一个编码为空的情况，对于相同客户有两个及两个以上不同编码的情况，使用下述方法查询：
cf[cf['count']==3] #多个不相等mdg编码
输出
这类数据由于编码有多个不相同，需要根据业务进一步核实
总结
本文主要介绍了在 pandas中清洗客户编码异常数据的方法，使用这个方法我们可以快速的清洗客户编码异常数据。那么如果你想要对这个方法进行优化的话，我们还可以对数据进行清洗。比如说我们可以对原始数据进行一次排序，然后在排序后的数据中寻找是否存在空值、重复值和重复编码等问题。
以上就是使用Pandas实现清洗客户编码异常数据的详细内容，更多关于Pandas清洗异常数据的资料请关注脚本之家其它相关文章！