Pandas数据类型自行变换及数据类型转换失败问题分析与解决
作者：肖永威
Pandas数据类型自行变换及数据类型转换失败
最近，在进行数据处理过程中，频繁使用Pandas进行DataFrame关联、合并、数据类型变换操作，当到最后数据入库（MongoDB）时，出现部分整型数据变成浮点型，以及时间转字符串存储时，偶尔出现少部分存储为时间戳整型数据（也就是说偶尔出现时间转换为字符串转换失败的情况），
如下图所示。
1. 整型变浮点型情况
1.1. 问题情况再现
1.1.1. 空值情况
在DataFrame表间关联（merge）、合并（concat）过程中，容易出现数据为空的情况，则其对应的数据列将为float64。
import pandas as pd
df1 = pd.DataFrame({'yearmonth': ['202201','202202','202203'],
'monthnum': [1,2,3]})
df2 = pd.DataFrame({'yearmonth': ['202201','202202'],
'testint': [11,12]})
print('df2数据类型\n',df2.dtypes)
df = pd.merge(left=df1,right=df2,how='left',on=['yearmonth'])
print('连接合并后数据类型\n',df.dtypes)
df运行程序输出结果如下所示，“testint”列的数据类型由int64变成float64。
1.1.2. 正负无穷情况（除数为0）
在DataFrame表中，进行数据计算过程中，如果出现除数为零，则表示为正负无穷，对应的列为float64类型。
import pandas as pd
df1 = pd.DataFrame({'yearmonth': ['202201','202202','202203'],
'monthnum': [1,2,3]})
print('df1数据类型\n',df1.dtypes)
df1.loc[:,'monthnum'] = df1['monthnum']/0
print('除零后，df1数据类型\n',df1.dtypes)
df1
1.1.3. 读取含有空值的数据源
以读取简单的csv数据文件为例：
import pandas as pd
df = pd.read_csv('nan.csv')
print('数据类型\n',df.dtypes)
df数据表nan.csv中，B列有个空值，则读取数据后，B列为float64类型。
1.2. 小结
对于DataFrame表，在数据处理过程中，如果出现空值（nan）、正负无穷（inf），pandas将转换为默认的float64数据类型。
1.3. 解决方案
在关键点，例如存储、计算前，如有必要，按数据字典定义类型，强制统一转换为定义类型。
注意：
- 首先，把空值处理掉，例如填充0，或其他需要的值；
- 如果，一列存在多种类型数据，需要单独处理，详见后续介绍。
2. 时间类型转字符串失败情况
2.1. 关于pandas时间类型与整型、字符串型转换
| 序号 | 功能 | 原数据类型 | 目标数据类型 | 方法 |
|---|---|---|---|---|
| 1 | 时间转整型 | datetime[ns] | int64 | df[‘列名’].astype(‘int64’) |
| 2 | 时间转字符串 | datetime[ns] | str（object） | df[‘列名’].dt.strftime(‘%Y-%m-%d’) |
| 3 | 整型转时间 | int64 | datetime[ns] | df[‘列名’].astype(‘datetime64[ns]’) |
| 4 | 字符串转时间 | str（object） | datetime[ns] | df[‘列名’]…astype(‘datetime64’) |
其中：时间类型单个数据的类型为
<class 'pandas._libs.tslibs.timestamps.Timestamp'>
对象，其他为正常python数据类型，例如int、str等。
import pandas as pd
import time
df = pd.DataFrame({'yearmonth': ['202201','202202','202202'],
'monthnum': [1,2,1],
'datetime': [pd.Timestamp('2018-03-10 21:00:01'),pd.Timestamp('2019-03-10 12:02:00'),pd.Timestamp('2019-09-10 12:02:00')]})
df['datetimenum'] = df['datetime'].astype('int64')
df
df.loc[:,'datetimenum'] = df['datetimenum'].astype('datetime64[ns]')
df['datetimestr'] = df['datetime'].dt.strftime('%Y-%m-%d')
df.loc[:,'datetimestr'] = df['datetimestr'].astype('datetime64')
2.2. 单列复杂数据类型情况及解决方法
由于很难模拟出时间类型转字符串失败情况，文中仅仅采用按行强制赋值方式构建分析样本。
分别直接赋值整型时间戳和字符串时间，如下列所示。
df.loc[1,'datetimenum'] = 1611532800000
df.loc[2,'datetimestr'] = '2022-08-10'
df.dtypes
# 下面代码报错！
df.loc[:,'datetimenum'] = df['datetimenum'].astype('datetime64')
df.loc[:,'datetimenum'] = df['datetimenum'].astype('datetime64[ns]')对于目标为时间类型的列（本例中的datetimenum），如果某行存储一个整型数据，即使是时间戳整数，这种混合情况，表现类型为“Object”，在类型转换时将会报错。
ValueError: mixed datetimes and integers in passed array
对于这种复杂混合类型的列，可以采用逐行按具体数据类型转换到目标类型，如下文把混合时间、字符串、时间戳整数的数据统一转换为字符串类型。
import numpy as np
import time
def f(timeNum):
if type(timeNum) == type(1):
timeTemp = float(timeNum/1000)
tupTime = time.localtime(timeTemp)
#stadardTime = time.strftime("%Y-%m-%d %H:%M:%S", tupTime)
stadardTime = time.strftime("%Y-%m-%d", tupTime)
elif type(timeNum) == type('2022-08-18'):
stadardTime = timeNum
else:
print(type(timeNum))
#stadardTime = timeNum.strftime("%Y-%m-%d %H:%M:%S")
stadardTime = timeNum.strftime("%Y-%m-%d")
print(timeNum)
return pd.Series([stadardTime])
df['datetimestr'] = df['datetimestr'].apply(lambda x:f(x))
df
2.3. 相关内容，数据类型识别
Python中常用isinstance()和type()内置函数判断数据类型：
isinstance()是Python中的一个内建函数。是用来判断一个对象的变量类型。
isinstance(object, classinfo)
- 如果参数object是classinfo的实例，或者object是classinfo类的子类的一个实例， 返回True。
- 如果object不是一个给定类型的的对象， 则返回结果总是False。
type函数是Python的内置函数，返回参数的类型。
# type函数
variateint = 100
variatestr = '100'
if type(variateint) == type(1):
print('int')
if type(variatestr) == type('hello'):
print('str')
# isinstance函数
if isinstance(variateint,int):
print('int')
if isinstance(variatestr,str):
print('str')补充：
type只接收一个参数，不但可以判断变量是否属于某个类型，而且可以得到参数变量未知的所属的类型；
而isinstance只能判断是否属于某个已知类型，不能直接得到变量未知的所属的类型
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。