python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > pandas无法读取csv文件数据

解决pandas无法读取csv文件数据的问题

作者:shengjk1

本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参数配置对数据处理的重要性

一、前言

我有一个 csv 文件,要做数据分析,可是用 pandas 死活读不出来,差点搞崩溃了。

但打开 csv 文件,发现里面的内容啥的还是蛮正常的

并且以 逗号 分割

二、问题复现

1. 问题

import pandas as pd
df=pd.read_csv('./data/test.csv')
df

2. 通过 on_bad_lines=‘warn’ 跳过异常数据

不报错了,但发现数据错位了。

3. 没办法了 delimiter=‘\t’

数据总算对了,看着是没有错位

4. 添加 delimiter后,按列无法取值

仔细想想也应该这样,因为本来分割符就是 ‘,’

5. 没有办法回归最原始的方式

 with open(f'{file_path}', newline='',encoding='utf-8') as csvfile:
        reader = csv.DictReader(csvfile)

三、总结

通过本文可见,正确的参数设置对于使用Pandas读取CSV文件至关重要。在处理异常数据时,合适的参数选择和方法应用能有效解决数据错位和取值异常等问题,确保数据的准确性和完整性。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
阅读全文