python读取大型csv文件的操作方法(降低内存占用)

 更新时间:2024年03月13日 11:53:33   作者:jieshenai  
遇到大型的csv文件时,pandas会把该文件全部加载进内存,从而导致程序运行速度变慢,本文提供了批量读取csv文件、读取属性列的方法,减轻内存占用情况,文中有详细的代码示例,需要的朋友可以参考下

简介

遇到大型的csv文件时,pandas会把该文件全部加载进内存,从而导致程序运行速度变慢。
本文提供了批量读取csv文件、读取属性列的方法,减轻内存占用情况。

import pandas as pd

input_file = 'data.csv'

读取前多少行

加载前100000行数据

df = pd.read_csv(input_file, nrows=1e5)
df

查看每个字段占用的系统内存的情况

df.info(memory_usage='deep')

设置 memory_usage 的参数为 ‘deep’ 时,深度检查对象中的内存使用情况,包括对象中可能包含的其他对象(如列表、数组或其他数据结构)。若不设置deep参数,memory_usage 只会返回一个对象的基础内存使用情况,这主要基于对象本身的内存占用,而不考虑它可能引用的其他对象。

在这里插入图片描述

如上图所示,前100000行数据共占用220.MB内存。

查看每列属性的内存占用情况;

item = df.memory_usage(deep=True)

在这里插入图片描述

针对每个属性列的字节数进行求和,使用/ (1024 ** 2),实现1B到1MB的单位转换。验证了所有属性列的内存占用确实为 220.8MB。

在这里插入图片描述

内存占用从高到低降序排列:

df.memory_usage(deep=True).sort_values(ascending=False)

在这里插入图片描述

读取属性列

可能我们只关心, 一整张表中的某几个属性,比如:'企业名称', '经营范围'。那么便无需把整张表加载进内存。

df2 = pd.read_csv(input_file, nrows=1e5, usecols=['企业名称', '经营范围'])

查看一下内存占用

df2.memory_usage(deep=True).sum() / (1024 ** 2)

在这里插入图片描述

只读取两个属性列,内存占用只有33MB。

逐块读取整个文件

pd.read_csv(input_file, chunksize=1e3, nrows=1e5)

  • nrows=1e5: 读取100000条数据;
  • chunksize=1e3: 每一块是1000条数据;

1e5条数据,应该由100块1e3的数据组成;

# 分批次读取, 每chunksize是一个批次
chunk_dfs = pd.read_csv(input_file, chunksize=1e3, nrows=1e5)

v = 0
cnt = 0
# 每个chunk_df 都是 dataframe 类型数据
for chunk_df in chunk_dfs:
    print(chunk_df.shape)
    cnt += 1
    v += chunk_df.shape[0]
print(v, cnt)

在这里插入图片描述

上图验证了,总共处理了1e5条数据,分成了100块进行读取。

总结

pd.read_csv(input_file, nrows, usecols, chunksize)
  • nrows: 读取多少行数据;
  • usecols: 读取哪些属性列的数据;
  • chunksize:分块读取,每一块的大小是多少条数据;

到此这篇关于python读取大型csv文件的操作方法(降低内存占用)的文章就介绍到这了,更多相关python读取大型csv文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python存储读取HDF5文件代码解析

    Python存储读取HDF5文件代码解析

    这篇文章主要介绍了Python存储读取HDF5文件代码解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • win10安装tesserocr配置 Python使用tesserocr识别字母数字验证码

    win10安装tesserocr配置 Python使用tesserocr识别字母数字验证码

    这篇文章主要介绍了win10安装tesserocr配置 Python使用tesserocr识别字母数字验证码,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-01-01
  • Python操作excel的方法总结(xlrd、xlwt、openpyxl)

    Python操作excel的方法总结(xlrd、xlwt、openpyxl)

    这篇文章主要给大家介绍了关于Python操作excel的一些方法,其中包括xlrd、xlwt、openpyxl的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Python具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-09-09
  • 解决导入django_filters不成功问题No module named ''django_filter''

    解决导入django_filters不成功问题No module named ''django_filter''

    这篇文章主要介绍了解决导入django_filters不成功问题No module named 'django_filter',具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-07-07
  • Python 创建或读取 Excel 文件的操作代码

    Python 创建或读取 Excel 文件的操作代码

    Excel是一种常用的电子表格软件,广泛应用于金融、商业和教育等领域,本文介绍Python 创建或读取 Excel 文件的操作代码,感兴趣的朋友一起看看吧
    2023-09-09
  • Python中关于面向对象概念的详细讲解

    Python中关于面向对象概念的详细讲解

    要了解面向对象我们肯定需要先知道对象到底是什么玩意儿。关于对象的理解很简单,在我们的身边,每一种事物的存在都是一种对象。总结为一句话也就是:对象就是事物存在的实体
    2021-10-10
  • pytorch 限制GPU使用效率详解(计算效率)

    pytorch 限制GPU使用效率详解(计算效率)

    这篇文章主要介绍了pytorch 限制GPU使用效率详解(计算效率),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • 浅谈Python编程中3个常用的数据结构和算法

    浅谈Python编程中3个常用的数据结构和算法

    这篇文章主要介绍了浅谈Python编程中3个常用的数据结构和算法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-04-04
  • Python的Scrapy框架基本使用详解

    Python的Scrapy框架基本使用详解

    这篇文章主要介绍了Python的Scrapy框架基本使用详解,Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据,Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试,需要的朋友可以参考下
    2023-12-12
  • Python多线程多进程实例对比解析

    Python多线程多进程实例对比解析

    这篇文章主要介绍了Python多线程多进程实例对比解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03

最新评论