在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
什么是大数据分析？大数据分析概念
大数据分析指对规模巨大的数据进行分析。大数据特点 数据量大、速度快、类型多、价值、真实性。随着大数据的发展，大数据分析应运而生。数据分析让人们对数据产生更加优质的诠释，而具有预知意义的分析可以让分析员根据可视化分析和数据分析后的结果做出一些预测性的推断。
8458
2020-04-27 15:15:39
Zookeeper基本知识总结
本文为大家整理总结了Zookeeper的基本知识，主要内容有Zookeeper概述、ZooKeeper特性、ZooKeeper集群角色以及ZooKeeper集群搭建。下面一起来看看大数据学习中的干货知识吧~
6809
2020-06-11 19:12:50
零基础小白的大数据入门手册
零基础小白的大数据入门手册，学大数据前，大家可能听过不少说大数据难学、入行做好心理准备的。大家听完也很动摇很犹豫，怀疑自己能不能学好大数据。这其实完全没有必要，觉得一个东西难，百分之八十的原因是你不了解它。对于零基础小白而言想学大数据，首先了解下大致学习路径有个框架，知道学习的方向。
6688
2020-06-15 17:33:18
学大数据技术与应用的女生多吗？适合吗？
随着人工智能的发展，对于大数据方面的人才需要越来越大，高校里面选择大数据技术的人不在少数，女生适不适合学大数据技术与应用这个问题跟女生适不适合学IT技术一样，没有性别限制，女生更适合数据分析方便的工作。
11636
2020-09-23 10:31:38
博学谷狂野大数据学习多长时间？
狂野大数核心课程以全程直播方式授课，共计330小时，如果每天能保证4小时的高效学习效率，需要学习3个月左右，因为每个人的学习情况不一样学习周期会有所差别。
7823
2022-09-16 15:31:26
