在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
为什么大数据和云计算备受关注，大数据与云计算的关系
互联网技术不断突破与革新，大数据和云计算的概念现在已经成为互联网的热门词汇。为什么大数据和云计算这样备受关注呢？他们之间有什么关系？相信很多小伙伴也存在这样的疑问。
7746
2019-06-12 17:36:02
数据挖掘、数据分析以及大数据之间的区别有哪些？
进入大数据时代，和数据相关的名词都被人们津津乐道。那数据挖掘、数据分析以及大数据之间有哪些区别呢？数据挖掘是发现信息以及收集数据的过程；数据分析则是将现有数据进行归纳以及分析得出相应结论的过程。而大数据则更加关注数据本身，重要表现就是数据量大，数据的多样性等等。
13203
2019-06-20 18:11:53
大数据Hbase面试题汇总
在大数据中，我们总会碰到Hbase数据库。尤其对于即将要面试大数据的小伙伴来说，Hbase数据库更是绕不过去的一个重要考点，因此小编汇总了近些年来比较常见且经典的大数据Hbase面试题，希望可以帮到大家。
8249
2019-08-20 18:49:37
数据预处理的方法有哪些？
数据处理的工作时间占据了整个数据分析项目的70%以上。因此，数据的质量直接决定了分析模型的准确性。那么，数据预处理的方法有哪些呢？比如数据清洗、数据集成、数据规约、数据变换等，其中最常用到的是数据清洗与数据集成，下面小编将来详细介绍一下这2种方法。
9889
2020-08-11 10:14:41
大数据开发和软件开发哪个前景好？
大数据开发学习有难度，零基础入门要先学习Java语言打基础，然后进入大数据技术体系的学习，学习Hadoop、Spark、Storm等知识。软件开发工程师根据不同的学科从事的岗位也千差万别。
5750
2020-10-15 09:41:45
