在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
大数据未来的发展方向和趋势预测分析
在大数据时代，任何一个细微的数据都能被挖掘和了解，可以说大数据已经渗透进了现代生活的每个的角落，影响并改变着我们日常生活和工作的方方面面。在未来，大数据还会又怎样的发展呢？本文就来为大家预测分析一下大数据未来的发展方向和趋势。
9120
2019-09-27 11:39:15
云计算大数据在线培训班靠不靠谱？
如今，云计算和大数据已经成为了未来的发展趋势。在时代潮流的要求下，不少人纷纷想进入云计算大数据行业，然而自学难度大、时间长、效率低，那么到底应该如何进入该行业呢？参加云计算大数据在线培训班可以说是一个有效的方法。然而，也有不少人会担心，云计算大数据在线培训班靠不靠谱？下面小编将从课程内容、师资力量和教学方式，为大家全面分析一下云计算大数据在线培训班。
6838
2019-12-30 21:18:38
计算机大数据应用技术就业前景怎么样？
计算机大数据应用技术就业前景怎么样？作为目前最为广泛和热门的新兴技术，计算机大数据应用技术的意义不在于存储海量的的数据信息，而在于对这些数据进行专业化处理，从而更好地辅助工作中的各项决策。因此，掌握了计算机大数据应用技术，其就业前景自然广阔明亮无比。关于大数据的更多就业方向选择，我们可以看看以下的具体分析。
13151
2020-01-14 15:33:07
大数据测试的发展和困境分析
随着大数据技术的日益深入发展，大数据测试应运而生。可以预见，大数据测试将成为软件测试工程师的发展目标之一。可能对于许多人来讲，大数据测试还是一个十分陌生的概念。实际上，大数据测试不同于传统的软件测试，在测试类型、策略和工具上，都有很大的不同。本文将为大家仔细分析一下大数据测试的发展和困境，下面我们一起来看看！
6894
2020-03-03 23:44:15
程序员必须掌握的大数据分析核心技术有哪些？
程序员必须掌握的大数据分析核心技术有哪些？大数据分析技术现是一种传统的技术分析模型，主要对数据进行筛选、过滤之后进行分析。随着银行业、保险业，电子商务的不断发展，非结构数据的数量越来越多，增加了大数据分析的难度，对于大数据方面的程序员要求越来越高。
6207
2020-03-05 15:19:17
