在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
大数据分析培训课程靠谱吗？主要课程内容是什么？
大数据分析是目前国内各行各业都非常关注的一个岗位，通过对大数据的挖掘分析，不仅仅能为企业提供有商业价值的重大决策，同时也可以优化企业运营生产过程中的过度消耗以及资源匹配不均等等现象。因此大量的技术人员开始进入大数据分析的相关领域学习，那现在市面上常见的大数据分析培训课程靠谱吗？大数据分析培训课程主要学习哪些知识？
8338
2019-08-23 18:33:37
学完云计算和大数据好找工作吗?可以胜任哪些岗位呢？
学完云计算和大数据好找工作吗?可以胜任哪些岗位呢？随着云时代的发展，大数据也吸引了越来越多的目光。云计算和大数据早已成为不可分割的一体，掌握了云计算和大数据也就掌握了大数据常见的实时以及离线开发框架，具备架构设计以及开发能力，能够胜任 hadoop开发工程师，spark开发工程师，flink开发工程师等岗位。下面我们来看看学习云计算和大数据能找哪些工作。
8845
2019-10-15 09:18:35
大数据开发和大数据分析该怎么选择？
大数据开发主要是负责大数据挖掘，大数据清洗处理，大数据建模等，负责大规模数据的处理和应用，工作以开发为主与大数据可视化分析工程师相互配合，从数据中挖掘出价值为企业业务发展提供支持。
4399
2021-01-15 10:09:54
女生做大数据有发展前景吗？能学会吗？
当前大数据发展前景非常不错，且大数据领域对于人才类型的需求比较多元化，女生学习大数据也会有比较多的工作机会。大数据是一个交叉学科涉及到的知识量比较大学习有一定的难度，女生比较适合大数据采集和大数据分析方向的工作岗位。
4443
2021-03-18 16:38:32
开发人员该选择什么大数据工具提高工作效率？
开发人员该选择什么大数据工具提高工作效率？海量数据使得数据分析工作变得繁重困难，开发人员选择合适的大数据工具来开发大数据系统成为新的挑战。因此开发人员要根据不同的数据处理方式对大数据工具进行分类。
3203
2022-04-14 13:56:44
