在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
你那么努力为什么还又穷又忙？数据分析直播课预告
如果说：“有什么事比穷更可怕？”那一定是“又穷又忙！”加班熬夜写方案，优化产品，留存率却不见提升；公众号文章不断优化，新增用户也是寥寥无几；社群不停维护，优惠不断增加，用户依然不买账；……
7243
2019-08-21 15:55:07
大数据应用的重要性体现在方方面面
自全国提出“数据中国”的概念以来，我们周围默默地在发挥作用的大数据逐渐深入人们的心中，大数据的应用也越来越广泛，具体到金融、汽车、餐饮、电信、能源、体育和娱乐等领域，下面就通过本文，让我们看看这些正在发生在我们身边的大数据应用案例。
9575
2020-07-06 14:59:59
大数据课程有哪些实战项目？
随着大数据行业的蓬勃发展，就业市场对于大数据从业者也提出了更高的要求。为了培养出真正掌握大数据开发能力的人才，博学谷的大数据课程除了有大数据理论知识的系统学习，还有涉及各个领域的大数据开发实战项目。那么大数据课程有哪些实战项目呢？一起来看看吧！
9323
2020-07-21 16:16:30
大数据开发工程师需要学习哪些知识点？
大数据开发工程师需要学习哪些知识点？大数据程序员需要有坚实的大数据技术理论基础、了解数据平台、掌握数据存储 HDFS、、日志解析及计算 MR、数据获取和预处理 Flume、结构化查询 Hive、数据获取和预处理 Sqoop、大数据调度框架Azkaban、Scala编程基础等相关知识。
9774
2020-09-03 14:13:34
狂野大数据课程怎么样？项目实战多吗？
狂野大数据课程作为数字化人才的职场提升课程采用的是线上授课模式，学习该课程无需脱产对在职人群而言一边工作一边实现自我价值提升可谓一举两得。这门课程有一定门槛，课程适合有⼀定的IT⾏业经验，想要转⾏进⼊⼤数据开发或者有技术深造需求的同学。
7915
2022-09-16 15:31:39
