在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
大数据时代带给我们的重大变革
无论是大数据、人工智能还是区块链都预示着科技的力量会将我们的日常生活带来巨大的变革。就目前而言，大数据已经在很多领域得到了实际的应用。也为我们的生活消费带来的巨大的变革。到2020年，世界上每个人每秒将创造7 MB的数据。下面试10个关于大数据未来预测的问题，告诉你大数据时代带给我们的重大变革。
10465
2019-08-09 18:04:05
用户画像是什么？可以用来做什么？
用户画像是什么？可以用来做什么？一般是指通过可收集到的用户信息，分析出比较标签化的用户模型。在当下这个大数据时代，用户画像可以提供更精准的个性化服务给用户。因此用户画像的成本虽然高，但各大企业公司还是在不遗余力的去做，就足以瞥见用户画像的强大功能。
11548
2019-10-24 11:13:14
数据科学的发展历程
如今，数据科学可以说是一个十分火爆的领域，我们可以看到数据科学在各行各业都得到了广泛的应用。虽然数据科学在近几年发展得如此迅猛，但是数据科学的核心技术其实早在很久以前就已经提出来了。比如数据挖掘、Hadoop、深度学习、神经网络、数据可视化、强化学习和云计算等等技术都是推动数据科学发展进程的核心手段，下面我们一起来看看吧！
10350
2020-03-26 15:36:30
大数据的定义和概念是什么？一文带你认识大数据
如今，大数据无处不在，它被广泛地应用到各个领域中。似乎我们对大数据已经并不陌生了，但是关于大数据的定义和概念，相信没几个人能够说清楚。那么，当我们在谈大数据的时候到底在谈什么呢？本文就来用一篇文章带大家彻底认识大数据，包括大数据的定义、特点、应用场景以及和云计算的关系。下面就一起来看看吧！
24581
2020-05-14 16:25:29
成为数据工程师需要具备哪些技能？
数据工程工作存在于各个行业，在银行业、医疗保健业、大型科技企业、初创企业和其他行业找到工作机会。许多职位描述要求数据工程师、拥有数学或工程学位，但如果有合适的经验学位往往没那么重要。
6787
2021-03-23 16:36:52
