在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
大数据优化在SEO公司中的应用
大数据优化在SEO公司中的应用，搜索引擎优化可以通过浏览企业网站了解搜索引擎优化以及其业务需求。搜索引擎优化公司可能会更好地了解市场，并了解需要采取哪些措施以获得曝光率。企业可以保持领先于竞争对手的唯一方法是了解其目标市场以及他们的沟通方式。
5267
2019-05-13 12:06:20
大数据智能与人工智能的联系和区别
现在进入了互联网时代，提出人工智能概念，人工智能已经在多个领域中实践，比如无人驾驶、图像识别、语音识别等领域。大数据不断采集、沉淀、分类等积累数据，人工智能基于大数据的支持和采集，运用于人工设定的特定性能和运算方式来实现。
3572
2020-07-27 16:48:30
如何获取大数据行业高薪岗位offer？
想要拿到高薪就要成为站在金字塔的人，在互联网行业需要保持不断的学习。学习大数据先思考自身未来想往哪个方向发展，想要入门快、基础深厚，并且需求多应用广建议从JAVA开始学起，找到适合自己的学习方法。
1974
2021-03-31 16:13:39
Hadoop HDFS分布式文件系统原理及应用介绍
HDFS有着高容错性特点，且设计用来部署在低廉的硬件上，提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以实现流的形式访问文件系统中的数据。
1626
2021-04-13 16:30:33
大数据的核心架构层是哪些？
大数据的核心架构层是哪些？大数据的核心层：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同本质上的角色都大同小异。
709
2022-06-17 15:28:45
