在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
数据分析师好找工作吗？薪资待遇怎么样？
数据分析师好找工作吗？回答无疑是肯定的。数据分析师一职在当下所谓的就业寒潮中，可以说是一路激流勇进。那么数据分析师的薪资待遇究竟怎么样呢？根据各大招聘网站整理的数据，我们可以看见，各知名互联网大厂都几乎开出了30K-70K的年薪，来吸引数据分析人才，但是岗位却仍然供不应求。
9933
2019-12-24 14:32:35
大数据有哪些工作岗位？都需要掌握哪些技能？
随着大数据时代的来临，大数据的应用已经深入我们生活的方方面面。现在，各行各业对大数据人才的需求都是空前巨大的。那么，大数据有哪些工作岗位？都需要掌握哪些技能呢？目前，大数据工程师工作领域大致可分为五类：离线相关工作岗位、Storm实时计算工作岗位、Spark内存计算工作岗位、Flink 实时计算工作岗位和机器学习相关岗位。下面我们来看看从事以上岗位要学习掌握的技能。
9752
2020-03-12 12:42:17
ZooKeeper数据模型解析
ZooKeeper的数据模型采用树形层次结构，而Znode就是ZooKeeper树中的每个节点。和文件系统的目录树一样，ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处： 比如Znode兼具文件和目录两种特点，而且它还具有原子性操作，存储数据大小也有限制。另外，Znode还是通过路径引用。下面我们来看看数据结构图、节点类型、节点属性以及ZooKeeper Watcher相关内容。
7325
2020-06-15 10:32:03
大数据Hadoop生态体系中常见的子系统有哪些？
Hadoop是一个针对大量数据进行分布式处理的软件框架，是一个开发和运行处理大规模数据的软件平台，是Appach的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算，具有可靠、高效、可伸缩的特点，很多程序会用到这个框架。
7103
2021-03-17 13:58:05
跳槽直接涨薪25k年薪60w 羡慕的话说麻了
“羡慕”这个词我真的说麻了，之前的薪资25k就已经很高了但是在学完《狂野大数据》课程后找工作直接薪资翻倍
4605
2022-06-07 14:06:39
