在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
数据分析应用在哪些领域？都起到了什么作用？
随着大数据的发展，数据分析早已渗透各行业各业，尤其是互联网、电商和金融三大行业。同时数据分析在电信、旅游、医疗健康等等领域，也有比较多的应用。下面我们来看看在这些领域数据分析究竟起了什么作用。
12500
2019-09-28 09:54:27
大数据疫情防控应用 大数据与个人隐私之间存在的冲突
大数据与个人隐私之间存在的冲突，网上出现多起以寻找确诊病例密切接触者为名，公布个人姓名、手机号码、户籍地详址、身份证号码等个人隐私的事件，且电信运营、铁路部门和各大互联网公司等事实上掌握了大量公民的个人信息，特别是联系方式、地理位置和行踪轨，这无疑是掌握了用户的个人隐私。
8552
2020-02-21 10:17:35
大数据学习的基础知识
大数据学习的基础知识，随着互联网科技的发展，新型技术行业如人工智能等高科技领域人才需求不断扩大。其中大数据行业的发展前景也是相当好。导致很多人跟风报名，结果就是好多人哭喊大数据好难学。但是，大数据真的这么难吗？大数据基础学习内容是什么？大家不妨先了解一下再决定要不要继续学习。
4035
2020-06-12 15:58:59
数据仓库、数据湖、智能湖仓分别是什么？
数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合；数据湖，数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的；强大的数据湖及其配套的专用构建数据服务体系，智能湖仓称为架构。
3747
2021-05-28 14:54:10
大数据的核心价值是什么? 本质是什么？
大数据的核心价值是什么? 其本质是量变产生了质变，其实问了这个问题，我们就已经能够知道，数据是真的具有价值的，并且价值不菲。那数据是今天才有的么？ 为什么加上大字就有了无法估量的价值呢？
3246
2022-04-27 09:49:19
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么？先掌握这三大核心关键技术
- 前端开发的工作方向有哪些？
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试？两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些，才能成为架构师 查看更多
扫描二维码，了解更多信息
