在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Pandas如何分块处理大文件？在处理快手的用户数据时，碰到600M的txt文本，用sublime打开蹦了，用pandas.read_table()去读竟然花了小2分钟，打开有3千万行数据。仅仅是打开，要处理的话不知得多费劲。
解决：读取文件的函数有两个参数：chunksize、iterator。原理分多次不一次性把文件数据读入内存中。
1.指定chunksize分块读取文件
read_csv 和 read_table 有一个 chunksize 参数，用以指定一个块大小(每次读取多少行)，返回一个可迭代的 TextFileReader 对象。
对文件进行了划分，分成若干个子文件分别处理(to_csv也同样有chunksize参数)
2.指定iterator=True
直接看pandas文档相关的内容。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
数据可视化常用工具推荐
下一篇：
零基础能学大数据技术吗？学完能找到工作吗？
相关推荐 更多
大数据思维到底是什么？
大数据并不是简单的描述大量的数据，其中涉及到很多的数据分析以及技术实现的问题。现在很多大数据专家，学者纷纷提出大数据思维的概念以及外延理解，无论是哪个版本，大数据思维主要包含全样思维、容错思维、以及相关思维几个方面。那大数据思维到底是什么呢？接下来为大家详细说明。
17538
2019-06-24 18:22:26
数据分析课程大纲是什么？
马云说我们已经进入数据时代。大量的数据为我们提供更多客观的、有效的决策支撑。同时伴随着大数据的发展，衍生出大量的鱼数据相关的技术岗位：大数据开发工程师、数据挖掘工程师、数据分析等等。相对于相关工程师而言，数据分析对于从业者要求较低，因此大量的求学者进入数据分析的课程学习中。那数据分析都需要学习哪些知识点呢？我们就博学谷数据分析课程大纲为大家说明。
10302
2019-08-23 18:40:33
什么是数据分析？数据分析的概念理解
众所周知，数据分析已然成为我们生活和工作中必不可缺的一部分。我们常常在当下听到的数据分析被频繁的提及，但是你真的了解数据分析的意思吗？究竟什么是数据分析呢？简单来讲，数据分析离不开数据，计量和记录一起促成了数据的诞生。下面我们一起来看看数据分析的概念理解。
14585
2020-06-02 10:35:05
数据科学自然语言处理的应用领域
数据科学自然语言处理的应用领域，随着科技的发展自然语言已经应用到我们生活的方方面面，比如搜索自动更正和自动完成、语言翻译、社交媒体监控、聊天机器人、调查分析、定向广告等。
5814
2020-07-16 15:42:55
2022年数据与分析有哪些新趋势？关注哪些动态？
今年数据和分析主要趋势：激活多样性和活力使用自适应AI系统推动增长和创新同时应对全球市场的波动；增强人员能力和决策以提供由业务模块化组件创建的丰富的、情境驱动的分析；将信任制度化以大规模地实现数据和分析的价值。管理AI风险并实施跨分布式系统、边缘环境和新兴生态系统的互联治理。
3252
2022-04-27 15:53:36
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么？先掌握这三大核心关键技术
- 前端开发的工作方向有哪些？
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试？两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些，才能成为架构师 查看更多
扫描二维码，了解更多信息
