• 在线客服

  • 扫描二维码
    下载博学谷APP

  • 扫描二维码
    关注博学谷微信公众号

  • 意见反馈

原创 Pandas如何分块处理大文件?

发布时间:2020-08-14 16:16:47 浏览 3597 来源:博学谷 作者:吾非鱼

      Pandas如何分块处理大文件?在处理快手的用户数据时,碰到600M的txt文本,用sublime打开蹦了,用pandas.read_table()去读竟然花了小2分钟,打开有3千万行数据。仅仅是打开,要处理的话不知得多费劲。


      解决:读取文件的函数有两个参数:chunksize、iterator。原理分多次不一次性把文件数据读入内存中。


      1.指定chunksize分块读取文件


      read_csv 和 read_table 有一个 chunksize 参数,用以指定一个块大小(每次读取多少行),返回一个可迭代的 TextFileReader 对象。

     

    指定chunksize分块读取文件
      对文件进行了划分,分成若干个子文件分别处理(to_csv也同样有chunksize参数)


      2.指定iterator=True

     

    指定iterator=True
      直接看pandas文档相关的内容。

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 数据可视化常用工具推荐 下一篇: 零基础能学大数据技术吗?学完能找到工作吗?

相关推荐 更多

热门文章

  • 简历加分-4步写出HR想要的简历
  • 程序员如何突击面试?两大招带你拿下面试官
  • 程序员面试技巧
  • 架构师的厉害之处竟然是这……
  • 架构师书籍推荐
  • 懂了这些,才能成为架构师
  • 学好编程的必备素养,你有么?
  • 数据分析师到底是干啥的?
  • 数据分析值不值得学
  • 数学盲,可以学数据分析吗?
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码