在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
作为一名合格的运营，很多时候需要掌握数据分析能力。⽐如你新进到⼀家公司做新媒体内容编辑，那你需要盘点公司已有的内容资产，避免重复⽣产内容。这时候就需要把⽹页上的数据给扒下来，放在⼀起才会⼀⽬了然。从⽹页上爬取数据，最好⽤的⽅法当然是爬⾍⼯具啦~本文将为手把手教大家如何使用Web Scraper爬取数据，帮助运营小白快速上手爬虫工具！
第一步：下载 Web Scraper
Web Scraper是Chrome浏览器上的⼀个插件，你需要翻墙进⼊Chrome应⽤商店，下载Web Scraper插件。
第二步：打开Web Scraper
先打开⼀个你想爬数据的⽹页，⽐如我想爬今⽇头条上「吴晓波频道」这个账户的⽂章标题、时间、 评论数，那我就先打开它，再⼀⼀进⾏操作。然后⽤快捷键 Ctrl + Shift + I / F12 打开 Web Scraper。
第三步：新建⼀个 Sitemap
点击Create New Sitemap，⾥⾯有两个选项，import sitemap是指导⼊⼀个现成的sitemap，运营⼩⽩⼀般没有现成的，所以⼀般不选这个，选create sitemap就好。然后进⾏这两个操作：
Sitemap Name：代表你这个Sitemap是适⽤于哪⼀个⽹页的，所以你可以根据⽹页来⾃命名，不过需要使⽤英⽂字母，⽐如我抓的是今⽇头条的数据，那我就⽤toutiao来命名；Sitemap URL：把⽹页链接复制到Star URL这⼀栏，⽐如图⽚⾥我把「吴晓波频道」的主页链接复制到了这⼀栏。
第四步：设置这个Sitemap
整个Web Scraper的抓取逻辑是这样：设置⼀级Selector，选定定抓取范围；在⼀级Selector 下设置⼆级Selector，选定抓取字段，然后抓取。
再举个例⼦，假如你要获取福建⼈的姓名、性别和年龄这三个要素，那么你得这么做：⾸先要定位到福建省，然后再在福建省⾥⾯去定位姓名、性别、年龄。在这⾥，⼀级Selector表⽰你要在中国这个⼤的国家圈出福建省，⼆级Selector 表⽰你要在福建省的⼈⼜中圈定姓名、性别、年龄这三个要素。对于⽂章⽽⾔，⼀级Selector就是你要把这⼀块⽂章的要素圈出来，这个要素可能包含了标题、作者、发布时间、评论数等等，然后我们再在⼆级Selector 中挑出我们要的要素，⽐如标题、作者、阅读数。
（1）点击Add new selector创建⼀级Selector，按照以下步骤操作：
a.输⼊id ： id代表你抓取的整个范围，⽐如这⾥是⽂章，我们可以命名为 126 wuxiaobo-articles；
b.选择 Type ： type 代表你抓取的这部分的类型，⽐如元素／⽂本／链接，因为这个是整个⽂章要素范围选取，我们需要⽤Element来先整体选取（如果这个⽹页需要滑动加载更多，那就选Element Scroll Down）；
c.勾选Multiple ：勾选 Multiple 前⾯的⼩框，因为你要选的是多个元素⽽不是单个元素，当我们勾选的时候，爬⾍插件会帮助我们识别多篇同类的⽂章；
d.保留设置：其余未提及部分保留默认设置。
（2）点击select选择范围，按照以下步骤操作：
a.选择范围：⽤⿏标选择你要爬取数据的范围，绿⾊是待选区域，⽤⿏标点击后变为红⾊，才是选中了这块区域；
b.多选：不要只选⼀个，下⾯的也要选，否则爬出来的数据也只有⼀⾏；
c.完成选择： 记得点Done Selecting；
d.保存：点击Save Selector。
（3）设置好了这个⼀级的Selector之后，点进去设置⼆级的Selector，按照以下步骤操作：
a.新建Selector：点击Add new selector ；
b.输⼊id ：id代表你抓取的是哪个字段，所以可以取该字段的英⽂，⽐如我要选「作者」，我就写「writer」；
c.选择Type：选Text ，因为你要抓取的是⽂本；
d.勿勾选Multiple：不要勾选Multiple前⾯的⼩框，因为我们在这⾥要抓取的是单个元素； 保留设置：其余未提及部分保留默认设置。
（4）点击select，再点击你要爬取的字段，按照以下步骤作：
a.选择字段：这⾥爬取的字段是单个的，⽤⿏标点击该字段即可选定，⽐如要爬标题，那就⽤⿏标点击某篇⽂章的标题，当字段所在区域变红即为选中；
c.完成选择：记得点 Done Selecting ；
d.保存：点击 Save Selector 。
（5）重复以上操作，指导选完你想爬去的字段。
第五步：爬取数据
之所以说Web Scraper是运营小白必会的爬⾍⼯具，就是因为只需要设置完所有的Selector，就可以开始爬数据了，怎么样是不是很简单？那么怎么开始爬数据呢？只需要⼀个简单的操作：点击 Scrape ，然后点 Start Scraping ， 会弹出⼀个⼩窗，然后⾟勤的⼩爬⾍就开始⼯作了。你会得到⼀个列表，上⾯有你想要的所有数据。
以上就是运营小白必会的爬虫工具使用教程，怎么样，你是不是已经快速上⼿Web Scraper的所有操作过程了？相信即使是不会编程语言的小白，也可以掌握在5分钟之内爬取数据的爬虫工具！
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
流量比较多的五大自媒体平台盘点
下一篇：
老带新营销方式的核心逻辑解析
相关推荐 更多
主流新媒体平台有哪些？都有什么特点？
相信新媒体运营者常常会有这样的困惑，最近抖音很火有必要做吗？微博感觉日渐式微需要继续运营吗？新的应用层出不穷需要都追吗？其实这些问题都可以用一句话回答，即用户在哪就去哪。每个时代都有相应产生的新媒体，每一种新媒体也将成为旧媒体。考虑到目前主流的新媒体平台五花八门，各有千秋，这里把常见的新媒体平台分为六大种类，以便于给大家介绍各大主流的新媒体平台及其特点。
26752
2020-04-28 16:22:11
什么样的业务适合做社群运营？
因为私域流量的兴起和疫情隔离影响，不管是线上企业还是线下企业都开始做社群运营了，社群运营俨然成为了2020年最热门的营销方式。那么，社群运营就真的是所有企业的灵丹妙药吗？答案还真不一定，可能又会有人问了，什么样的业务适合做社群运营呢？下面小编将从三个角度为大家分析，做社群的小伙伴赶紧来了解一下吧~
4538
2020-05-06 15:15:56
活动运营的工作流程是怎样的？
活动策划作为运营的通用技能，每个人在过往的工作中或多或少都接触到一些，是运营入门的不二之选。作为最能在短时间增加流量，提高转化的运营岗位，其职业发展前景可期。相信说到这里，大家一定十分好奇活动运营到底是干什么。下面我们就来详细看看活动运营的具体工作流程，大家可以参考一下，以此来判断自己适不适合进入这个岗位。
4307
2020-05-11 16:10:02
如何认识和理解运营岗位？
相信绝大对数的运营小白都会对运营岗位的工作内容和任职要求都是模糊不清的。那么我们应该如何认识和理解运营岗位呢？首先运营不是一个具体明确的岗位，而是一类职业的统称，所以在不同的公司，运营岗位的工作要求和内容都完全不一样。下面我们一起来聊聊运营到底是什么，岗位又该如何发展。
16371
2020-07-03 18:06:58
新媒体运营是做什么的？
随着新媒体的出现，新媒体运营这一岗位也日渐被大众所熟知。那么，新媒体运营是做什么的呢？我们在各大网络招聘平台搜索一下就可以知道，新媒体运营工作主要是负责双微（微博、微信）平台的内容发布，有时也会需要策划一些活动，最终达到引流涨粉变现，或者宣传品牌的目的。下面我们来详细看看新媒体运营岗位的工作内容和必备技能。
3998
2020-07-23 17:36:23
