在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
做大数据开发累吗?需不需要加班?首先我们来了解大数据的工作内容,用一句话总结就是分析历史、预测未来、优化选择。总体上看来,大数据开发的工作需要按部就班进行,因此一般不需要加班,但是偶尔也会因为额外的需求增加以及对项目进度的把控而需要加班。不过,就与其它的研发技术岗位比较,大数据开发已经算是比较轻松的工作了。
1、做大数据开发要会什么?
(1)数据分析师
该职位需要具备极强的数据分析能力,如临时取数分析、报表需求分析、精准营销分析、风控分析以及市场研究分析能力等。
所需掌握的工具:R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT等。
所需掌握的技能:SQL数据库、概率统计、常用的算法模型、分析报告的撰写、商业的敏感性等。
(2)数据挖掘工程师
该职位需要具备极强的数据挖掘能力,如用户基础研究、个性化推荐算法、风控模型、产品知识库、文本挖掘、语义识别以及图像识别等。
所需掌握的工具:R、Python、SAS、SPSS、Spark、Mlib等。
所需掌握的技能:SQL数据库、概率统计、机器学习算法原理、模型评估、模型部署、模型监控。
(3)产品经理
数据产品经理需要具备整体把控产品的能力,需进行大数据平台建设、数据需求分析以及典型大数据产品应用的能力。
所需掌握的工具:数据分析工具、原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等。
所需掌握的技能:SQL数据库、产品设计、常用数据产品框架。
(4)数据研发工程师
数据研发工程师需要具备数据分析与开发的能力,主要工作包括:大数据采集、大数据处理以及大数据的开发应用等。
所需掌握的工具:hadoop、hbase、hive、kafaka、sqoop、java、python等。
所需掌握的技能:数据库、日志采集方法、分布式计算、实时计算等技术。
2、大数据开发的日常工作内容:
(1)数据采集:
业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。
(2)数据存储:
清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高,则可以把日志记录入到kafka。
(3)数据分析统计:
数据分析是数据流的下游,消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据,简单的报表统计可以用sql在kylin或者hive统计,复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。
(4)数据可视化:
用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。
3、大数据开发加班多吗?
大数据开发并不会因为要处理大规模的数据,而产生很大的工作量,因为目前的各种技术也在发展,高效的开发工具大大减轻了大数据开发工程师的工作负担,所以大数据开发工程师的工作虽然不是很轻松,但是也算不上很累,当然加班的情况还是存在的。对于大数据开发工作是否加班的这个问题,不能一概而论,需根据公司的实际情况而定,有些公司有加班的氛围,即使非IT岗,也会有加班的情况,这样的公司大数据开发肯定会加班无疑的;有些公司不鼓励加班,会根据大数据开发流程制定合理的项目进度,只要具备相应的技能,快速的解决问题,相信这种情况是不会加班的。
最后,小编还想说,如果想从事大数据开发的相关岗位,还是应该先摆正心态,毕竟没有工作是不累的。尤其是不加班的技术岗位,更是少之又少。因此在考虑一份工作的时候,与其在意加不加班,还不如多想想这份工作适不适合自己,有没有发展前景。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据工程师面试时需要注意的那些致命判断题
大数据工程师属于IT行业里面的高薪岗位,所以企业在招聘的时候不仅仅要考虑他们的专业技能,还要考察大数据工程师对于问题的判断能力,从而保障项目的高效率执行。所以和大家分享一些大数据工程师面试时需要注意的那些致命判断题。
7053
2019-06-27 18:23:44
2019年大数据在各行业的应用 深度解析
如今,我们都生活在一个数字化的世界里,大数据的应用也变得越来越广泛,它深度改变着我们的生产生活方式。本文小编就来深度解析一下,2019年大数据在各行业的应用。这些行业都从大数据中获取了当下真正有价值的信息,从而极大地提高了生产效率。
7228
2019-07-22 18:00:56
大数据笔记之分布式文件存储系统
现在是大数据的时代,也是数据爆炸的时代,如何处理大数据的存储成为了摆在人们面前的难题,因此分布式文件存储系统应用而生。同时分布式文件存储系统在大数据面试中,也是一个常常可以见到的考点之一。本文为大家梳理了相关的大数据知识点,感兴趣的小伙伴可以看一看。
5623
2019-11-05 16:26:09
ZooKeeper数据模型解析
ZooKeeper的数据模型采用树形层次结构,而Znode就是ZooKeeper树中的每个节点。和文件系统的目录树一样,ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处: 比如Znode兼具文件和目录两种特点,而且它还具有原子性操作,存储数据大小也有限制。另外,Znode还是通过路径引用。下面我们来看看数据结构图、节点类型、节点属性以及ZooKeeper Watcher相关内容。
4220
2020-06-15 10:32:03
学大数据开发要掌握的基础知识有哪些?
大数据专业包含课程较多难度大对学习者的要求较高,从事大数据相关的岗位有平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘,不同的从业方向需要掌握的技能也不尽相同。
3007
2021-01-15 11:06:11
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么?先掌握这三大核心关键技术
- 前端开发的工作方向有哪些?
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试?两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些,才能成为架构师 查看更多
扫描二维码,了解更多信息
![博学谷二维码](/news/_nuxt/img/bxg-QR.066c346.png)