在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
做大数据开发累吗?需不需要加班?首先我们来了解大数据的工作内容,用一句话总结就是分析历史、预测未来、优化选择。总体上看来,大数据开发的工作需要按部就班进行,因此一般不需要加班,但是偶尔也会因为额外的需求增加以及对项目进度的把控而需要加班。不过,就与其它的研发技术岗位比较,大数据开发已经算是比较轻松的工作了。
1、做大数据开发要会什么?
(1)数据分析师
该职位需要具备极强的数据分析能力,如临时取数分析、报表需求分析、精准营销分析、风控分析以及市场研究分析能力等。
所需掌握的工具:R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT等。
所需掌握的技能:SQL数据库、概率统计、常用的算法模型、分析报告的撰写、商业的敏感性等。
(2)数据挖掘工程师
该职位需要具备极强的数据挖掘能力,如用户基础研究、个性化推荐算法、风控模型、产品知识库、文本挖掘、语义识别以及图像识别等。
所需掌握的工具:R、Python、SAS、SPSS、Spark、Mlib等。
所需掌握的技能:SQL数据库、概率统计、机器学习算法原理、模型评估、模型部署、模型监控。
(3)产品经理
数据产品经理需要具备整体把控产品的能力,需进行大数据平台建设、数据需求分析以及典型大数据产品应用的能力。
所需掌握的工具:数据分析工具、原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等。
所需掌握的技能:SQL数据库、产品设计、常用数据产品框架。
(4)数据研发工程师
数据研发工程师需要具备数据分析与开发的能力,主要工作包括:大数据采集、大数据处理以及大数据的开发应用等。
所需掌握的工具:hadoop、hbase、hive、kafaka、sqoop、java、python等。
所需掌握的技能:数据库、日志采集方法、分布式计算、实时计算等技术。
2、大数据开发的日常工作内容:
(1)数据采集:
业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。
(2)数据存储:
清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高,则可以把日志记录入到kafka。
(3)数据分析统计:
数据分析是数据流的下游,消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据,简单的报表统计可以用sql在kylin或者hive统计,复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。
(4)数据可视化:
用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。
3、大数据开发加班多吗?
大数据开发并不会因为要处理大规模的数据,而产生很大的工作量,因为目前的各种技术也在发展,高效的开发工具大大减轻了大数据开发工程师的工作负担,所以大数据开发工程师的工作虽然不是很轻松,但是也算不上很累,当然加班的情况还是存在的。对于大数据开发工作是否加班的这个问题,不能一概而论,需根据公司的实际情况而定,有些公司有加班的氛围,即使非IT岗,也会有加班的情况,这样的公司大数据开发肯定会加班无疑的;有些公司不鼓励加班,会根据大数据开发流程制定合理的项目进度,只要具备相应的技能,快速的解决问题,相信这种情况是不会加班的。
最后,小编还想说,如果想从事大数据开发的相关岗位,还是应该先摆正心态,毕竟没有工作是不累的。尤其是不加班的技术岗位,更是少之又少。因此在考虑一份工作的时候,与其在意加不加班,还不如多想想这份工作适不适合自己,有没有发展前景。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据岗位月薪19K+心动吗?
大数据是一种海量的、高增长率的、多样化的信息资产,它需要新的存储和计算模式才能具有更强的决策力、流程优化能力。IT行业技术发展更新较快,相比较AI和云计算,大数据的技术门槛更低,跟业务的相关性更大。
5324
2020-04-27 17:37:30
大数据开发和大数据分析师到底有何区别?怎么分辨?
数据工程师建设和优化系统,专注于解决分析方面的问题;大数据分析师从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测。两只之间有着本质的差别。
5176
2020-10-15 09:27:35
学大数据开发要掌握的基础知识有哪些?
大数据专业包含课程较多难度大对学习者的要求较高,从事大数据相关的岗位有平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘,不同的从业方向需要掌握的技能也不尽相同。
3693
2021-01-15 11:06:11
大数据工程技术人员培训哪些内容?
课程以系统讲解主流大数据应用发展现状、行业落地型大数据解决方案适用情景、完整的大数据分析过程及常用工具操作方法为重点,帮助掌握数据分析,挖掘思路、累积方法,并结合大量企业经营数据进行分析、挖掘客户行为特点,提升学员数据综合分析能力。
6530
2021-03-12 15:23:49
缓存是什么?为什么要使用缓存?
缓存是什么?为什么要使用缓存?缓存是将一些需要读取数据放在磁盘或者内存中,在读取数据的时候,一般是从关系型数据库中读取数据,缓存时能够最快提高服务响应速度的优化。
6303
2022-04-07 15:07:05