原创 做大数据开发累吗？需不需要加班？

做大数据开发累吗？需不需要加班？首先我们来了解大数据的工作内容，用一句话总结就是分析历史、预测未来、优化选择。总体上看来，大数据开发的工作需要按部就班进行，因此一般不需要加班，但是偶尔也会因为额外的需求增加以及对项目进度的把控而需要加班。不过，就与其它的研发技术岗位比较，大数据开发已经算是比较轻松的工作了。

1、做大数据开发要会什么？

（1）数据分析师

该职位需要具备极强的数据分析能力，如临时取数分析、报表需求分析、精准营销分析、风控分析以及市场研究分析能力等。

所需掌握的工具：R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT等。

所需掌握的技能：SQL数据库、概率统计、常用的算法模型、分析报告的撰写、商业的敏感性等。

（2）数据挖掘工程师

该职位需要具备极强的数据挖掘能力，如用户基础研究、个性化推荐算法、风控模型、产品知识库、文本挖掘、语义识别以及图像识别等。

所需掌握的工具：R、Python、SAS、SPSS、Spark、Mlib等。

所需掌握的技能：SQL数据库、概率统计、机器学习算法原理、模型评估、模型部署、模型监控。

（3）产品经理

数据产品经理需要具备整体把控产品的能力，需进行大数据平台建设、数据需求分析以及典型大数据产品应用的能力。

所需掌握的工具：数据分析工具、原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等。

所需掌握的技能：SQL数据库、产品设计、常用数据产品框架。

（4）数据研发工程师

数据研发工程师需要具备数据分析与开发的能力，主要工作包括：大数据采集、大数据处理以及大数据的开发应用等。

所需掌握的工具：hadoop、hbase、hive、kafaka、sqoop、java、python等。

所需掌握的技能：数据库、日志采集方法、分布式计算、实时计算等技术。

2、大数据开发的日常工作内容：

（1）数据采集：

业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。

（2）数据存储：

清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。

（3）数据分析统计：

数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

（4）数据可视化：

用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。

3、大数据开发加班多吗？

大数据开发并不会因为要处理大规模的数据，而产生很大的工作量，因为目前的各种技术也在发展，高效的开发工具大大减轻了大数据开发工程师的工作负担，所以大数据开发工程师的工作虽然不是很轻松，但是也算不上很累，当然加班的情况还是存在的。对于大数据开发工作是否加班的这个问题，不能一概而论，需根据公司的实际情况而定，有些公司有加班的氛围，即使非IT岗，也会有加班的情况，这样的公司大数据开发肯定会加班无疑的；有些公司不鼓励加班，会根据大数据开发流程制定合理的项目进度，只要具备相应的技能，快速的解决问题，相信这种情况是不会加班的。

最后，小编还想说，如果想从事大数据开发的相关岗位，还是应该先摆正心态，毕竟没有工作是不累的。尤其是不加班的技术岗位，更是少之又少。因此在考虑一份工作的时候，与其在意加不加班，还不如多想想这份工作适不适合自己，有没有发展前景。