bxg001

没有学习的灵魂一定很空虚吧

原创数据库开发转行大数据开发工程师怎么样?

发布时间：2019-05-20 17:54:38 浏览 1048 来源：博学谷资讯作者：三省

　　数据库开发转行大数据开发工程师怎么样?大数据的方向的工作有大数据运维工程师、大数据开发工程师、数据分析、数据挖掘、架构师等。有工作经验想转行大数据开发主要考察基础、学习能力、解决问题的能力。想转转行大数据开发工程师先了解一下大数据工程师的学习路线：

转行大数据开发工程师怎么样
　　1、分布式计算框架

　　掌握hadoop和spark分布式计算框架，了解文件系统、消息队列和Nosql数据库，学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等

　　2、算法和工具

　　学习了解各种数据挖掘算法，如分类、聚类、关联规则、回归、决策树、神经网络等，熟练掌握一门数据挖掘编程工具：Python或者Scala。目前主流平台和框架已经提供了算法库，如hadoop上的Mahout和spark上的Mllib，你也可以从学习这些接口和脚本语言开始学习这些算法。

　　3、数学

　　补充数学知识：高数、概率论和线代

　　4、项目实践

　　开源项目：tensorflow：Google的开源库，已经有40000多个star，非常惊人，支持移动设备

　 基础知识加强通过企业实习获取项目经验

　　如果你仅仅是做大数据开发和运维，则可以跳过第二步和第三步，如果你是侧重于应用已有算法进行数据挖掘，那么第三步也可以先跳过。
　　数据库开发工程师转行大数据的方向的工作有大数据运维工程师、大数据开发工程师、数据分析、数据挖掘、架构师等。

　　数据工程师的角色愈发地重要。数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。数据工程师是系统的构建者与优化者，所有公司正常运营的基础之一，数据工程师的职责就是保证数据在接收、转移的准确性，并且保证其它用户对数据的可访问性。

　　和数据分析师不同，他们不太关注统计、分析技能、建模等。他们的工作重点在于数据架构、计算、数据存储、数据流等。因此，数据工程师必须具备相当强的编程能力—包括编写数据查询程序的能力。也就是说，他们的能力必须达到开发运营高手的级别。

　　数据工程师还负责数据库设计、仓储数据库、建立数据库等。这就意味着，他们必须十分熟悉现有的数据库技术和数据管理系统，比如和大数据有关的Hadoop与HBase 等。此外，非功能性的基础设施问题，如数据的可扩展性、可靠性、韧性、有效性，备份等也由数据工程师来负责。

　　数据工程师所需技能：数学和统计学，程序设计和计算机科学，分析技能，商业战略

　　对有工作经验想转行大数据开发主要考察三个方面，一是基础，二是学习能力，三是解决问题的能力。

　　基础很好考察，给几道笔试题做完基本上就知道什么水平了。学习能力还是非常重要的，毕竟写Javaweb和写mapreduce还是不一样的。大数据处理技术目前都有好多种，而且企业用的时候也不单单使用一种，再一个行业发展比较快，要时刻学习新的东西并用到实践中。

　　解决问题的能力在什么时候都比较重要，数据开发中尤为重要，我们同常会遇到很多数据问题，比如说最后产生的报表数据对不上，一般来说一份最终的数据往往来源于很多原始数据，中间又经过了n多处理。要求你对数据敏感，并能把握问题的本质，追根溯源，在尽可能短的时间里解决问题。

相关推荐 更多

原创 数据库开发转行大数据开发工程师怎么样?