在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
大数据开发工程师招聘要求高吗?大数据开发工程师该岗位对于技术要求较高,有一定的技术门槛。大数据工程师不少细分方向,不同的方向需要具备不同的知识结构,分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维。
大数据开发工程师负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等内容。必须数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发:开发平台、调度系统、元数据平台等工具。
大数据开发工程师招聘要求较高,接下来下边分享下一些企业对于该岗位的要求:
A公司大数据开发工程师招聘要求:
工作职责:
1、基于海量数据,支持业务对数据的分析和使用;
2、支持业务处理数据的流式处理、分析客户行为等。
任职要求:
1、精通至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力 ;
2、熟悉常用的开源组件:Hadoop/Hive/Spark/Storm,并了解其特性和使用场景优先;
3、熟悉机器学习、数据挖掘、数据分析、分布式计算至少某一方面,有较深的理论研究和实践经验优先;
4、数据分析、推荐、机器学习、数据挖掘相关的开发工作优先。
B公司大数据开发工程师招聘要求:
职责描述:
1.负责大数据接入、存储、分析、监控等系统的开发工作。
2.负责业务数据的采集、存储、清洗、分析和数据逻辑接口开发。
3.负责Hive、Spark、HBase、Kafka等组件的性能优化工作。
4.大规模数据分析、数据挖掘和机器学习算法的实现。
任职要求:
1、本科以上学历,计算机、数学相关专业,1年以上基于大数据开发经验;
2、理解分布式系统概念、思想,扎实的编程基础,熟悉Hadoop(HDFS/MapReduce/Hive/HBase)、Spark、Kafka、Flume、Dubbo等类框架两种以上,至少有1个以上成熟项目经验;
3、熟悉Java、python至少一种开发语言,熟悉SQL开发和调优,熟悉Linux操作系统;
4、能独立开展离线数据分析、流数据计算、海量数据实时查询等相关应用的开发工作;
5、能独立分析和解决问题,有较强的书面与口头沟通表达能力;
6、工作踏实,良好的团队工作和协作能力;
大数据工程师的工作内容简单通俗的来说就是分析历史、预测未来、优化选择。要具备大数据基础知识、大数据平台知识和大数据场景知识三方面的知识结构。大数据基础知识:数学基础、统计学基础和计算机基础。具备数学基础、统计学基础知及计算机基础。能够搭建与优化大数据基础平台、大数据能力开放平台、大数据交易平台;基于大数据平台的数据仓库工具Hive/Spark/HBase, ETL调度工具,数据同步工具的开发、使用、集成和自动化运维,以及多租户与权限控制策略的实现;研发基于大数据平台的数据仓库平台产品。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据核心技术:spark学习总结
想要学习大数据,一定要充分掌握大数据的核心技术:Hadoop、Strom、spark等等。Spark是一种与Hadoop像是的开源集群计算环境。它启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
8526
2019-06-19 17:37:43
揭秘 数据分析究竟在企业经营中有什么实际作用?
在企业经营中中,我们都了解数据分析的重要性,但是很少有人能说清,数据分析究竟在企业营业中有什么实际作用。其实简单来说,数据分析的目的是把隐藏在数据背后的信息集中和提炼出来,总结出所研究对象的内在规律,帮助管理者进行有效的判断和决策。下面是数据分析在企业经营中的三大作用
7800
2019-07-12 13:11:30
Spark运行架构及其特点讲解
Spark应用程序以进程集合为单位在分布式集群上运行,通过driver程序的main方法创建的SparkContext对象与集群交互。本文主要内容有Spark运行架构的流程讲解和Spark运行架构的特点分析,感兴趣的小伙伴就赶紧看下去吧!
5891
2019-08-20 19:22:54
云计算大数据在线培训班靠不靠谱?
如今,云计算和大数据已经成为了未来的发展趋势。在时代潮流的要求下,不少人纷纷想进入云计算大数据行业,然而自学难度大、时间长、效率低,那么到底应该如何进入该行业呢?参加云计算大数据在线培训班可以说是一个有效的方法。然而,也有不少人会担心,云计算大数据在线培训班靠不靠谱?下面小编将从课程内容、师资力量和教学方式,为大家全面分析一下云计算大数据在线培训班。
5506
2019-12-30 21:18:38
累加器和广播变量分别在什么场景使用?
累加器和广播变量分别在什么场景使用?累加器分布式共享只写变量,如果在转换算子中调用累加器后续没有行动算子,累加器不会执行。后续如果调用了两次行动算子,会执行两次累加器出现多加的情况。
1967
2022-04-19 15:57:48