搜索
您的当前位置:首页大数据架构师的主要职责说明

大数据架构师的主要职责说明

时间:2020-05-27 来源:乌哈旅游

  职责:

  1、负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;

  2、负责公司项目的整体评估、设计、架构及关键模块的开发;

  3、负责架构优化,协助团队解决开发过程中遇到的技术难题;

  4、负责新技术的调研和大数据相关开源组件的研究,并能在团队进行推广应用;

  5、参与数据分析、数据建模、项目核心模块及核心框架的开发;

  6、负责大数据平台的性能条有和问题诊断。

  任职要求:

  1、计算机相关专业,本科及以上学历,3-5年以上工作经验,2-3年大数据相关经验;

  2、具有扎实的大数据和数据仓库理论功底,负责过大数据平台或数据仓库设计;

  3、对基于Hadoop的大数据体系有深入的认识,具备相关产品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)项目应用研发经验,有Hadoop集群搭建和管理经验,度过Hadoop和Spark源码;

  4、熟悉Linux和Python语言,了解Scala原理和底层技术;

  5、熟悉分布式系统的架构及对其进行设计和优化,对海量数据的清晰、分析处理及存储有相关的实战经验;

  6、算法基础扎实,熟悉常见的数据结构,深入理解分布式算法和以上提到的分布式系统,

  7、必须有一线coding的能力;

  8、有统计学、数学知识,海量数据处理、分析和挖掘,大型互联网公司从业经历着优先。

因篇幅问题不能全部显示,请点此查看更多更全内容

Top