岗位职责：
1、负责产品计算中心方案设计实施及hadoop/spark集群线上故障处理、性能调优；
2、负责基于hadoop/spark生态系统的产品研发；
3、负责基于搜索引擎（elasticsearch）的产品研发；
4、负责基于redis，kafka集群调优及产品研发；
5、参与海量数据处理和高性能分布式计算的架构设计，负责数据处理流程的设计和代码开发，撰写相关文档；
6、研究大数据、ai领域最新进展，并应用到业务中。
职位要求：
1、大学本科或以上学历，计算机相关专业，spark/hadoop全栈优先，精通任意一栈者也可；
2、拥有实际apache hadoop/spark相关系统的调优、运维、开发经验；
3、使用hadoop及hadoop生态圈中的常用组件，如spark、hive、zookeeper、sqoop、flume、kafka、storm、redis、spark、yarn、impala、hbase、presto、solr 等全部或者部分组件,最好精通其中1-2个；
4、熟练掌握java 、scala或者python语言，熟悉并行计算或者分布式计算，理解mapreduce、hdfs原理、spark rdd/dataframe原理。