崗位職責：
1、負責產品計算中心方案設計實施及hadoop/spark集群線上故障處理、性能調優；
2、負責基於hadoop/spark生態係統的產品研發；
3、負責基於搜索引擎（elasticsearch）的產品研發；
4、負責基於redis，kafka集群調優及產品研發；
5、參與海量數據處理和高性能分布式計算的架構設計
，負責數據處理流程的設計和代碼開發，撰寫相關文檔；
6、研究大數據、ai領域最新進展，並應用到業務中。
職位要求：
1、大學本科或以上學曆
，計算機相關專業
，spark/hadoop全棧優先
，精通任意一棧者也可
；
2

、擁有實際apache hadoop/spark相關係統的調優
、運維、開發經驗；
3、使用hadoop及hadoop生態圈中的常用組件，如spark、hive、zookeeper、sqoop
、flume、kafka
、storm
、redis、spark
、yarn、impala、hbase、presto、solr 等全部或者部分組件,最好精通其中1-2個；
4、熟練掌握java 、scala或者python語言


，熟悉並行計算或者分布式計算，理解mapreduce
、hdfs原理
、spark rdd/dataframe原理。