任职要求
1.计算机相关专业,具备3年以上ETL开发或实时数据开发相关经验;
2.熟悉大数据生态组件,如hadoop、hive、hbase、spark、impala、kafka等;
3.熟悉主流数据库如SQL Server、Oracle、DB2、MySQL等,熟悉开源的ETL工具;
4.有使用Hadoop和ETL工具如Kettle、Sqoop等的经验,有从传统数据库抽取数据到Hive数据仓库的经验,了解数据仓库相关的工具如MPP数据库、Spark、ElasticSearch等;
5.具有Flink开发与应用经验,熟悉Flume与Kafka等数据采集和消息通道技术,具备丰富的实践和调优经验;
6.语言和操作能力:熟悉Linux常用命令和Shell脚本编写,熟悉python脚本编写,熟悉SQL常用语句和建表语句等;
7.具有数据中台相关项目经验者优先。