岗位职责:1、负责配合产品定义行业元数据,能够根据客户、产品需求整理元数据文档;2、负责使用主流ETL工具(kettle、datax等)进行数据同步抽取,形成数据湖;3、负责基于元数据定义,完成主数据的清洗、治理、转换工作;4、负责对数据湖进行分层设计;5、负责根据客户需求,使用JAVA、Ptyhon、Scala等语言基于大数据平台进行数据建模,按需输出统计、分析结果;6、负责维护公司内部与目标客户的大数据平台及组件的运行;7、负责协助开发完成线上数据库性能调优;任职资格:1、计算机、通信、统计相关专业统招本科及以上学历,3年以上数据建模、数据仓库开发项目经验;2、熟练掌握Java、Python、Scala开发,熟练使用linux操作系统;3、熟练掌握SQL语法,熟悉MySQL、Oracle数据库操作;4、熟练掌握主流ETL工具,包括但不限于KETTLE、DataX等,有基于以上工具进行二次开发经历者优先;5、熟悉大数据存储、查询组件,如HDFS、HBase、Kafka、ES等,能够基于开源框架搭建Hadoop平台,并联调串通各个模块;6、熟悉常用批处理计算框架和实时计算框架,如MapReduce、Spark、Flink、Flume,能够使用上述框架自主建模。有超大数据量处理经验者优先(日增千万至上亿级);7、精通数据仓库和建模,具备数据分析能力,了解用户画像,能够独立的根据数据需求、接口集、指标集等进行维度建模。
(重庆南岸区重庆云网科技股份有限公司3幢) 查看地图
重庆云网科技股份有限公司