数据开发工程师

岗位职责

【岗位职责】 1.负责多源异构数据的实时流处理、离线批处理系统的设计和开发工作； 2.负责卫星数据处理程序开发和优化，并及时解决ETL相关技术问题； 3.负责数据质量检查和管理，确保数据的准确性和完整性； 4.确保数据的安全性和隐私性，遵守相关的法律法规和政策； 5.负责数据一致性校验及数据报表维护等。 【任职要求】 1.遥感,无线通信或计算机相关专业等相关专业硕士及以上学历； 2.具有3年以上ETL开发相关经验，熟悉数据提取、数据加工、数据存储和数据展示等相关技术； 3.熟练掌握 Java 、Python等编程语言，并熟悉 Linux工作环境； 4.熟悉 Hive，HBase，Spark，Flink等一种以上数据处理工具和技术； 5.熟悉数据中台建设和数据模型设计，具有相关项目实施经验； 6.对航天、卫星等知识感兴趣，了解卫星遥感的基本知识； 7.具有良好的团队协作和沟通能力，能够与其他工程师和科学家合作。