岗位职责: 1、参与建设大规模数据的在线/离线基础架构,并根据上层业务需求和计算逻辑持续优化; 2、参与建设数据仓库架构的子系统,包括不限于:调度系统、元数据管理、数据质量监控、高效数据同步、流式数据采集、多维数据分析引擎等; 3、解决和优化业务人员在开发过程中遇到的计算平台优化、数据处理技术、基础工具使用等技术问题; 4、研究大数据前沿技术,探索应用于各系统和产品。 职位要求: 1、硕士及以上学历,计算机相关专业; 2、熟悉Hadoop,Hive,Hbase,Spark,Flink,Flume等开源技术,熟练掌握至少一种编程语言(Java、Python、Scala); 3、熟悉分布式系统架构或模型,对资源管理、调度算法、并行数据处理有自己的理解; 4、思维敏捷,对新技术和数据敏感,有较强的钻研学习能力。 |
|