数据开发工程师（实时计算方向） at Gate (Apac-C1)数据开发工程师（实时计算方向）

【岗位定位】 1、公司已经建立较完善的数据仓库和实时数据体系，具备数据采集、计算、存储及服务能力。随着业务规模增长和实时应用场景增加，我们希望引入两名中高级数据开发工程师，负责实时数据需求交付、任务优化及工程治理。 2、该岗位以实时数据开发为主，同时参与离线数仓建设。你将重点解决实时链路中的数据延迟、状态膨胀、资源消耗、数据质量及一致性等问题，推动实时数据体系向更稳定、更高效、更规范的方向演进。 【岗位职责】 1、负责实时数据需求的分析、方案设计和开发交付，基于Flink、Kafka等技术建设实时数据处理链路，为实时分析、监控、指标及业务决策等场景提供数据支持。 2、参与实时数仓建设及模型设计，结合业务需求完成数据分层、指标口径、维度模型和数据服务的设计与落地。 3、持续优化现有实时任务，解决数据延迟、反压、Checkpoint异常、状态膨胀、资源利用率不合理及数据不一致等问题，提升任务稳定性和计算效率。 4、参与数据治理和工程质量建设，包括任务依赖梳理、元数据管理、数据质量监控、告警机制、开发规范及问题排查体系建设。 5、参与大数据平台及计算引擎的日常维护和问题处理，协同上下游团队保障数据链路的稳定性、准确性和时效性。 6、沉淀实时开发最佳实践和技术经验，通过技术分享、代码评审及方案评审，提升团队整体实时研发能力。 【任职要求】 1、本科及以上学历，计算机、软件工程、信息技术或相关专业，具有5年及以上数据开发或大数据研发经验；能力优秀者可适当放宽。 2、具备完整的数据仓库项目经验，熟悉实时数仓架构、数据分层和数据模型设计，能够将业务需求转化为数据模型及技术方案。 3、熟练掌握Flink，具有Flink SQL、DataStream API等实际项目经验，理解State、Checkpoint、Watermark、窗口、反压和容错机制。 4、具备实时任务开发及优化经验，能够独立分析和解决任务延迟、资源消耗较高、状态异常、数据倾斜及数据一致性等问题。 5、熟悉Kafka及实时数据链路，理解数据采集、传输、计算、存储和服务的完整流程。 6、熟悉Hadoop、Hive、Spark等大数据技术，具备一定的离线数据开发能力。 7、熟练掌握SQL，能够完成复杂数据加工和性能优化；至少熟悉Python、Java或Scala中的一种开发语言。 8、熟悉MySQL、PostgreSQL、Elasticsearch等常用数据库或存储系统。 9、具备良好的业务理解、沟通协作和书面表达能力，责任心强，能够主动推动问题解决和项目落地。 【加分项】 1、具有大规模Flink任务开发、性能调优或集群治理经验。 2、具有实时数仓架构优化、实时链路治理或技术升级经验。 3、熟悉Hologres、ClickHouse、Doris等实时OLAP技术。 4、具有实时指标、实时监控、实时风控、实时推荐等复杂业务场景经验。 【我们期待的候选人】 1、我们希望你不仅能够完成数据需求开发，也愿意深入理解实时计算机制，关注数据链路的稳定性、性能和工程质量。 2、面对复杂问题，你能够从数据、代码、任务配置和运行机制等多个角度定位原因，并将解决方案沉淀为可复用的规范、工具或最佳实践。