公司简介:
北京安晨信息技术有限公司成立于2020-12-08,法定代表人为梁荷东,注册资本为6600万元,统一社会信用代码为91110302MA01XWMQ84,企业注册地址位于北京市大兴区金苑路23号院2号楼3层309,所属行业为科技推广和应用服务业,经营范围包含:一般项目:技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;计算机软硬件及辅助设备零售;5G通信技术服务;技术进出口;信息系统集成服务;企业管理咨询;消防技术服务;工程管理服务;工程技术服务(规划管理、勘察、设计、监理除外);安全技术防范系统设计施工服务;计算机及通讯设备租赁;日用品销售;人力资源服务(不含职业中介活动、劳务派遣服务);对外承包工程。(除依法须经批准的项目外,凭营业执照依法自主开展经营活动)许可项目:建设工程施工;电气安装服务;互联网信息服务;第二类增值电信业务;职业中介活动;建筑劳务分包。(依法须经批准的项目,经相关部门批准后方可开展经营活动,具体经营项目以相关部门批准文件或许可证件为准)(不得从事国家和本市产业政策禁止和限制类项目的经营活动。)。企业当前经营状态为存续。在招职位如下:
大数据工程师(应届研究生)
工作城市:郑州
薪资:4k-5k
学历要求:硕士,博士
岗位性质:全职
岗位描述:
薪资:4k-5k
学历要求:硕士,博士
岗位性质:全职
岗位描述:
一、岗位职责
1. 大数据基础平台
● 参与大数据平台(Hadoop、Hive、Flink 等)的日常巡检与基础运维工作,逐步熟悉集群部署架构与核心组件运行机制;
● 执行大数据集群的资源管理、任务提交、日志查看等日常操作,配合团队完成平台层面的基础支撑工作;
● 协助处理集群运行过程中的基础性问题,积累平台运维经验,为后续深入数据开发与迁移工作奠定基础。
2. 数据开发与 SQL 落地优化
● 熟练运用 Hive SQL、Spark SQL 完成数据抽取、清洗、转换、建模、统计分析等开发工作,编写高质量、高可用的数据脚本;
● 基于 Flink API 和 Flink SQL 完成实时数据处理任务开发,适配实时与离线双场景;
● 精通 海豚调度平台(DolphinScheduler) ,负责工作流编排、任务调度、依赖配置及日常运维;
●针对海量数据场景进行 SQL 优化、计算逻辑调优,提升数据处理效率。
3. 数据迁移项目交付
● 参与腾讯云公有云大数据迁移项目的落地实施,承接客户本地大数据集群向腾讯云平台的迁移、适配、改造工作;
● 熟悉数据迁移全流程:迁移评估→方案设计→环境准备→数据同步→任务切换→验证割接→业务上线;
● 运用 DataX 完成离线数据迁移任务(全量/增量同步),包括数据源配置、通道调优、断点续传、异常处理等;
● 运用 Flume 完成日志类数据的实时采集与传输,确保数据完整性与时效性;
● 熟练使用 腾讯云 WeData 数据治理平台,完成数据质量监控、元数据管理、数据血缘追踪等工作;
● 具备各层级数据校验能力:源端与目标端数据量校验、表级/字段级数据一致性校验、主键唯一性校验、业务逻辑校验,确保迁移数据零丢失、零差错;
● 解决迁移过程中的兼容性、数据一致性、业务适配等核心问题,保障项目顺利验收交付。
4. 技术学习与认证
● 入职后需在约定时间内通过腾讯云大数据工程师认证及腾讯云公有云大数据迁移交付工程师认证(考试费用由公司承担);
● 紧跟腾讯云大数据产品生态更新,持续沉淀项目交付经验与标准化方案。
二、任职要求
1. 学历背景
● 2027届应届硕士研究生,计算机、大数据、软件工程、信息技术等相关专业;
● 具备扎实的计算机专业基础:操作系统、计算机网络、数据结构与算法、数据库原理。
2. 大数据开发能力
● 编程语言:熟练掌握 Java、Scala、Python 中至少一种,有良好的编码习惯;
● 大数据计算引擎:熟悉 Flink 框架原理,了解 Flink API 和 Flink SQL 的编程模型,有实际项目或课题实践经历;
● SQL 能力:精通 Hive SQL、Spark SQL,有复杂查询、性能调优实践经验;
● 调度工具:熟悉 海豚调度平台(DolphinScheduler) ,了解工作流编排、任务依赖管理;
● 数据同步:了解 DataX、Flume 等数据同步/采集工具的基本原理与使用方式;
● 操作系统:熟悉 Linux,掌握常用命令与 Shell 脚本编写。
3. 数据迁移方向
● 理解数据迁移整套流程,了解从评估、方案设计、数据同步到业务切换的全链路环节;
● 具备较强的数据校验意识,理解数据一致性、完整性的重要性,熟悉常见校验方法;
● 有数据迁移相关课题、实习或项目经验者优先。
4. 腾讯云产品体系
● 了解腾讯云 EMR、WeData、CDW、ClickHouse、Doris 等大数据产品(有使用经验者优先);
● 愿意深入学习和掌握腾讯云大数据产品体系及迁移交付规范。
5. 综合素质
● 具备优秀的学习能力与自驱力,能够独立开展工作,主动解决技术问题;
● 具备清晰的问题排查能力与逻辑思维,能够独立分析并解决集群运行、数据开发、迁移过程中的常见问题;
● 具备良好的沟通表达能力和文档撰写能力,能够高效对接内外部团队;
● 工作认真负责、执行力强,具备良好的团队协作意识和抗压能力。
6. 认证与出差适配
● 入职后需承诺在规定时间内通过腾讯云大数据工程师认证及腾讯云公有云大数据迁移交付工程师认证(公司承担考试费用);
● 持有阿里云等主流云厂商的大数据认证者优先;
● 能够接受项目出差需求,服从项目工作安排。
7. 实习时间要求
● 要求连续实习 4-6 个月及以上,能够深度参与腾讯云大数据迁移项目的完整交付流程。
1. 大数据基础平台
● 参与大数据平台(Hadoop、Hive、Flink 等)的日常巡检与基础运维工作,逐步熟悉集群部署架构与核心组件运行机制;
● 执行大数据集群的资源管理、任务提交、日志查看等日常操作,配合团队完成平台层面的基础支撑工作;
● 协助处理集群运行过程中的基础性问题,积累平台运维经验,为后续深入数据开发与迁移工作奠定基础。
2. 数据开发与 SQL 落地优化
● 熟练运用 Hive SQL、Spark SQL 完成数据抽取、清洗、转换、建模、统计分析等开发工作,编写高质量、高可用的数据脚本;
● 基于 Flink API 和 Flink SQL 完成实时数据处理任务开发,适配实时与离线双场景;
● 精通 海豚调度平台(DolphinScheduler) ,负责工作流编排、任务调度、依赖配置及日常运维;
●针对海量数据场景进行 SQL 优化、计算逻辑调优,提升数据处理效率。
3. 数据迁移项目交付
● 参与腾讯云公有云大数据迁移项目的落地实施,承接客户本地大数据集群向腾讯云平台的迁移、适配、改造工作;
● 熟悉数据迁移全流程:迁移评估→方案设计→环境准备→数据同步→任务切换→验证割接→业务上线;
● 运用 DataX 完成离线数据迁移任务(全量/增量同步),包括数据源配置、通道调优、断点续传、异常处理等;
● 运用 Flume 完成日志类数据的实时采集与传输,确保数据完整性与时效性;
● 熟练使用 腾讯云 WeData 数据治理平台,完成数据质量监控、元数据管理、数据血缘追踪等工作;
● 具备各层级数据校验能力:源端与目标端数据量校验、表级/字段级数据一致性校验、主键唯一性校验、业务逻辑校验,确保迁移数据零丢失、零差错;
● 解决迁移过程中的兼容性、数据一致性、业务适配等核心问题,保障项目顺利验收交付。
4. 技术学习与认证
● 入职后需在约定时间内通过腾讯云大数据工程师认证及腾讯云公有云大数据迁移交付工程师认证(考试费用由公司承担);
● 紧跟腾讯云大数据产品生态更新,持续沉淀项目交付经验与标准化方案。
二、任职要求
1. 学历背景
● 2027届应届硕士研究生,计算机、大数据、软件工程、信息技术等相关专业;
● 具备扎实的计算机专业基础:操作系统、计算机网络、数据结构与算法、数据库原理。
2. 大数据开发能力
● 编程语言:熟练掌握 Java、Scala、Python 中至少一种,有良好的编码习惯;
● 大数据计算引擎:熟悉 Flink 框架原理,了解 Flink API 和 Flink SQL 的编程模型,有实际项目或课题实践经历;
● SQL 能力:精通 Hive SQL、Spark SQL,有复杂查询、性能调优实践经验;
● 调度工具:熟悉 海豚调度平台(DolphinScheduler) ,了解工作流编排、任务依赖管理;
● 数据同步:了解 DataX、Flume 等数据同步/采集工具的基本原理与使用方式;
● 操作系统:熟悉 Linux,掌握常用命令与 Shell 脚本编写。
3. 数据迁移方向
● 理解数据迁移整套流程,了解从评估、方案设计、数据同步到业务切换的全链路环节;
● 具备较强的数据校验意识,理解数据一致性、完整性的重要性,熟悉常见校验方法;
● 有数据迁移相关课题、实习或项目经验者优先。
4. 腾讯云产品体系
● 了解腾讯云 EMR、WeData、CDW、ClickHouse、Doris 等大数据产品(有使用经验者优先);
● 愿意深入学习和掌握腾讯云大数据产品体系及迁移交付规范。
5. 综合素质
● 具备优秀的学习能力与自驱力,能够独立开展工作,主动解决技术问题;
● 具备清晰的问题排查能力与逻辑思维,能够独立分析并解决集群运行、数据开发、迁移过程中的常见问题;
● 具备良好的沟通表达能力和文档撰写能力,能够高效对接内外部团队;
● 工作认真负责、执行力强,具备良好的团队协作意识和抗压能力。
6. 认证与出差适配
● 入职后需承诺在规定时间内通过腾讯云大数据工程师认证及腾讯云公有云大数据迁移交付工程师认证(公司承担考试费用);
● 持有阿里云等主流云厂商的大数据认证者优先;
● 能够接受项目出差需求,服从项目工作安排。
7. 实习时间要求
● 要求连续实习 4-6 个月及以上,能够深度参与腾讯云大数据迁移项目的完整交付流程。

