【快Star-X】基础大模型训练推理引擎研发工程师
北京
本科及以上
计算机类·电子信息类
使用简历深度优化功能,快速提升简历质量
职位介绍
职位描述
1、参与快手大语言模型、多模态基座模型的训练/推理引擎研发及优化工作;
2、参与快手自研生成式推荐大模型训练全链路开发和优化,以及快手广告、电商、直播、搜索等全域模型的训练全链路研发与优化;
3、设计和优化分布式训练框架,通过混合并行,通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题;
4、参与通用高性能RL框架的开发和优化,包括但不限于高效rollout、高效RL链路调度优化等;
5、通过各种技术手段持续优化性能,降低推理成本,包括但不限于:算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等。
任职要求
1、精通Pytho/C++编程,有较好的编程风格和代码管理能力;
2、有优秀的逻辑分析能力,有较好的数学基础;
3、有开源大模型训练推理框架(pytorch/megatron/vllm/sglang)使用经验者优先;
4、有相关实习经验优先。
1、参与快手大语言模型、多模态基座模型的训练/推理引擎研发及优化工作;
2、参与快手自研生成式推荐大模型训练全链路开发和优化,以及快手广告、电商、直播、搜索等全域模型的训练全链路研发与优化;
3、设计和优化分布式训练框架,通过混合并行,通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题;
4、参与通用高性能RL框架的开发和优化,包括但不限于高效rollout、高效RL链路调度优化等;
5、通过各种技术手段持续优化性能,降低推理成本,包括但不限于:算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等。
任职要求
1、精通Pytho/C++编程,有较好的编程风格和代码管理能力;
2、有优秀的逻辑分析能力,有较好的数学基础;
3、有开源大模型训练推理框架(pytorch/megatron/vllm/sglang)使用经验者优先;
4、有相关实习经验优先。


