【快Star】基础大模型训练引擎研发工程师
北京
本科及以上
计算机类·数学类
使用简历深度优化功能,快速提升简历质量
职位介绍
职位描述:
1、参与快手大语言模型、多模态基座模型的训练引擎研发及优化工作;2、参与快手自研生成式推荐大模型训练全链路开发和优化,以及快手广告、电商、直播、搜索等全域模型的训练全链路研发与优化;3、设计和优化分布式训练框架,通过混合并行,通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题;4、参与通用高性能RL框架的开发和优化,包括但不限于高效rollout、高效RL链路调度优化等;5、通过各种技术手段持续优化性能,降低推理成本,包括但不限于:算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等。
任职要求:
1、精通Pytho/C++编程,有较好的编程风格和代码管理能力;2、有优秀的逻辑分析能力,有较好的数学基础;3、有开源大模型训练推理框架(pytorch/megatron/vllm/sglang)使用经验者优先;4、有相关实习经验优先。
1、参与快手大语言模型、多模态基座模型的训练引擎研发及优化工作;2、参与快手自研生成式推荐大模型训练全链路开发和优化,以及快手广告、电商、直播、搜索等全域模型的训练全链路研发与优化;3、设计和优化分布式训练框架,通过混合并行,通信计算overlap、低精度训练等方法解决超长序列、超大规模moe场景下的训练效率问题;4、参与通用高性能RL框架的开发和优化,包括但不限于高效rollout、高效RL链路调度优化等;5、通过各种技术手段持续优化性能,降低推理成本,包括但不限于:算子/编译优化、异构推理、模型量化&蒸馏、分布式并行等。
任职要求:
1、精通Pytho/C++编程,有较好的编程风格和代码管理能力;2、有优秀的逻辑分析能力,有较好的数学基础;3、有开源大模型训练推理框架(pytorch/megatron/vllm/sglang)使用经验者优先;4、有相关实习经验优先。


