GLM团队-预训练算法工程师（26届校招）

职位描述 【团队介绍】 GLM 团队是国内最早从事大模型预训练的团队之一，在 2022 年就完成了千亿模型 GLM-130B 的预训练； GLM-4 在文本上的通用能力已经达到了国际第一梯队的水准； 25年7月发布的GLM- 4、5 首次在单个模型中实现将推理、编码和智能体能力原生融合，以满足智能体应用的复杂需求，取得了全球模型第三、国产模型第一，开源模型第一的成绩。 团队具有充沛的计算资源，可以支持预训练方面的探索。 【职位描述】 1、 负责预训练数据的构建，包括领域分类、质量筛选、配比调整等； 2、 负责语言模型结构探索，包括高效的attention结构、降低部署成本的moe架构等； 3、 负责新的预训练scaling范式探索，包括预训练与RL的结合、可扩展的预训练数据合成方法等。 职位要求 【职位要求】 1、 2026届毕业，自然语言处理、机器学习、人工智能、软件工程等相关专业，硕士及以上学历； 2、 较强的算法开发能力，熟悉常用的机器学习、深度学习算法； 3、 熟练使用Pytorch、Huggingface、Megatron等框架； 4、 对Transformer的架构有较为深入的理解，了解Transformer的各种变体，有相关的研究经验者优先； 5、 具备优秀的代码能力和基础算法功底，有较为丰富的工程经验，有大规模训练经验或大规模数据处理经验。 加分项： 1、 在ACL，NeurIPS，ICLR，EMNLP，ICML等顶级会议或期刊上发表过论文者优先； 2、 熟悉并行训练框架，有多机多卡训练经验者优先； 熟悉大模型预训练 / SFT / RL 者优先。