【蚂蚁星-Plan A】算法工程师-预训练

职位描述
我们负责蚂蚁集团内基础人工智能技术的研发与创新，致力于通用人工智能的实现。研究范围涵盖广泛，不仅包括语言大模型、多模态大模型等前沿的大模型技术，也深耕优化算法、知识图谱等基础AI方向。我们自主研发并开源了百灵大模型系列，旨在打造更高效、更通用的AI技术底座。我们积极推动开放协作的AI生态建设，通过技术共享、产学研合作等方式，促进人工智能技术的普惠发展，推动AI技术在各行各业的深度应用。
1. 负责研发大语言模型预训练技术，如高效的新型llm模型架构、长窗口训练技术、pretrain scaling law、高效预训练策略等。
2. 负责研发基于强化学习的推理模型，如大规模强化学习、新型RL算法、testing time scaling等。
职位要求
1. 硕士及以上学历，计算机科学或相关专业背景；
2. 熟悉语言模型预训练、模型架构设计、强化学习等技术领域；
3. 具备扎实的算法工程实现能力，熟悉Python编程语言和PyTorch深度学习框架，熟悉DeepSpeed/Megatron等主流分布式训练框架；
4. 具备良好的分析和问题解决能力、优秀的工程素养，能够独立思考和解决实际问题；
5. 具备较强的团队合作能力和沟通能力，能够与工程团队、业务团队、产品团队和其他技术团队紧密配合。

加分项：
1. 在语言大模型和机器学习领域有科研或实践经验，在国际顶级会议/期刊发表过高质量论文；
2. 在大数据处理、大规模分布式计算、分布式训练等领域有科研或实践经历。