【蚂蚁星-Plan A】多模态大模型研发-生成与理解统一

职位描述
蚂蚁集团 - 基础智能团队
我们团队主要负责蚂蚁集团的通用大模型研发工作。我们提供国内顶尖的算力资源，致力于建设基于大模型的AGI技术。我们期待同样以实现AGI为目标的您的加入，共同推动人工智能技术的发展。目前，我们正在进行：
多模态大模型研发: 研发高效的多模态预训练模型架构。探索和实现多模态融合技术，优化多模态模型的训练策略和推理效率。
1. ​​统一架构研发​​
研发多模态理解与生成一体化架构，设计统一表征模型（文本/图像/视频/语音），攻克跨模态语义对齐、动态路由、混合模态生成等关键技术
主导千亿级参数多模态模型的分布式训练优化（数据并行+流水线并行+专家混合），实现训练成本降低与性能提升
​​2. 端到端系统构建​​
构建支持多模态输入输出的实时交互系统（端到端延迟<200ms），优化推理引擎（KV Cache量化、动态批处理、显存卸载）
开发多模态自监督学习框架，实现跨模态数据自动挖掘与合成（如视频-文本弱监督对齐）
​​3. 技术前瞻研究​​
探索多模态大模型技术边界，包括但不限于：理解与生成统一、跨模态融合、多模态世界模型构建
参与制定行业技术标准，主导国际顶会论文发表（CVPR/ICML/NeurIPS）及开源项目贡献
职位要求
1. 计算机科学、人工智能、数学等相关专业硕士及以上学历，博士优先；
2. 深入掌握Transformer/BERT/GPT等架构，有1个以上千亿参数大模型实战经验（训练/推理/优化全流程）；
3. 精通多模态技术栈：CLIP/BLIP/Flamingo等跨模态模型调优，熟悉Diffusion/Stable Diffusion等生成模型；
4. 熟练使用PyTorch/TensorFlow框架，有Megatron-DeepSpeed/FairScale等分布式训练实战经验；
5. 掌握CUDA加速、TRT-LLM推理优化、多模态数据管道构建。

​​加分项​​
1. 在ACL/CVPR/ICML等顶会以第一作者发表多模态相关论文；
2. 主导过开源多模态项目（Hugging Face模型库/GitHub星标100+）；
3. Kaggle/KDD Cup等竞赛多模态赛道Top3获奖经历。

团队文化适配：
1. 追求技术极致：能承受半年以上的长周期技术攻坚（如从头构建多模态预训练框架）；
2. 技术敏感度：既懂技术原理又关注ROI（如拒绝盲目增加模型参数量级）。