A08 多模态大模型研究

岗位职责1. 研究文本、图像、视频、语音及传感器等多模态数据的统一表征、对齐与融合方法，构建面向工业及机器人场景的多模态大模型。2. 研发多模态理解、推理、生成与决策算法，提升模型在复杂环境下的泛化能力、鲁棒性和任务执行能力。3. 负责多模态大模型的预训练、指令微调、偏好对齐及评测体系建设，持续优化模型训练效率与推理效果。4. 推动多模态大模型与具身智能、机器人系统的结合，完成算法原型开发、系统验证及工程化落地，撰写科研论文、专利和技术报告。任职要求1. 博士/硕士学历，计算机科学与技术、人工智能、自动化、数学等相关专业。2. 具备扎实的深度学习和大模型理论基础，深入理解Transformer、多模态表征学习、跨模态对齐、数据融合及生成式模型等相关算法。3. 熟悉视觉语言模型、视觉语言动作模型或多模态生成模型，具有大模型预训练、指令微调、偏好优化等研发经验者优先。4. 熟练掌握Python及PyTorch等深度学习框架，具备分布式训练、数据处理和模型评测经验。5. 具有较强的科研创新能力和工程实践能力，在相关领域发表高水平论文、申请发明专利或参与开源项目者优先，具备良好的团队协作精神。