【快Star】视频大模型高性能与分布式计算工程师
上海·北京
硕士及以上
计算机类·数学类
使用简历深度优化功能，快速提升简历质量
职位介绍
职位描述:
1、分布式并行架构与 MFU 极限调优：针对可灵超大规模视频结构，深度优化分布式并行策略，攻克超大规模并行在万卡集群上的极致通信重构与拓扑编排；2、多模态不均衡优化：针对视频与图像带来的极端多模态不均衡数据负载以及下一代生成理解统一模型带来的模型不均衡问题，设计定制化均衡算法，设计并行策略；3、极致通信计算 overlap 架构设计：设计极致的 AllGather/AllToAll 通信掩盖方案与算子级 Overlap 调度，实现计算与通信的完美重叠。
任职要求:
1、计算机、分布式系统、高性能计算及相关专业硕士或博士学位，具备深厚的并行计算理论与系统实战底蕴；2、具有卓越的分布式系统实现能力，精通 C/C++、Python，深入理解 MPI/NCCL 内部机制、RDMA、NVLink 高速互联网络协议；3、深入理解主流大模型训练框架（如 Megatron-LM、TorchTitan、DeepSpeed）的并行切分机制，有实际将万卡/千卡集群训练 MFU 显著提升的框架层性能调优经验；4、具有优秀的系统分析能力，能够对复杂的通信-计算图进行深度分析，并在 MLSys/OSDI/SOSP/SC 等顶级计算机系统会议上发表过前沿成果；加分项：1、在 OSDI、SOSP、ASPLOS、EuroSys、SC、MLSys 等计算机系统顶级会议上发表过一作论文；2、拥有在超大规模集群（千卡以上）上落地 MoE 或大规模并行框架，且对 MFU指标做出过直接贡献的实战案例；3、曾在 ACM-ICPC / NOI / IOI 编程竞赛中获得过金牌及以上奖项者优先。
1、分布式并行架构与 MFU 极限调优：针对可灵超大规模视频结构，深度优化分布式并行策略，攻克超大规模并行在万卡集群上的极致通信重构与拓扑编排；2、多模态不均衡优化：针对视频与图像带来的极端多模态不均衡数据负载以及下一代生成理解统一模型带来的模型不均衡问题，设计定制化均衡算法，设计并行策略；3、极致通信计算 overlap 架构设计：设计极致的 AllGather/AllToAll 通信掩盖方案与算子级 Overlap 调度，实现计算与通信的完美重叠。
任职要求:
1、计算机、分布式系统、高性能计算及相关专业硕士或博士学位，具备深厚的并行计算理论与系统实战底蕴；2、具有卓越的分布式系统实现能力，精通 C/C++、Python，深入理解 MPI/NCCL 内部机制、RDMA、NVLink 高速互联网络协议；3、深入理解主流大模型训练框架（如 Megatron-LM、TorchTitan、DeepSpeed）的并行切分机制，有实际将万卡/千卡集群训练 MFU 显著提升的框架层性能调优经验；4、具有优秀的系统分析能力，能够对复杂的通信-计算图进行深度分析，并在 MLSys/OSDI/SOSP/SC 等顶级计算机系统会议上发表过前沿成果；加分项：1、在 OSDI、SOSP、ASPLOS、EuroSys、SC、MLSys 等计算机系统顶级会议上发表过一作论文；2、拥有在超大规模集群（千卡以上）上落地 MoE 或大规模并行框架，且对 MFU指标做出过直接贡献的实战案例；3、曾在 ACM-ICPC / NOI / IOI 编程竞赛中获得过金牌及以上奖项者优先。
