【快Star】视频大模型高性能与低精度算子工程师
上海·北京
硕士及以上
计算机类·数学类
使用简历深度优化功能,快速提升简历质量
职位介绍
职位描述:
1、高性能通算融合算子设计与 PTX 底层优化:深度挖掘下一代计算硬件微架构的物理极限,针对大规模通信设计高性能通算融合算子,利用 CuTe DSL 描述复杂的多维 Layout 转换与共享内存流水线,在寄存器与指令级(PTX )对算子进行极致调优,将网络通信与矩阵乘法计算在硬件执行流层面进行极致overlap;2、混合专家网络 (MoE) 高性能架构重构:对业界Moe的高性能执行引擎(如 DeepEP、DeepGEMM、MegaMoE 等开源框架)进行深度重构,攻克Moe中的算子调度、计算强度、负载均衡和overlap问题,在大型集群规模下压榨 MoE 通信与计算的极限吞吐;3、低精度/稀疏化数值技术与算子加速:针对超大规模视频长序列 MoE 训练显存极限和计算瓶颈,设计极致低精度/稀疏化计算路径,在保证模型效果的前提下放大训练吞吐;4、Diffusion-Specific 训推一致性对齐:针对视频生成模型特有的多步去噪非对称精度控制,攻克分布式累加浮点非交换性、路由判定和计算块调度等算子随机性源头,在底层算子和并行层面消除不确定性,实现大规模混合专家网络在训推、强化学习阶段完全数学一致性的严格对齐。
任职要求:
1、计算机、应用数学、微电子、人工智能等相关专业硕士或博士学位,具备极强的数理逻辑基础与计算机体系结构底蕴;2、深入理解 GPU 硬件架构和内存系统,熟练掌握底层并行计算框架,擅长使用 CuTe DSL设计高性能计算流水线,对 PTX 汇编/指令级调优及寄存器分配有实战能力;3、深入掌握 DeepEP、DeepGEMM 或 MegaMoE 等前沿加速库的架构设计,具备实际拆解其并根据生产环境做深度二次开发和优化的经历;4、熟练掌握低精度/稀疏化算法和算子实现,精通算子融合与计算敏感度分析。加分项:1、著名开源底层库的核心贡献者、Committer 或核心维护者;2、在 MLSys、ASPLOS、ISCA、NeurIPS、 ICLR、PPoPP 等系统与机器学习顶级学术会议上发表过高性能算子、量化算法、高性能通信或 MoE 调度相关一作论文;3、在各类顶级高性能计算、GPU 硬件算子加速等相关竞赛(如 ASC/PAC/IPCC等)中拿过顶尖名次者优先。
1、高性能通算融合算子设计与 PTX 底层优化:深度挖掘下一代计算硬件微架构的物理极限,针对大规模通信设计高性能通算融合算子,利用 CuTe DSL 描述复杂的多维 Layout 转换与共享内存流水线,在寄存器与指令级(PTX )对算子进行极致调优,将网络通信与矩阵乘法计算在硬件执行流层面进行极致overlap;2、混合专家网络 (MoE) 高性能架构重构:对业界Moe的高性能执行引擎(如 DeepEP、DeepGEMM、MegaMoE 等开源框架)进行深度重构,攻克Moe中的算子调度、计算强度、负载均衡和overlap问题,在大型集群规模下压榨 MoE 通信与计算的极限吞吐;3、低精度/稀疏化数值技术与算子加速:针对超大规模视频长序列 MoE 训练显存极限和计算瓶颈,设计极致低精度/稀疏化计算路径,在保证模型效果的前提下放大训练吞吐;4、Diffusion-Specific 训推一致性对齐:针对视频生成模型特有的多步去噪非对称精度控制,攻克分布式累加浮点非交换性、路由判定和计算块调度等算子随机性源头,在底层算子和并行层面消除不确定性,实现大规模混合专家网络在训推、强化学习阶段完全数学一致性的严格对齐。
任职要求:
1、计算机、应用数学、微电子、人工智能等相关专业硕士或博士学位,具备极强的数理逻辑基础与计算机体系结构底蕴;2、深入理解 GPU 硬件架构和内存系统,熟练掌握底层并行计算框架,擅长使用 CuTe DSL设计高性能计算流水线,对 PTX 汇编/指令级调优及寄存器分配有实战能力;3、深入掌握 DeepEP、DeepGEMM 或 MegaMoE 等前沿加速库的架构设计,具备实际拆解其并根据生产环境做深度二次开发和优化的经历;4、熟练掌握低精度/稀疏化算法和算子实现,精通算子融合与计算敏感度分析。加分项:1、著名开源底层库的核心贡献者、Committer 或核心维护者;2、在 MLSys、ASPLOS、ISCA、NeurIPS、 ICLR、PPoPP 等系统与机器学习顶级学术会议上发表过高性能算子、量化算法、高性能通信或 MoE 调度相关一作论文;3、在各类顶级高性能计算、GPU 硬件算子加速等相关竞赛(如 ASC/PAC/IPCC等)中拿过顶尖名次者优先。


