讲者简介：李诚，德国马普学会软件系统所(MPI-SWS)博士，中国科大计算机学院/国家高性能计算中心（合肥）副教授，博导，FCS、CCF THPC期刊青年编委。聚焦融合高性能计算基础系统软件研究，在 SOSP、OSDI、EuroSys、ATC、FAST、ASPLOS、SC、HPCA等计算机系统领域著名国际会议上发表论文40余篇。2019年入选ACM FCA成员。曾担任第14届/第21届 ChinaSys程序共同主席、SOSP 2017 学术海报程序共同主席、EuroSys 2021/ACM SIGMETRICS 2023论文出版共同主席、首届CCF计算机系统大会/芯片大会宣传主席等，长期参与SOSP、FAST、Middleware、DSN、ICDCS、SRDS等系统领域著名国际会议的程序委员会。获2022 AI 2000 Most Influential Scholar Honorable Mention in Computer Systems、2022年CCF分布式专委杰出青年学者、2021年ACM ChinaSys新星、2021年ACM中国新星提名等科研奖项。主讲《编译原理和技术》课程入选第二批国家级线下一流课程，获安徽省第五届青教赛工科组一等奖、第四届中国计算机教育大会计算机类教学资源建设特等奖（2项）、全国高校教学创新大赛安徽省二等奖等教学奖项。

报告题目：大模型分布式并行训练

报告摘要：随着摩尔定律的失效，人工智能和大数据等新兴应用对高性能处理需求的不断增加，计算机系统的设计与部署越来越多地从单机单处理器向多机多处理器的并行与分布式模态演变。并行与分布式系统逐渐发展成为促进互联网、云计算、大数据、人工智能等方向创新融合的主要支撑技术。然而，以深度学习为代表的新型并行与分布式计算面临严重的“数据墙问题”。随着模型规模的增大、模型结构的复杂化、训练数据体量的不断累积，数据交互已成为分布式并行训练最主要的性能瓶颈。李诚老师的科研工作以新场景和新硬件为驱动，解决异构并行、分布式计算中面临的数据搬运和同步瓶颈，成果被工业广泛关注。本报告将以超大规模深度神经网络模型的并行训练为例，介绍最新的科研成果及对未来技术趋势的思考。