MLPERF是当前全球最具影响力的AI计算基准评测组织，MLPERF成立于2018年5月，得到了众多行业巨头和学术机构的支持和参与，其中包括亚马逊，百度，FACEBOOK，谷歌，哈佛大学，英特尔，NVIDIA，微软，阿里巴巴，和斯坦福大学，由图灵奖得主大卫·帕特森（DAVID?PATTERSON）发起。每年组织全球AI训练和AI推理性能测试并发榜。
此次MLPERF的AI推理基准测试有全球23家公司和单位参与，在数据中心及边缘等场景进行AI计算产品的性能比试。该基准测试包括可代表生产级别的测试用例，测试结果在行业内具有较高权威性。
美国东部时间10月21日，全球备受瞩目的权威AI基准测试MLPERF公布今年的推理测试榜单。
两品牌AI服务器均为世界第一
10月22日，浪潮AI服务器NF5488A5宣称一举创造18项性能纪录，在数据中心AI推理性能上遥遥领先其他厂商产品。
同日，宁畅AI服务器X640宣称：首登MLPERF，斩获30项AI性能世界第一，同配置测试获16项世界第一。
宁畅工程师介绍，参加MLPERF INFERENCE（推理）基准测试的X640 G30 AI服务器，最高可支持10张NVIDIA A100 PCIE卡或21张NVIDIA T4 PCIE卡，堪称“性能猛兽”。
在此次基准测试中，浪潮AI服务器NF5488A5在开放优化(OPEN)和固定任务(CLOSED)的RESNET50基准性能测试中，均表现优异，相比2019年MLPERF推理榜单的服务器最好性能提升高达3倍。
NF5488A5是浪潮自研的新一代AI服务器，是此次MLPERF全球竞赛中唯一可以在4U空间内支持8块安培架构A100芯片实现NVlink高速互联的AI服务器。
浪潮NF5488A5在系统拓扑上采用了超低延迟设计，支持PCIE 4.0全链路极致优化，高频通信单元采用一级拓扑最近连接，最大限度提升处理器到AI芯片间的通信性能。
同时，通过配置NUMA节点，确保每颗处理器与其直连的GPU之间通信性能最优，最大限度降低通信延迟。此外，NF5488A5通过深度优化系统结构设计，确保设备可在高温环境下稳定运行。
而对比行业同配置AI服务器，宁畅X640 G30搭配四张A100 GPU卡的情况下，在RESNET50、SSD、RNN-T、BERT、DLRM等10项测试中分数值取得世界第一；搭配16张T4 GPU卡配置的情况下，X640 G30打破六项世界纪录，性能一骑绝尘。
宁畅X640强调，相同配置下取得第一的MLPERF分数，意味着X640 G30 在图像分类、目标检测、医学影像、翻译、推荐、自然语言处理等AI应用场景中有更好性能表现，可为用户带来多高价值。
浪潮AI服务器NF5488A5和宁畅AI服务器X640均宣称打破多项世界纪录，挖掘机技术到底哪家强？
NF5488A5获数据中心AI性能绝对优势
NF5488A5是浪潮于今年5月推出，是一款新的AI服务器，由8个NVIDIA A100 GPU驱动，与第3代NVlink完全互连，外加2个支持PCIE4.0的最新AMD CPU。它为用户提供终极的AI性能和超高速带宽，同时为各种AI场景提供强大的计算支持，例如智能客户服务，财务分析，智能城市和智能语言处理。
此次浪潮NF5488A5一举创造18项MLPERF推理性能记录，成为创纪录最多的AI服务器。今年的测试中，数据中心AI性能最受关注，全部参与机构提交了507项性能测试数据。
浪潮NF5488A5创下了数据中心22个赛项中的13项性能记录以绝对优势领先，NVIDIA DGX取得了5项数据中心性能记录。而在此前的MLPERF训练榜单中，NF5488A5在最核心的RESNET50训练任务中也创下了性能记录，单机性能高居榜首。
RESNET50是评估AI计算系统和AI芯片性能的全球最广泛接受的标准。在此基准的RESNET50培训任务中，浪潮使用了NF5488A5服务器，该服务器配备了8个NVIDIA A100 GPU和2个AMD EPYC 7742处理器。仅用33.37分钟即可完成RESNET50模型培训，该服务器在单服务器性能方面排名第一。
本次基准测试中，浪潮展示出了卓越的AI计算软硬件协同优化能力。在硬件层面，通过对CPU、GPU硬件性能的精细校准和全面优化，使CPU性能、GPU性能、CPU与GPU之间的数据通路均处于对AI推理最优状态。
在软件层面，结合GPU硬件拓扑对多GPU的轮询调度优化使单卡至多卡性能达到了近似线性扩展；在深度学习算法层面，结合GPU TENSOR CORE 单元的计算特征，通过自研通道压缩算法成功实现了模型的极致性能优化，在精度无损的情况下性能提升近2倍。
宁畅X640将多卡性能发挥到极致
AI服务器所能支持异构计算GPU卡数量，是决定其AI吞吐量的首要因素。依托团队10余年行业经验，宁畅在全国率先在4U标准机箱中实现21张GPU卡配置，将多GPU卡性能优势发挥到极致。
搭配21张T4 GPU卡的X640 G30，在图像分类、语义识别等众多AI基准测试中，超越搭配20张T4 GPU卡配置的服务器，测试分数斩获14项世界第一。
不仅多GPU卡的性能优越，在单GPU卡平均性能方面（单卡平均性能=整机测试结果/搭载GPU卡个数），横向比较13家服务器厂商提交MLPERF 的53个配置测试结果显示，X640 G30服务器平均单卡性能获得11项第一。
结语
宁畅服务器不仅在MLPERF平台取得多项世界第一成绩，今年早先时候宁畅双路服务器R620 G30，曾在反映服务器性能的SPEC CPU2017测试中，刷新24项世界纪录。
世界纪录的背后，是宁畅工程师为用户提供更优性价比产品，将CPU、GPU等服务器核心部件性能发挥到极致，所做的不懈努力。通过提供硬件、软件等定制化服务，宁畅服务器将有效降低用户TCO
浪潮是全球领先的AI计算领导厂商，其AI服务器在中国的市场份额已连续三年保持在50%以上。
浪潮致力于AI计算平台、资源平台和算法平台的研发创新，并通过元脑生态与AI领先企业共同推进AI产业化和产业AI化进程。
本文首发于微信公众号：深度围观。文章内容属作者个人观点，不代表易商讯立场。投资者据此操作，风险请自担。
