1月11日,阿里云宣布第八代企业级通用计算实例ECS g8i算力再升级。国内首发代号Emerald Rapids的第五代英特尔至强可扩展处理器,依托阿里云自研的「飞天+CIPU」架构体系,ECS g8i实例的整机性能最高提升85%,AI推理性能最高提升7倍,可支撑高达72B参数的大语言模型。

记者获悉,从关键参数上看,ECS g8i实例的L3缓存容量提升到320MB,内存速率5600MT/s,整机性能提升85%,单核性能提升25%;存储方面,ESSD云盘提供100万 IOPS,全面搭载NVMe,存储延迟低至百微秒;网络方面,PPS 3000万,标配阿里云eRDMA大规模加速能力,时延8微秒;安全方面,ECS g8i实例支持可信计算与加密计算等特性,支持机密虚拟机TDX技术。

在E2E场景下,ECS g8i实例可将MySQL性能提升最高达60%,Redis和Nginx的性能分别提升40%和24%。此外,ECS g8i实例还提供了多种硬件原生加速能力,包括QAT和IAA等加速器。阿里云通过自研技术,将硬件加速能力更细颗粒度透传至实例虚拟机,小规格的ECS g8i实例也同样具备加速能力。其中,依托于QAT原生加解密加速器,ECS g8i实例在压缩/解压缩场景下性能最大可提升70倍,加解密性能提升4倍以上。

与此同时,基于自研eRDMA超低延时弹性网络,阿里云g8i实例集群可支撑72B参数级别的大语言模型分布式推理,推理性能随集群规模接近线性加速,并可支持超过32batchsize的超大参数规模的AI模型负载,运行文生图、AI生成代码、虚拟助手以及创意辅助工具等AI工作负载。

据介绍,以阿里云通义千问开源的Qwen-72B大模型为例,可在g8i实例eRDMA网络构建的集群实现高效运行,在输入小于500字情况下,首包延时小于3秒,每秒可生成7个Token。(定西)

本文系网易科技原创报道,更多新闻资讯和深度解析,关注我们。