AI生命周期包括最重要的两个部分,一个是AI训练,一个是AI推理。
其中,AI训练就是让模型识别数据模式,是数据和处理最密集的部分,需要大规模的算力。
在这一阶段,往往优先使用大规模并行的GPU加速器或专用的AI加速器,有时候根据情况也可以使用超高性能的CPU处理器。
AI推理则是基于训练好的模型,实时处理输入的数据,只需较小的算力,更接近数据的实际位置,更强调持续运算与低延迟。
因此,这个阶段使用常规的CPU最合适,其性能、能效、兼容性、性价比完美符合AI推理需求。
当然,这对CPU的综合素质也是有着很高的需求的,足够强大且平衡的性能、能效、成本才能带来足够高的效率、效益。
一般来说,GPU训练,CPU推理,再加上开发框架和软件支持,构成了最合适的完整AI生命周期。
作为行业唯一同时拥有高性能GPU、CPU、FPGA平台性解决方案的AMD,再加上ROCm开发平台的不断成熟,在AI训练、推理的整个生命周期里都有着得天独厚的优势,尤其是EPYC CPU简直做到了无敌寂寞。
如今,AMD EPYC处理器已经成为最常被选择用于AI推理的服务器平台,尤其是第四代Genoa EPYC 9004系列,执行AI推理的能力又得到了巨大的飞跃。
比如全新的Zen 4架构,相比上代在每时钟周期执行指令数上提升了约14%,再加上更高的频率,性能有了极大的提升。
比如先进的5nm制造工艺,它大大提高了处理器的集成度,结合新架构使得高性能、高能效成为可能。
比如更多的核心与线程数量,比上代增加了足足一半,最高来到96个,并支持同步多线程,无需多路并行就能执行更多推理操作,同时处理上万个源的数据推理需求也不在话下,从而兼具高并发、低延迟。
比如灵活高效的AVX-512扩展指令集,可高效执行大量的矩阵和向量计算,显著提高卷积和矩阵乘法的速度,尤其是BF16数据类型可提高吞吐量,避免INT8数据的量化风险,而且还是双周期的256位流水线设计,效率和能效都更高。
比如更强大的内存与I/O,包括引入DDR5内存并支持多达12个通道,以及多达128条PCIe 5.0通道,成为大规模数据传输的高速公路。
比如极高的能效,96核心的热设计功耗也只需360W,84核心可以控制在290W,从而显著降低散热方面的压力。
还有一贯出色的性价比,可以大大降低TCO(总拥有成本)。
以及不要忘了,AMD EPYC基于x86架构指令集,是大家最熟悉的、最熟练的,部署、开发和应用的难度与成本都远低于各种特殊架构。
对于AI,我们平常关注更多的是AI训练,尤其是庞大的算力需求,AI推理则是训练之后真正落地体验的阶段,重要性同样不言而喻,同样需要恰到好处的软硬件平台需求。
搭载AMD EPYC的服务器,就恰好为基于CPU处理器的AI推理工作提供了一个优秀的平台。
96核心、DDR5内存和PCIe 5.0扩展、AVX-512指令等实现了性能和能效的双重提升,而为处理器优化的库、原语则提供强大的保驾护航。
无论任何模型还是场景,AMD EPYC都能提供充足的高性能、高能效、高性价比。
内容转载自快科技