原创

如何解决数据中心内存瓶颈，提高不同AI加速器芯片和DRAM之间的数据搬运效率？——专访Rambus杰出发明家Steven Woo和安全研究员Helena Handschuh

时间：2023-06-26 21:35:04

关键字： GDDR6 HBM3 Rambus PHY PCIe

手机看文章

扫描二维码
随时随地手机看文章

[导读]面对数据中心多种多样的加速器IC，以及多种全新的内存技术，如何将两者完美结合实现高效安全的数据搬运？Rambus给出了答案。

所谓AI加速器，是指专门用于特定应用程序的芯片，在其设计上采用了更适合目标特定任务代码的硬件架构。在摩尔定律失效之后，转而寻求新的算力增长曲线是一个问题。而近年来人工智能的崛起，无疑对于算力提出了更高的要求，而也正是一系列专门的AI加速器的出现，推动着大模型的持续发展。

在数据中心，追求通用的灵活性和专用的高能效的需求同时存在，也就促使我们开始构建一种全面异构计算的架构。除了CPU和GPU外，各种专用ASIC、FPGA、DPU、TPU等新的专用加速计算芯片也被部署进了数据中心里。

AI算力需求的提升，进一步推升了AI加速器市场。据调研数据显示，全球数据中心加速器市场2022年为334 亿美元，预计到2030 年将达到3515亿美元，复合年增长率为34.2%。

但只有足够高的算力就够了吗？并不是。在各种加速器芯片和DRAM之间的数据搬运带宽也要跟得上，才能让算力发挥出来。而在当前的每个服务器中，有几十个不同类型的处理器；为了突破内存瓶颈问题，也有了多种的内存技术和标准。如何解决数据中心各种不同的加速器和内存之间的数据搬运问题？Rambus提供了一套全面的IP解决方案，包括速率高达8.4GbpsHBM3的内存子系统，内置业界领先零延迟IDE安全模块的最新CXL 2.0控制器，以及面向下一代数据中心的PCIe 6.0控制器。

在近日我们有幸采访到了Rambus研究员、杰出发明家Steven Woo，以及Rambus安全研究员Helena Handschuh。两位就AI加速器和数据安全问题进行了深入的分享。

21ic：当前PC和计算市场正在经历下行周期，汽车、工业市场还保持较好增长势头。这种态势会对AI加速器市场造成多大影响？

Steven Woo：无论终端市场的周期性影响如何，AI这一长期趋势正在推动行业增长。根据IDC数据，全球人工智能（AI）支出，包括以AI为中心的系统的软件、硬件和服务，将在2022年达到近1180亿美元，在2026年突破3000亿美元。

AI加速器能够在更加接近数据源的边缘进行AI计算，有助于减少此类场景中的AI系统延迟并提高其可靠性，其需求将随着自动驾驶汽车、智慧城市和其他边缘计算场景等领域AI应用需求的增加而不断增长。

随着各个行业对AI解决方案的需求日益增加，支持这些AI应用的硬件加速器的需求也将相应增加，AI加速器市场也将持续增长，进一步推动AI产业的发展。

21ic：对于促进AI加速器市场的发展，半导体IP解决方案有多重要？

Steven Woo：半导体IP解决方案在促进AI加速器市场方面发挥了至关重要的作用。成熟的半导体IP解决方案可以帮助降低芯片设计的复杂性和成本，并缩短将产品推向市场的时间，帮助厂商更快获得收入，进而加快后续产品的开发。缩短AI处理器的上市时间和收入实现时间有助于加快AI加速器市场的发展、增长和成熟。

使用内存接口（如HBM和GDDR6）和芯片互连（如PCIe）半导体IP的AI加速器企业也可以集中开发计算引擎给产品带来差异化优势。

21ic：如何看待当下数据中心中百花齐放的加速器方案？这种局面对于加速器厂商的产品研发、数据中心厂商的部署上带来了哪些机遇和挑战？

Steven Woo：随着各类数据中心应用的不断涌现和完善，更多领域开始采用AI解决方案。数量日益增加的AI应用推动行业加快开发更好、更容易使用的AI加速器。我们认为这一趋势将在未来持续。

这一强劲的需求为加速器提供商带来了充足的动力和广阔的市场前景。为了使自己的加速器产品具有更强大的性能、更高的能效和更低的拥有成本等，他们不断探索先进的技术/解决方案和设计创新。

不断发展的加速器应用已成为数据中心的重要组成部分，并将在未来变得越来越重要，推动云计算、AI/ML、边缘计算等各种用例的发展。专门用于这些应用的处理引擎将逐渐实现新的和更好的用例。

为了将加速器集成到数据中心用例中，需要建立加速器解决方案的标准、规范和互操作性；另外，还需要来自数据中心的软硬件支持，以尽可能高效地利用加速器为数据中心本身带来更好的性能。

为了不断提高加速器的处理能力，需要为它们提供更高性能的内存和互连以支持先进的计算引擎。提高这些重要子系统的性能和功率效率既是一项重大的挑战，也是一个巨大的机遇。

Rambus相信面对这些挑战和机遇，IP提供商、组件制造商、加速器公司和数据中心服务提供商将更加密切地合作，一同推动更加强大的计算解决方案的部署和发展。

21ic：Rambus在信号完整性上颇有造诣，请问设计人员如何应对当前数据速率提升带来的信号完整性挑战？有什么建议？

Steven Woo：数据传输速率的不断上升为确保整个系统的良好信号完整性带来了许多挑战。其中的一个重大挑战是准确模拟从发射器到接收器的整个数据路径，以便在制造芯片和系统之前确认数据传输的可靠性，节省成本和时间。

我们过去在内存接口建模和开发方面积累的经验告诉了我们分析从处理器物理层到内存这条完整路径的重要性，包括电路板、连接器和封装的影响等。这些建模能力也适用于其他类型的互连。建模对设计流程的重要性将随着速率的增加而提高。

作为信号完整性（SI）和电源完整性（PI）领域久负盛名的领导者，Rambus 30多年来一直在提供市场上性能最强大的系统。借助像Rambus这样的公司的专业知识和帮助，设计人员可以更好地应对不断提高的数据传输速率所带来的信号完整性挑战。

21ic：Rambus为加速器提供了全面的半导体IP解决方案组合。这种全面的组合能够给客户提供什么独特的价值？

Steven Woo：Rambus的IP解决方案旨在提供高性能和高带宽，帮助客户的产品更好满足AI/ML等计算密集型应用日益增长的需求。成熟可靠的半导体IP解决方案可以帮助客户缩短产品上市时间和收入实现时间、节省开发时间和成本并降低风险。

Rambus为HBM3和GDDR6这些AI/ML加速器的首选存储器提供了任何IP供应商可提供的最高性能解决方案。这些解决方案包括物理层和内存控制器，并且经证明具有出色的协同性。凭借完整的子系统解决方案，客户无须使用多家IP解决方案提供商，也无须自行验证互操作性。综合全面的Rambus产品组合让客户能够灵活选择他们最需要的IP解决方案，使他们能够为自己的产品建立独特的竞争优势。

数据安全在加速器中越发重要。为此，Rambus提供丰富、强大的信任根解决方案组合，包括用于云和AI/ML应用的RT-630、用于汽车的RT-640/641以及用于FPGA的RT-630/660。客户可以根据自己的需求选择合适的信任根解决方案来确保其AI加速器的数据安全。

21ic：量子计算让某些加密算法变得不再安全。如何应对量子计算时代的安全挑战？整个安全的机制应该如何设计，安全IP需要添加哪些新的加密功能？

Helena Handschuh：全世界的密码学家多年来一直在研究如何在量子计算机时代提供密码保护并把重点放在“后量子密码学”的部署上。后量子密码学（PQC）依靠可在芯片上运行的普通算法密码学，但作为基础的算法类在本质上对量子计算机并不脆弱。

在开发PQC的过程中，必须考虑两点：

1-部署任何安全解决方案都需要时间。芯片与软件相比，其固有的开发时间较长，因此基于芯片的安全变得更加紧迫。

2-在部署PQC的第0日之前已被量子破解算法加密保护的数据，很可能需要在第0日之后的几年内保持安全，在某些情况下甚至需要保持几十年的安全。

2016年12月，美国商务部下属的国家标准与技术研究所（NIST）启动了一项规范后量子安全密钥封装机制（KEM）和数字签名算法的公共进程。NIST已公布了将在未来一两年内实现标准化的入选算法组合，同时还宣布了增加第4轮提交。