-
“小显存，大模型”国数集联解读如何降低AI普惠门槛
当行业普遍在为部署一套千亿参数大模型而堆砌数百GB HBM显存、配置多台高端GPU服务器时，一个更现实的问题摆在中小企业面前：如何在有限预算内，安全、高效地本地化运行这些模型？国数集联尝试从“运力”的角度给出方案——用更经济的DDR内存和CXL互联技术，缓解对昂贵显存的依赖，让“小显存”也能跑起“大模型”。
当行业普遍在为部署一套千亿参数大模型而堆砌数百GB HBM显存、配置多台高端GPU服务器时，一个更现实的问题摆在中小企业面前：如何在有限预算内，安全、高效地本地化运行这些模型？国数集联尝试从“运力”的角度给出方案——用更经济的DDR内存和CXL互联技术，缓解对昂贵显存的依赖，让“小显存”也能跑起“大模型”。
