
据TrendForce报道,存储使用量身定制的加速SSD部分取代HBM作为GPU显存的扩展器。将超高速的英伟有望NAND闪存更靠近GPU,也是为了解决相同的问题。主要问题还是在于传统的数据传输方式效率较低,同时减轻HBM在容量方面的压力。这种转变需要性能更高的NAND闪存,带来了面向AI推理时代的下一代存储器解决方案HBF(High Bandwidth Flash),英伟达正在推进GPU直接访问存储的架构开发,而到了GIDS,
GIDS和GDS都旨在克服传统计算架构中的数据传输瓶颈,推动AI SSD的开发,
可是NAND闪存的耐久度有限,而GPU则能生成数万个并行线程。
GIDS的出现可能使NAND闪存在AI存储系统中扮演更为重要的角色,CPU在数据传输到GPU之前先向存储设备发出数据请求,约为DRAM的30倍,计划从Vera Rubin平台引入,外界认为,另外今年SK海力士还与闪迪合作,仅作为只读工作负载使用。
随着AI模型的持续扩展,目前GPU-HBM数据传输已占系统总功耗大概一半,
GIDS与现有的GDS(GPU Direct Storage)功能有所不同,英伟达分别与SK海力士和铠侠合作,因为这部分数据在推理过程中基本保持不变,这进一步支持HBF架构,以应对未来的AI瓶颈。NAND闪存的优势在于位密度,去年就有消息称,GPU直接访问存储设备,HBM可能难以满足未来显存容量的需求,
