泡泡资讯网

【TurboQuant算法,对存储器反而是利好?】3月26日,谷歌研究院发布Tu

【TurboQuant算法,对存储器反而是利好?】3月26日,谷歌研究院发布TurboQuant算法,称该技术可在不影响模型精度的前提下,将大模型推理时的KV Cache内存占用降低至少6倍,在英伟达H100上最高可实现约8倍的性能提升。 这一技术被视为可帮助硬件厂商和AI公司减少高带宽内存(HBM)用量。受此消息影响,全球存储器板块剧烈调整。但对于TurboQuant算法的影响,市场存在不同解读: 摩根士丹利指出,市场可能存在误读。该技术仅作用于推理阶段的键值缓存,不影响模型权重本身占用的HBM。其核心是通过提升单GPU吞吐量,以支持更长上下文或更大批次处理,而非直接减少总内存需求。效率提升可能激发更多应用需求,遵循“杰文斯悖论”,因此对硬件需求的长期影响为“中性偏正面”。 从历史经验和市场逻辑看,此次事件与2025年1月的DeepSeek事件有相似之处:均在短期内引发市场对基础设施投入的担忧,实际结果却相反:效率提升通过降低成本加速了AI应用渗透,反而带动了更广泛的资本开支。就像电影技术取代戏班子的戏台演出,使得演出的受众增加了万倍,但因为看演出更便利和廉价,反而使对演员和演艺行业的需求大了无数倍……      因此估计,在推理内存需求持续增长、云厂商资本开支长期确定性的背景下,HBM与DRAM的结构性需求依然强劲,TurboQuant难以对其形成实质性影响,其对NAND需求的影响也相对有限,整体结论偏正向。