泡泡资讯网

【谷歌发布TPU v8,关注互联技术的持续升级(西部证券)】谷歌的第八代TPU正

【谷歌发布TPU v8,关注互联技术的持续升级(西部证券)】

谷歌的第八代TPU正式拆分成两款不同的芯片,分别是针对AI模型训练的TPU 8t和更适合推理任务的TPU 8i。

互联带宽升级:在Scale-up层面,TPU v8的片间互联带宽从TPU v7的9.6 Tbps提升至19.2 Tbps,是原有带宽的2倍,同时通过Boardfly拓扑改变了数据的流动路径。在Scale-out层面,TPU v8的Scale-out带宽提升了4倍,达到400 Gbps。

算力芯片架构更新:面向推理场景,TPU 8i将片上SRAM提升了3倍(达到 384 MB),目的将模型的 KV Cache尽量保留在片上,减少对HBM的网络请求,降低推理延迟。同时,TPU 8i集成了集体通信加速引擎,将芯片内通信延迟降低了5倍。

我们认为:算力基础设施的形态还在持续迭代,推理场景瓶颈不只是单芯片算力,更多地要依靠互联技术软硬件的持续突破提升计算效率。因此,在互联技术领域与客户有较强绑定关系的头部企业有望充分受益。

建议关注:1)MPO:长芯博创;

2)光模块:中际旭创、新易盛、汇绿生态;

3)OCS产业链:光库科技;

4)CXL:澜起科技。

来源:西部证券