据论文报告，在DeepSeek-R1模型的评估中，应用于华为AI超级节点CloudMatrix384的昇腾910C NPU可实现赶超英伟达H800 GPU的计算效率。
CloudMatrix384是华为于2025年4月发布的AI超级节点，是其下一代AI数据中心架构CloudMatrix的首次生产级落地。
CloudMatrix384集成384颗昇腾910C NPU和192个鲲鹏CPU，通过超高带宽、低延迟的统一总线（UB）网络互连，从而有效解决传统数据中心架构中常见的可扩展性和效率挑战。[拳头R]
基于CloudMatrix384，华为推出了CloudMatrix-Infer服务解决方案。对DeepSeek-R1模型的广泛评估表明，华为CloudMatrix-Infer的计算效率可超过英伟达H800的表现。
[爆炸R]CloudMatrix-Infer包含三项核心创新：
[一R]华为设计了一个点对点服务架构，将预填充、解码和缓存分解到独立可扩展的资源池中。与现有的以KV cacheCentric架构不同，这种设计支持通过UB网络对缓存数据进行高带宽、统一访问，从而减少数据局部性限制，简化任务调度，并提高缓存效率。
[二R]华为设计了一个大规模的专家并行（LEP）策略，利用UB网络实现高效的token调度和专家输出组合。该策略支持非常大的EP度数，例如EP320，使每个NPU芯片能够只托管一名专家，从而实现低解码延迟。
[三R]华为提出了一套为CloudMatrix384量身定制的硬件感知优化，包括高度优化的算子、基于微批处理的流水线和INT8量化，以提高执行效率和资源利用率。
华为CloudMatrix384 华为 AI 人工智能 昇腾 英伟达 任正非 芯片 昇腾910c H100
