小米mimo完整公布了他们对于大模型推理的优化经验。不光是HiCache 三级都改造为 SWA-aware这一条优化。
有一种观点认为，跑开源模型没什么技术含量。现在你看看这篇文章，你还觉得没有技术含量吗？这个里面可以优化太多了，而且要对infra，就是对基础设施有深刻的理解才行。
做到这种程度，所以才能做到价格降这么多。
地址：mimo.xiaomi.com/zh/blog/mimo-v2-5-inference
小米mimo完整公布了他们对于大模型推理的优化经验。不光是HiCache 三级都改造为 SWA-aware这一条优化。
有一种观点认为，跑开源模型没什么技术含量。现在你看看这篇文章，你还觉得没有技术含量吗？这个里面可以优化太多了，而且要对infra，就是对基础设施有深刻的理解才行。
做到这种程度，所以才能做到价格降这么多。
地址：mimo.xiaomi.com/zh/blog/mimo-v2-5-inference