深度探索Stable Diffusion模型推理加速

大模型时代，参数量动不动就是几十亿甚至上千亿。拿GPT-3来说，它的参数规模直接干到了1750亿。1750亿个参数，如果用fp16存储，那模型体积差不多有325.5G——哪怕是当下最强的计算平台，也很难塞进显存里。更要命的是，模型上线后，推理速度直接决定了用户体验。试想一下，谁受得了等上三分钟才能看到模型输出一段文字或一张图片？

面对存储和推理这两大实际痛点，工业界必须祭出模型压缩与推理加速的技术组合拳。比如INT8量化、甚至1bit量化，还有CUDA Graph优化、ONNX模型转换，以及Pipeline流水线优化等等。技术本身在不断迭代，但更值得关注的是，

。原因很简单：越来越多的企业正基于开源的基础大模型，开发自己的垂直业务场景大模型，并最终部署上线。

这就好比手机操作系统。市面上主流的系统无非安卓、iOS、鸿蒙那么几个，但几乎每家互联网公司都会养一支移动端开发团队，做自己的APP。基础大模型就是操作系统，垂直行业的大模型就是每家企业的移动端开发团队——后者的岗位需求远超前者。所以，接下来一到两年，模型压缩与推理加速工程师这个岗位，大概率依然是AI行业里为数不多的蓝海。