传统LLM与LLMOps应用开发过程的对比

什么是 LLMOps？

先简单说一下，LLMOps（Large Language Model Operations）并不是什么玄乎的概念，它本质上是一套用来开发、部署、维护和优化大型语言模型（比如GPT系列）的实践与流程平台。目标很明确：让这些强大的AI模型能高效、可扩展、安全地在实际应用里跑起来。它涵盖的范围挺广，包括模型训练、部署、监控、更新、安全性、合规性等等。

基于 LLM 开发应用的传统过程

过去，没有LLMOps的时候，开发者是怎么搭起一个LLM应用的？来看看这六个环节，每一步都透着“折腾”二字：

1. 数据准备
   ：全靠手动。收集数据、清洗数据、标注数据，每一步都离不开大量代码的堆砌，光是让数据“干净”就够忙活一阵。

2. Prompt工程
   ：通常只能通过API调用或者在Playground环境里编写和测试提示词。没有即时反馈，也没有可视化的调试工具，改一次就得跑一次，效率低得可怜。

3. 嵌入和上下文管理
   ：长文本的嵌入和存储要手动处理，想要优化或者扩展？得对模型嵌入、向量数据库这些技术门儿清才行。写代码写到怀疑人生。

4. 应用监控与维护
   ：性能数据全靠手动收集和分析，问题来了可能迟迟发现不了。更惨的是，有时候连必要的日志都没记录，出事了只能干瞪眼。

5. 模型微调
   ：自己准备微调数据，自己训练。流程繁琐，效率不高，而且代码量不见得比前面少。

6. 系统和运营
   ：要开发管理后台？要么自己招人写代码，要么花钱买现成的。而且系统往往不支持多人协作，对非技术人员极不友好。成本高，协作难。

基于 LLMOps 开发应用的过程

有了LLMOps平台，情况就完全不一样了。同样是这六个环节，体验却天差地别：

1. 数据准备
   ：平台提供自动化工具，数据收集和预处理一键搞定。清洗和标注流程简化了，编码工作也大幅减少。不用再被数据折磨。

2. Prompt工程
   ：用户可以实时编辑和调试提示词，系统根据输入数据即时给出优化建议。所见即所得，改完就能看到效果，调试效率直线上升。

3. 嵌入和上下文管理
   ：平台自动处理长文本的嵌入和存储，效率和可扩展性都上去了，而且完全不需要写那些烦人的代码。

4. 应用监控与维护
   ：系统提供实时性能监控，遇到问题能快速识别并解决，应用稳定运行。日志记录也一应俱全，再也不用担心查不到线索。

5. 模型微调
   ：支持一键微调，直接利用历史标注数据进行训练，模型性能有效提升。编程工作？基本可以忽略。

6. 系统和运营
   ：友好的用户界面，非技术人员也能参与开发。支持团队协作，开发和维护成本大幅降低。这才是真正的“全员参与”。

提供 LLMOps 的公司及其平台

目前市面上已经有不少公司在提供LLMOps解决方案，下面这个表格整理了部分比较有代表性的平台：

平台名称	所属公司
Dify - LLMOps	Dify
百度开发者中心 - LLMOps	百度
Red Hat - LLMOps 和 MLOps	Red Hat
Sophon LLMOps	星环科技
Unite.AI - LLMOps	Unite.AI