什么是 LLMOps? - Dify Docs

LLMOps(Large Language Model Operations)是一个涵盖了大型语言模型(如GPT系列)开发、部署、维护和优化的一整套实践和流程。LLMOps 的目标是确保高效、可扩展和安全地使用这些强大的 AI 模型来构建和运行实际应用程序。它涉及到模型训练、部署、监控、更新、安全性和合规性等方面。

下表说明了使用 Dify 前后开发 AI 应用的各环节差异:

步骤 未使用 LLMOps 平台 使用 Dify LLMOps 平台 时间差异
开发应用前&后端 集成和封装 LLM 能力,花费较多时间开发前端应用 直接使用 Dify 的后端服务,可基于 WebApp 脚手架开发 -80%
Prompt Engineering 仅能通过调用 API 或 Playground 进行 结合用户输入数据所见即所得完成调试 -25%
数据准备与嵌入 编写代码实现长文本数据处理、嵌入 在平台上传文本或绑定数据源即可 -80%
应用日志与分析 编写代码记录日志,访问数据库查看 平台提供实时日志与分析 -70%
数据分析与微调 技术人员进行数据管理和创建微调队列 非技术人员可协同,可视化模型调整 -60%
AI 插件开发与集成 编写代码创建、集成 AI 插件 平台提供可视化工具创建、集成插件能力 -50%