SiliconCloud x FastGPT:让20万用户打造专属AI知识库
如果正在寻找一个能快速搭建知识库问答系统的方案,FastGPT 搭配 SiliconCloud 的组合,是一个值得关注的选择。FastGPT 是环界云团队开发的开源知识库问答系统,基于 LLM 大语言模型,提供开箱即用的数据处理和模型调用能力,还能通过 Flow 可视化工作流编排来应对复杂的问答场景。目前,它在 GitHub 上已获得 19.4k 个 star,社区活跃度相当可观。
而 SiliconCloud,是硅基流动推出的大模型云服务平台,自带加速引擎,能帮助用户低成本、快速地测试和使用各类开源模型。实际体验下来,模型种类丰富,覆盖语言、向量、重排序、TTS、STT、绘图、视频生成等数十款,速度和稳定性也相当不错,完全能够满足 FastGPT 的所有模型需求。下面,我们来梳理一套完全使用 SiliconCloud 模型在本地开发部署 FastGPT 的方案。
1 获取 SiliconCloud 平台 API Key
首先,需要拿到一个 API Key,这是打通整个流程的关键一步。
- 打开 SiliconCloud 官网,注册或登录账号。
- 进入 API 密钥页面,创建一个新的 API Key,复制以备后用。
2 修改 FastGPT 环境变量
接下来,调整 FastGPT 的环境变量,让它指向 SiliconCloud 的服务端地址,并填入刚刚获取的 API Key。
OPENAI_BASE_URL=https://api.siliconflow.cn/v1 # 填写 SiliconCloud 控制台提供的 API Key CHAT_API_KEY=sk-xxxxxx
FastGPT 开发与部署文档可以参考官方资料,这里不再赘述。
3 修改 FastGPT 配置文件
这一步,需要把 SiliconCloud 上的模型,映射到 FastGPT 的配置中。我们挑选了几个常用模型:选择 Qwen2.5 72B 和其视觉版本来处理语言和图像任务;选用 bge-m3 作为向量模型,bge-reranker-v2-m3 作为重排模型,以提升知识库检索质量;语音方面,则选择了 fish-speech-1.5 和 SenseVoiceSmall 分别负责语音合成和语音输入。
需要特别提醒的是,ReRank 模型需要单独配置一次 API Key。具体配置如下:
{
"llmModels": [
{
"provider": "Other",
"model": "Qwen/Qwen2.5-72B-Instruct",
"name": "Qwen2.5-72B-Instruct",
"maxContext": 32000,
"maxResponse": 4000,
"quoteMaxToken": 30000,
"maxTemperature": 1,
"charsPointsPrice": 0,
"censor": false,
"vision": false,
"datasetProcess": true,
"usedInClassify": true,
"usedInExtractFields": true,
"usedInToolCall": true,
"usedInQueryExtension": true,
"toolChoice": true,
"functionCall": false,
"customCQPrompt": "",
"customExtractPrompt": "",
"defaultSystemChatPrompt": "",
"defaultConfig": {},
"fieldMap": {}
},
{
"provider": "Other",
"model": "Qwen/Qwen2-VL-72B-Instruct",
"name": "Qwen2-VL-72B-Instruct",
"maxContext": 32000,
"maxResponse": 4000,
"quoteMaxToken": 30000,
"maxTemperature": 1,
"charsPointsPrice": 0,
"censor": false,
"vision": true,
"datasetProcess": false,
"usedInClassify": false,
"usedInExtractFields": false,
"usedInToolCall": false,
"usedInQueryExtension": false,
"toolChoice": false,
"functionCall": false,
"customCQPrompt": "",
"customExtractPrompt": "",
"defaultSystemChatPrompt": "",
"defaultConfig": {}
}
],
"vectorModels": [
{
"provider": "Other",
"model": "Pro/BAAI/bge-m3",
"name": "Pro/BAAI/bge-m3",
"charsPointsPrice": 0,
"defaultToken": 512,
"maxToken": 5000,
"weight": 100
}
],
"reRankModels": [
{
"model": "BAAI/bge-reranker-v2-m3",
"name": "BAAI/bge-reranker-v2-m3",
"requestUrl": "https://api.siliconflow.cn/v1/rerank",
"requestAuth": "siliconflow 上申请的 key"
}
],
"audioSpeechModels": [
{
"model": "fishaudio/fish-speech-1.5",
"name": "fish-speech-1.5",
"voices": [
{
"label": "fish-alex",
"value": "fishaudio/fish-speech-1.5:alex",
"bufferId": "fish-alex"
},
{
"label": "fish-anna",
"value": "fishaudio/fish-speech-1.5:anna",
"bufferId": "fish-anna"
},
{
"label": "fish-bella",
"value": "fishaudio/fish-speech-1.5:bella",
"bufferId": "fish-bella"
},
{
"label": "fish-benjamin",
"value": "fishaudio/fish-speech-1.5:benjamin",
"bufferId": "fish-benjamin"
},
{
"label": "fish-charles",
"value": "fishaudio/fish-speech-1.5:charles",
"bufferId": "fish-charles"
},
{
"label": "fish-claire",
"value": "fishaudio/fish-speech-1.5:claire",
"bufferId": "fish-claire"
},
{
"label": "fish-da vid",
"value": "fishaudio/fish-speech-1.5:da vid",
"bufferId": "fish-da vid"
},
{
"label": "fish-diana",
"value": "fishaudio/fish-speech-1.5:diana",
"bufferId": "fish-diana"
}
]
}
],
"whisperModel": {
"model": "FunAudioLLM/SenseVoiceSmall",
"name": "SenseVoiceSmall",
"charsPointsPrice": 0
}
}
4 重启 FastGPT
配置文件修改完成后,重启 FastGPT 服务,让改动生效。
5 体验测试
现在,已经完成了基础配置,可以开始测试各项功能是否正常。
测试对话和图片识别
新建一个简易应用,选择对应的 Qwen2.5 模型,并开启图片上传功能。然后随便上传一张图片,看看效果。
可以看到,72B 的模型响应速度相当迅猛。如果本地部署,没有几个 4090 恐怕难以实现这样的体验,输出时间可能都要 30 秒以上。
测试知识库导入和知识库问答
接下来测试知识库。新建一个知识库,由于只配置了一个向量模型,页面上不会展示向量模型选择,直接点击下一步即可。
导入本地文件,选好文件后一路下一步。79 个索引,大约 20 秒就完成了索引构建。速度还是能接受的。现在,回到刚才创建的应用,选择该知识库,调整参数后开始对话。
对话结束后,点击底部的引用按钮,可以查看引用详情,同时能看到具体的检索和重排得分,方便调试优化。
测试语音播放
继续在应用左侧配置中,找到语音播放选项,点击后可以从弹窗中选择语音模型并进行试听。这里配置了 fish-speech-1.5,效果流畅自然。
测试语音输入
最后测试语音输入。在应用左侧配置中找到语音输入,开启后,对话输入框中会多出一个话筒图标,点击即可进行语音输入。
总结
如果你想快速体验开源模型或便捷使用 FastGPT,又不想在不同服务商间重复申请各类 API Key,那么选择 SiliconCloud 的模型组合会是一个非常高效的方案。从对话、知识库到多模态能力,整个流程跑下来,流畅度与稳定性都让人印象深刻。
-
- 关于宇宙的好的网名有哪些
- 角色扮演 | 1
- 网名